IBM Websphere  OutOfMemoryError: Java heap space 오류

1.  환경

개발 프레임워크 : Spring (java)

Web / WAS : IBM Webpshere

2.  문제발생

IBM WeSphere 사용환경에서 특정 업무 시스템 이용(클릭) 시 (어플리케이션 사용)  아까 전만 해도 잘되던 것이 갑자기 아래와 같은 에러 문구를 뿌리며 서버 500 에러가 발생하였다.

3.  원인추적

JVM에 할당된 Heap Memory 초과가 이유이다.

아래의 ibm was 경로를 따라가서 보면 최종적으로

전체 사용가능 힙 메모리 크기 2048 MB 중 현재 2040 MB (99%) 쓰고 있음을 확인할 수 있다.

이것이 에러 발생의 원인이다.

*참고로 힙메모리 사이즈 설정은 아래 구성 탭에서 설정할 수 있다.

4.  해결책

근본적인 해결책인 어플리케이션 상 어떤 부분의 어떤 작업이  Heap 메모리 초과를 일으켰는지 파악해야겠지만 현재로선 당장 시스템 사용이 가능해야 하기 때문에 시스템을 내렸다 올려서 heap 공간을 초기화시키는 방법을 실행하도록 한다.

□    서버 > WebSphere Application Server 에서 해당 서버를 중지시켰다 시작시킨다.

그 다음

□   애플리케이션 > WebSphere 엔터프라이즈 애플리케이션에서 해당 애플리케이션(war)를 중지시켰다 시작한다.

1.  증상

어느날 갑자기 잘 되던 사이트가 안 들어가진다.

2.  아파치 로그 확인

아래와 같은 에러 메시지들 발견

위 에러메시지들 구글링해서 살펴봄

3.  문제 확인

아래 유효기간이 지나서 발생한 거라고 함.

nss 옵션을 끄고 삭제 뒤 다시 설치하기로 함

[root@test ssl]# certutil -d /etc/httpd/alias -L -n Server-Cert

Certificate:

Validity:

            Not Before: Mon Dec 01 12:14:49 2014

            Not After : Sat Dec 01 12:14:49 2018

        Subject: "CN=DBserver,O=example.com,C=US"

        Subject Public Key Info:

4.  해결

□   nss.conf 파일 위치 파악

[root@test ssl]# find / -name nss.conf

/etc/httpd/conf.d/nss.conf

□   아래 문구 없다면 nss.conf 파일 맨 아래 줄에 추가

NSSEnforceValidCerts off

□   재생성을 위한 기존 자료 삭제

[root@test alias]# cd /etc/httpd/alias/

[root@test alias]# ls

cert8.db  install.log  key3.db  libnssckbi.so  secmod.db

위 검색된 3개의 파일 삭제

[root@test alias]# rm -f cert8.db key3.db secmod.db

□  삭제 뒤 아래 문구 그대로 실행

/usr/sbin/gencert /etc/httpd/alias

□   mod_nss 재설치

[root@test alias]# yum remove mod_nss

[root@test alias]# yum install mod_nss

□   아파치 서버 재가동

apachectl stop

apachectl -k start

정상적으로 접속됨을 확인

1. 타기관으로부터  침입탐지에 대한 원인 파악 협조 연락이 옵니다

이쪽에 있는 특정 IP(예. 129.255.100.x) 에서  목적지 주소(예: 211.100.100.x)와의  통신 원인 파악

피해여부를 확인해달라는 내용입니다. 

이런 메일을 보내온 이유는

129.255.100.x에서  211.100.100.x 주소로 계속된 공격시도가 탐지된 것이 원인으로 보입니다.

아래와 같은 이벤트 로그가 발생하였다고 합니다.

"(CTEST)Relay-IP-port().18100107@ 이벤트의 탐지로그를 보내드리니 확인 부탁드리겠습니다"

이면에는 '혹시 너네 서버 해킹당해서 공격 경유지로 쓰인 거 아니냐? 피해 입었는지 살펴보고 왜 우리쪽에 공격 시도를 했는지 공격시도가 아니라면 무엇인지 밝혀달라' 뜻이 있는 것 같습니다.

2.  우선  211.100.100.x  주소가 어딘지 파악해봅니다

whois.kisa.or.kr에 들어가 위 주소를 검색해봅니다

웹접속로그 파일 : access_log

위 로그 파일에서 목적지 주소인 211.100.100.X 를 검색해봅니다.

다음과 같이 특정 시간 대에 웹에서 이메뉴 저메뉴를 수도 없이 옮겨다니며 클릭한 것을 발견합니다.

    내용은 아마도 아래와 같으면 좋을 것 같습니다.

    "로그파일을 미루어볼 때 129.255.100.x 홈페이지 웹서버를 통해 목적지 211.100.100.x 에 대한 다건의 접속시도는

    해당 네트웍망의 사용자가 브라우저상에서 웹서버에 요청한  것에 대한 다량의 reply 패킷으로 보입니다"