Java | Java Korean

Elements (jsoup 1.7.4-SNAPSHOT API)

Posted on 2015년 1월 25일 by heewoo

Posted in Java Leave a comment

Overview

Package

Class

Use

Tree

Deprecated

Index

Help

PREV CLASS NEXT CLASS

FRAMES NO FRAMES All Classes

SUMMARY: NESTED | FIELD | CONSTR | METHOD

DETAIL: FIELD | CONSTR | METHOD

org.jsoup.select
Class Elements

java.lang.Object
  org.jsoup.select.Elements

All Implemented Interfaces:: Cloneable, Iterable< Element>, Collection< Element>, List< Element>

public class Elements
extends Object
implements List< Element>, Cloneable

A list of Elements, with methods that act on every element in the list.

To get an Elements object, use the Element.select(String) method.

Author:: Jonathan Hedley, jonathan@hedley.net

Constructor Summary
`Elements()`
`Elements(Collection<Element> elements)`
`Elements(Element... elements)`
`Elements(int initialCapacity)`
`Elements(List<Element> elements)`

Method Summary

boolean add(Element element)

void add(int index, Element element)

boolean addAll(Collection<? extends Element> c)

boolean addAll(int index, Collection<? extends Element> c)

Elements addClass(String className)
Add the class name to every matched element’s class attribute.

Elements after(String html)
Insert the supplied HTML after each matched element’s outer HTML.

Elements append(String html)
Add the supplied HTML to the end of each matched element’s inner HTML.

String attr(String attributeKey)
Get an attribute value from the first matched element that has the attribute.

Elements attr(String attributeKey, String attributeValue)
Set an attribute on all matched elements.

Elements before(String html)
Insert the supplied HTML before each matched element’s outer HTML.

void clear()

Elements clone()
Creates a deep copy of these elements.

boolean contains(Object o)

boolean containsAll(Collection<?> c)

Elements empty()
Empty (remove all child nodes from) each matched element.

Elements eq(int index)
Get the nth matched element as an Elements object.

boolean equals(Object o)

Element first()
Get the first matched element.

List<FormElement> forms()
Get the FormElement forms from the selected elements, if any.

Element get(int index)

boolean hasAttr(String attributeKey)
Checks if any of the matched elements have this attribute set.

boolean hasClass(String className)
Determine if any of the matched elements have this class name set in their class attribute.

int hashCode()

boolean hasText()

String html()
Get the combined inner HTML of all matched elements.

Elements html(String html)
Set the inner HTML of each matched element.

int indexOf(Object o)

boolean is(String query)
Test if any of the matched elements match the supplied query.

boolean isEmpty()

Iterator<Element> iterator()

Element last()
Get the last matched element.

int lastIndexOf(Object o)

ListIterator<Element> listIterator()

ListIterator<Element> listIterator(int index)

Elements not(String query)
Remove elements from this list that match the Selector query.

String outerHtml()
Get the combined outer HTML of all matched elements.

Elements parents()
Get all of the parents and ancestor elements of the matched elements.

Elements prepend(String html)
Add the supplied HTML to the start of each matched element’s inner HTML.

Elements remove()
Remove each matched element from the DOM.

Element remove(int index)

boolean remove(Object o)

boolean removeAll(Collection<?> c)

Elements removeAttr(String attributeKey)
Remove an attribute from every matched element.

Elements removeClass(String className)
Remove the class name from every matched element’s class attribute, if present.

boolean retainAll(Collection<?> c)

Elements select(String query)
Find matching elements within this element list.

Element set(int index, Element element)

int size()

List<Element> subList(int fromIndex, int toIndex)

Elements tagName(String tagName)
Update the tag name of each matched element.

String text()
Get the combined text of all the matched elements.

Object[] toArray()

<T> T[]

toArray(T[] a)

Elements toggleClass(String className)
Toggle the class name on every matched element’s class attribute.

String toString()
Get the combined outer HTML of all matched elements.

Elements traverse(NodeVisitor nodeVisitor)
Perform a depth-first traversal on each of the selected elements.

Elements unwrap()
Removes the matched elements from the DOM, and moves their children up into their parents.

String val()
Get the form element’s value of the first matched element.

Elements val(String value)
Set the form element’s value in each of the matched elements.

Elements wrap(String html)
Wrap the supplied HTML around each matched elements.

Methods inherited from class java.lang.Object
`finalize, getClass, notify, notifyAll, wait, wait, wait`

Constructor Detail

Elements

public Elements()

Elements

public Elements(int initialCapacity)

Elements

public Elements(Collection<Element> elements)

Elements

public Elements(List<Element> elements)

Elements

public Elements(Element... elements)

Method Detail

clone

public Elements clone()

Creates a deep copy of these elements.

Overrides:: clone in class Object

Returns:: a deep copy

attr

public String attr(String attributeKey)

Get an attribute value from the first matched element that has the attribute.

Parameters:: attributeKey – The attribute key.
Returns:: The attribute value from the first matched element that has the attribute.. If no elements were matched (isEmpty() == true), or if the no elements have the attribute, returns empty string.
See Also:: hasAttr(String)

hasAttr

public boolean hasAttr(String attributeKey)

Checks if any of the matched elements have this attribute set.

Parameters:: attributeKey – attribute key
Returns:: true if any of the elements have the attribute; false if none do.

attr

public Elements attr(String attributeKey,
                     String attributeValue)

Set an attribute on all matched elements.

Parameters:: attributeKey – attribute key; attributeValue – attribute value
Returns:: this

removeAttr

public Elements removeAttr(String attributeKey)

Remove an attribute from every matched element.

Parameters:: attributeKey – The attribute to remove.
Returns:: this (for chaining)

addClass

public Elements addClass(String className)

Add the class name to every matched element’s class attribute.

Parameters:: className – class name to add
Returns:: this

removeClass

public Elements removeClass(String className)

Remove the class name from every matched element’s class attribute, if present.

Parameters:: className – class name to remove
Returns:: this

toggleClass

public Elements toggleClass(String className)

Toggle the class name on every matched element’s class attribute.

Parameters:: className – class name to add if missing, or remove if present, from every element.
Returns:: this

hasClass

public boolean hasClass(String className)

Determine if any of the matched elements have this class name set in their class attribute.

Parameters:: className – class name to check for
Returns:: true if any do, false if none do

val

public String val()

Get the form element’s value of the first matched element.

Returns:: The form element’s value, or empty if not set.
See Also:: Element.val()

val

public Elements val(String value)

Set the form element’s value in each of the matched elements.

Parameters:: value – The value to set into each matched element
Returns:: this (for chaining)

text

public String text()

Get the combined text of all the matched elements.Note that it is possible to get repeats if the matched elements contain both parent elements and their own children, as the Element.text() method returns the combined text of a parent and all its children.

Returns:: string of all text: unescaped and no HTML.
See Also:: Element.text()

hasText

public boolean hasText()

html

public String html()

Get the combined inner HTML of all matched elements.

Returns:: string of all element’s inner HTML.
See Also:: text(), outerHtml()

outerHtml

public String outerHtml()

Get the combined outer HTML of all matched elements.

Returns:: string of all element’s outer HTML.
See Also:: text(), html()

toString

public String toString()

Get the combined outer HTML of all matched elements. Alias of outerHtml().

Overrides:: toString in class Object

Returns:: string of all element’s outer HTML.
See Also:: text(), html()

tagName

public Elements tagName(String tagName)

Update the tag name of each matched element. For example, to change each <i> to a <em>, do doc.select("i").tagName("em");

Parameters:: tagName – the new tag name
Returns:: this, for chaining
See Also:: Element.tagName(String)

html

public Elements html(String html)

Set the inner HTML of each matched element.

Parameters:: html – HTML to parse and set into each matched element.
Returns:: this, for chaining
See Also:: Element.html(String)

prepend

public Elements prepend(String html)

Add the supplied HTML to the start of each matched element’s inner HTML.

Parameters:: html – HTML to add inside each element, before the existing HTML
Returns:: this, for chaining
See Also:: Element.prepend(String)

append

public Elements append(String html)

Add the supplied HTML to the end of each matched element’s inner HTML.

Parameters:: html – HTML to add inside each element, after the existing HTML
Returns:: this, for chaining
See Also:: Element.append(String)

before

public Elements before(String html)

Insert the supplied HTML before each matched element’s outer HTML.

Parameters:: html – HTML to insert before each element
Returns:: this, for chaining
See Also:: Element.before(String)

after

public Elements after(String html)

Insert the supplied HTML after each matched element’s outer HTML.

Parameters:: html – HTML to insert after each element
Returns:: this, for chaining
See Also:: Element.after(String)

wrap

public Elements wrap(String html)

Wrap the supplied HTML around each matched elements. For example, with HTML <p><b>This</b> is <b>Jsoup</b></p>, doc.select("b").wrap("<i></i>"); becomes <p><i><b>This</b></i> is <i><b>jsoup</b></i></p>

Parameters:: html – HTML to wrap around each element, e.g. <div></div>. Can be arbitrarily deep.
Returns:: this (for chaining)
See Also:: Element.wrap(java.lang.String)

unwrap

public Elements unwrap()

Removes the matched elements from the DOM, and moves their children up into their parents. This has the effect of dropping the elements but keeping their children.

This is useful for e.g removing unwanted formatting elements but keeping their contents.

E.g. with HTML: <div><font>One</font> <font><a href="/">Two</a></font></div>
doc.select("font").unwrap();
HTML = <div>One <a href="/">Two</a></div>

Returns:: this (for chaining)
See Also:: Node.unwrap()

empty

public Elements empty()

Empty (remove all child nodes from) each matched element. This is similar to setting the inner HTML of each element to nothing.E.g. HTML: <div><p>Hello <b>there</b></p> <p>now</p></div>
doc.select("p").empty();
HTML = <div><p></p> <p></p></div>

Returns:: this, for chaining
See Also:: Element.empty(), remove()

remove

public Elements remove()

Remove each matched element from the DOM. This is similar to setting the outer HTML of each element to nothing.E.g. HTML: <div><p>Hello</p> <p>there</p> <img /></div>
doc.select("p").remove();
HTML = <div> <img /></div>

Note that this method should not be used to clean user-submitted HTML; rather, use Cleaner to clean HTML.

Returns:: this, for chaining
See Also:: Element.empty(), empty()

select

public Elements select(String query)

Find matching elements within this element list.

Parameters:: query – A Selector query
Returns:: the filtered list of elements, or an empty list if none match.

not

public Elements not(String query)

Remove elements from this list that match the Selector query.E.g. HTML: <div>One</div> <div>Two</div>
Elements divs = doc.select("div").not("#logo");
Result: divs: [<div>Two</div>]

Parameters:: query – the selector query whose results should be removed from these elements
Returns:: a new elements list that contains only the filtered results

eq

public Elements eq(int index)

Get the nth matched element as an Elements object.See also get(int) to retrieve an Element.

Parameters:: index – the (zero-based) index of the element in the list to retain
Returns:: Elements containing only the specified element, or, if that element did not exist, an empty list.

is

public boolean is(String query)

Test if any of the matched elements match the supplied query.

Parameters:: query – A selector
Returns:: true if at least one element in the list matches the query.

parents

public Elements parents()

Get all of the parents and ancestor elements of the matched elements.

Returns:: all of the parents and ancestor elements of the matched elements

first

public Element first()

Get the first matched element.

Returns:: The first matched element, or null if contents is empty.

last

public Element last()

Get the last matched element.

Returns:: The last matched element, or null if contents is empty.

traverse

public Elements traverse(NodeVisitor nodeVisitor)

Perform a depth-first traversal on each of the selected elements.

Parameters:: nodeVisitor – the visitor callbacks to perform on each node
Returns:: this, for chaining

forms

public List<FormElement> forms()

Get the FormElement forms from the selected elements, if any.

Returns:: a list of FormElements pulled from the matched elements. The list will be empty if the elements contain no forms.

size

public int size()

Specified by:: size in interface Collection<Element>
Specified by:: size in interface List<Element>

isEmpty

public boolean isEmpty()

Specified by:: isEmpty in interface Collection<Element>
Specified by:: isEmpty in interface List<Element>

contains

public boolean contains(Object o)

Specified by:: contains in interface Collection<Element>
Specified by:: contains in interface List<Element>

iterator

public Iterator<Element> iterator()

Specified by:: iterator in interface Iterable<Element>
Specified by:: iterator in interface Collection<Element>
Specified by:: iterator in interface List<Element>

toArray

public Object[] toArray()

Specified by:: toArray in interface Collection<Element>
Specified by:: toArray in interface List<Element>

toArray

public <T> T[] toArray(T[] a)

Specified by:: toArray in interface Collection<Element>
Specified by:: toArray in interface List<Element>

add

public boolean add(Element element)

Specified by:: add in interface Collection<Element>
Specified by:: add in interface List<Element>

remove

public boolean remove(Object o)

Specified by:: remove in interface Collection<Element>
Specified by:: remove in interface List<Element>

containsAll

public boolean containsAll(Collection<?> c)

Specified by:: containsAll in interface Collection<Element>
Specified by:: containsAll in interface List<Element>

addAll

public boolean addAll(Collection<? extends Element> c)

Specified by:: addAll in interface Collection<Element>
Specified by:: addAll in interface List<Element>

addAll

public boolean addAll(int index,
                      Collection<? extends Element> c)

Specified by:: addAll in interface List<Element>

removeAll

public boolean removeAll(Collection<?> c)

Specified by:: removeAll in interface Collection<Element>
Specified by:: removeAll in interface List<Element>

retainAll

public boolean retainAll(Collection<?> c)

Specified by:: retainAll in interface Collection<Element>
Specified by:: retainAll in interface List<Element>

clear

public void clear()

Specified by:: clear in interface Collection<Element>
Specified by:: clear in interface List<Element>

equals

public boolean equals(Object o)

Specified by:: equals in interface Collection<Element>
Specified by:: equals in interface List<Element>
Overrides:: equals in class Object

hashCode

public int hashCode()

Specified by:: hashCode in interface Collection<Element>
Specified by:: hashCode in interface List<Element>
Overrides:: hashCode in class Object

get

public Element get(int index)

Specified by:: get in interface List<Element>

set

public Element set(int index,
                   Element element)

Specified by:: set in interface List<Element>

add

public void add(int index,
                Element element)

Specified by:: add in interface List<Element>

remove

public Element remove(int index)

Specified by:: remove in interface List<Element>

indexOf

public int indexOf(Object o)

Specified by:: indexOf in interface List<Element>

lastIndexOf

public int lastIndexOf(Object o)

Specified by:: lastIndexOf in interface List<Element>

listIterator

public ListIterator<Element> listIterator()

Specified by:: listIterator in interface List<Element>

listIterator

public ListIterator<Element> listIterator(int index)

Specified by:: listIterator in interface List<Element>

subList

public List<Element> subList(int fromIndex,
                             int toIndex)

Specified by:: subList in interface List<Element>

Overview

Package

Class

Use

Tree

Deprecated

Index

Help

PREV CLASS NEXT CLASS

FRAMES NO FRAMES All Classes

SUMMARY: NESTED | FIELD | CONSTR | METHOD

DETAIL: FIELD | CONSTR | METHOD

vo, dao, dto란 무엇인가

Posted on 2015년 1월 25일 by heewoo

Posted in Java Leave a comment


VO
개념
Value Object는 DTO와 동일한 개념이나 차이 점은 read only 속성을 갖습니다.
Value Object는 관계데이터베이스의 레코드에 대응되는 자바클래스입니다. 형태는 db레코드를 구성하는 필드들을 Value Object의 Attribute로 하고 해당 변수에 접근 할 수 있는 Getter Setter 메소드의 조합으로 클래스를 형성되어진 클래스입니다. 특성은 대체로 불변성이고 equals()로 비교할 때 객체의 모든 값을 비교해야 합니다.
필요성
Network traffic을 줄임으로 인해서 효과적입니다.
기대효과
Network traffic이 줄어듭니다.

장 단점
장점으로는 비 서버 측 클라이언트도 네트워크 오버헤드 없이 영속성 데이터에 액세스 할 수 있다는 점입니다. 데이터 전달을 위해 가장 효율적인 방법이지만, 클래스의 선언을 위해 많은 코드가 필요합니다. 즉 파일수가 많아지게 되고 관리도 힘들어지게 됩니다.
예제 소스코드
view plaincopy to clipboardprint?
Public class Data extent ValueObject // VO패턴에 따라 상태가 변하지 않는 Immutable
{ // 클래스를 상속 받는다.
 private String Data;
 private int nNo;

 public String getData() { return Data; }
 public void setData(String data) {this.Data = data;}
 public int getNumber() {return nNo;}
 public void setNo(int no) { this.nNo = no;}
}
DTO
개념
데이터가 포함된 객체를 한 시스템에서 다른 시스템으로 전달하는 작업을 처리하는 객체입니다. Vo와 dto의 차이점은 vo는 특정한 비즈니스 값을 담는 객체를 vo라 하고 dto는 레이어간의 통신용도로 오가는 객체를 dto라고 합니다.
Vo와 DTO의 비교
DTO의 나머지 속성은 vo와 똑같다고 생각하여서 차라리 차이점을 비교하려고 합니다.
Core J2EE Patterns 라는 책에서는... Value Object랑 Transfer Object를 동일한 뜻으로 사용합니다만 반대로 Martin Fowler는 저서 Patterns of Enterprise Application Architecture에서 약간 다른 의미로 이야기 합니다. DTO는 메소드 호출 횟수를 줄이기 위해 데이터를 담고 있는 녀석으로, VO는 값이 같으면 동일 오브젝트라고 볼 수 있는 녀석으로 표현을 하고 있습니다.

쉽게
DTO a = new DTO(1);
DTO b = new DTO(1);
이라고 했을 때 a != b 이지만,

VO a = VO(1);
VO b = VO(1); 이라고 했을때는 a == b라고 정의하는 형태입니다.
사실 이러한 내용도 헷갈리는 부분이 있는게 대부분의 검색에서 사람들은 vo와 dto를 같은 개념으로 이야기 하고 있어서 아직도 vo와 dto가 “이런거다”라기 보다 거의 똑 같은 개념으로 생각하고 있습니다.

DAO
개념
데이터 접근을 목적하는 객체입니다. 커넥션 같은 것을 하나만 두고 여러 사용자가 DAO의 인터페이스를 사용하여 필요한 자료에 접근 하도록 하는 것이 DAO의 개념입니다.
필요성
모든 데이터베이스에 공통적으로 접속 할 수 있는 ODBC가 나왔지만 완벽하진 못했습니다. 여전히 로우 레벨의 API를 포함하고 있었기 때문에 개발 장벽이 여전히 높았습니다. 이런 이유 때문에 개발자들은 정작 데이터베이스에 들어 있는 데이터를 어떻게 이용할지에 초점을 맞추기 보다, 어떻게 데이터베이스에 접속해서 데이터베이스와 교류하는지에 더 초점을 기울였습니다. 즉 데이터를 활용하는 논리적 고민보다 기술적 고민에 더 많은 신경을 썻었습니다. 이런 이유로 DAO란 대안이 나왔습니다.
기대효과
사용자는 자신이 필요한 Interface를 DAO에게 던지고 DAO는 이 인터페이스를 구현한 객체를 사용자에게 편리하게 사용 할수 있도록 반환해줍니다.
장 단점
DB에 대한 접근을 DAO가 담당하도록 하여 데이터베이스 엑세스를 DAO에서만 하게 되면 다수의 원격호출을 통한 오버헤드를 VO나 DTO를 통해 줄일수 있고 다수의 DB 호출문제를 해결할 수 있습니다. 또한 단순히 읽기만 하는 연산이므로 트랜잭션 간의 오버헤드를 감소할 수 있습니다.
 그러나 Persistent Storage를 너무 밀접하게 결합해서 작성을 하게 되면 Persistent Stroage를 다시 작성할 경우가 생기는데 이러한 경우 유지 보수의 문제가 생길수도 있습니다.
예제 소스코드
view plaincopy to clipboardprint?
// XXX 에 대한 DAO 생성자로 Connection 을 받습니다.
// 그러면 해당 DAO 인스턴스는 해당 Connection 을 계속 재사용하게 됩니다.
// 이 Connection 은 외부에서 넘겨 준것이므로 해당 DAO 는 release 는 할수 없습니다.
// DAO 에서는 ResultSet 과 Statement 만을 생성하고 close 합니다.

public class XXXDao {
 Connection dbConnection = null;
 public XXXDao( Connection dbConnection ) {
 this.dbConnection = dbConnection ;
 }
 public Vector doXXXDBLogic( String param1 ) throws Exception {
 // …
 Statement stmt = null;
 ResultSet rset = null;
 try {
 stmt = dbConnection.createStatement();
 stmt.executeQuery( “select 어쩌구.. “);
 // Vector 에 결과 저장 & return
 } catch (Exception ex) {
 // exception 처리
 throw ex;
 } finally {
 DBUtil.closeStatement( stmt ) ; // statement close
 DBUtil.closeResultSet( rset ) ; // resultset close
 }
 }
}

자바 디렉터리 (폴더) 생성

Posted on 2015년 1월 25일 by heewoo

Posted in Java Leave a comment

mkdir : 하위 디렉터리 생성 불가

mkdirs : 하위 디렉터리 생성 가능

f_list = new File(source).listFiles(); // 폴더들 위치 

System.out.println("총 " + f_list.length + " 개의 폴더가 존재합니다. ");

for(int folder = 0 ; folder < f_list.length ; folder++){

	System.out.println(folder + " 번째 디렉토리를 분석중입니다.");

// 디렉토리 명을 수정 ( / 기호가 안붙을 경우를 위함) 
	String chk = destination.substring(destination.length()-1, destination.length());

	if(!chk.equals("/"))destination = destination+"/"; 

// 생성할 디렉토리 명을 지정
	String mkFolder = destination+f_list[folder].getName(); //하나의 폴더  


	File[] fileList = f_list[folder].listFiles(); // 파일들

	//디렉토리 생성 
	File desti = new File(mkFolder);

  //해당 디렉토리의 존재여부를 확인
	if(!desti.exists()){
  //없다면 생성
	desti.mkdirs(); 
	}else{
		//있다면 현재 디렉토리 파일을 삭제 
		File[] destroy = desti.listFiles(); 
		for(File des : destroy){
		des.delete(); 
		}	
	}
	System.out.println("디렉토리 명 = " + mkFolder);

	for(int f = 0; f < fileList.length ; f++){

	System.out.println("\t" + f + " 번째 파일 분석 중...");

자바로 ip주소 가져오기

Posted on 2014년 12월 14일 by heewoo

Posted in Java Leave a comment

일반적으로 IP를 가져오고자 할 때 InetAddress class의 static 함수를 사용해서 아래와 같이 호출하는 것 같다.

InetAddress.getLocalHost().getHostAddress();

하지만 여러가지 Network Interface가 붙어있는 machine인 경우 엉뚱한 IP가 리턴되는 경우가 있다.

나의 경우엔 loopback address만 나오는 상황이 있었는데 당연히 그 주소를 그대로 사용할 수는 없었다.

이런 경우 NetworkInterface class를 사용해서 Network Interface 별로 모두 주소를 가져와 확인하는게 가장 확실한 방법이 될 것 같다. 아래처럼 호출하면 Enumeration 으로 모든 Network Interface를 얻을 수 있고 그걸 기반으로 InetAddress를 얻어와 주소가 loopback address인지 등을 비교하면 정확한 주소를 얻을 수 있다.

NetworkInterface.getNetworkInterfaces();

나의 경우엔 loopback address가 아니고 site local address인 경우만 맞는 것으로 판단해서 사용했다.

JAVA MD5, SHA-256 해쉬코드 얻기

Posted on 2014년 7월 12일 by heewoo

Posted in Java Leave a comment

JAVA MD5, SHA-256 해쉬코드 얻기

얼마전 천만건이 넘는 문장의 중복을 체크해야 되는 작업을 진행하였다. 중복 체크 알고리즘들은 많이 있지만, 문제는 중복을 확인하기 위해서는 그 모든 문장들을 메모리에 올려야 하는데, 그 많은 데이터가 다 올라가느냐였다. 문장의 길이가 워낙 긴게 많아서…

결국 문장을 MD5 해쉬 값으로 바꾸어 중복을 체크함으로써 이문제를 해결 할 수 있었다.

MD5 (Message-Digest algorithm 5)

MD5는 메세지 축약 알고리즘으로써, 파일 무결성 검사용도로 많이 쓰이고 있다.

128bit 의 해쉬를 제공하며, 암호와와 복호화를 통하여 보안용도로도 많이 쓰인다.

하지만 암호화 결함이 발견되어 보안 용도로 사용할때에는 SHA와 같은 다른 알고리즘을 사용하는것이 권장되고 있다고 한다.

또한, 자바에서는 현재 복호화를 할 수 있는 방법은 없는듯하다. 자바에서 사용회는 MD5는 해시 함수로써, 기본적으로 복호화를 목적으로 하지 않는다는 것이 이유중에 하나라고도 한다. (뭐, 사실 방법이야 있겠지만, 나는 모르겠다)

SHA-256 (Sechre Hash Standard)

MD5와 뭐 거의 동일하지만 160bit 의 해쉬를 제공한다. SHA는 256 뿐만아니라, SHA-0, SHA-1 과 같이 여러 암호학적 해쉬가 존재한다.

자바에서 MD5 와 SHA의 사용은 매우 쉽다. 바로, MessageDigest 클래스를 사용하면 된다

MD5 와 SHA-256 메서드 소스코드

// MD5

<div>

public String testMD5(String str){

String MD5 = "";

try{

MessageDigest md = MessageDigest.getInstance("<b>MD5</b>");

md.update(str.getBytes());

byte byteData[] = md.digest();

StringBuffer sb = new StringBuffer();

for(int i = 0 ; i < byteData.length ; i++){

sb.append(Integer.toString((byteData[i]&0xff) + 0x100, 16).substring(1));

}

MD5 = sb.toString();

&nbsp;

}catch(NoSuchAlgorithmException e){

e.printStackTrace();

MD5 = null;

}

return MD5;

}

</div>
<div>

<b>// SHA-256</b>

</div>
<div>

public String testSHA256(String str){

String SHA = "";

try{

MessageDigest sh = MessageDigest.getInstance("<b>SHA-256</b>");

sh.update(str.getBytes());

byte byteData[] = sh.digest();

StringBuffer sb = new StringBuffer();

for(int i = 0 ; i < byteData.length ; i++){

sb.append(Integer.toString((byteData[i]&0xff) + 0x100, 16).substring(1));

}

SHA = sb.toString();

&nbsp;

}catch(NoSuchAlgorithmException e){

e.printStackTrace();

SHA = null;

}

return SHA;

}

JAVA GC(가비지 컬렉션) 정리 퍼옴..

Posted on 2014년 5월 7일 by heewoo

Posted in Java Leave a comment

네이버 개발자 블로그에 좋은글이 있어서 퍼왔당 ..

자바 개발자라면 한번쯤은 가비지 컬렉션에 대해서 깊은 고민을 해봐야하지 않을까…

좋은 내용 소개해주셔서 감사합니다.. ^^;

가비지 컬렉션 과정 – Generational Garbage Collection

GC에 대해서 알아보기 전에 알아야 할 용어가 있다. 바로 ‘stop-the-world’이다. stop-the-world란, GC을 실행하기 위해 JVM이 애플리케이션 실행을 멈추는 것이다. stop-the-world가 발생하면 GC를 실행하는 쓰레드를 제외한 나머지 쓰레드는 모두 작업을 멈춘다. GC 작업을 완료한 이후에야 중단했던 작업을 다시 시작한다. 어떤 GC 알고리즘을 사용하더라도 stop-the-world는 발생한다. 대개의 경우 GC 튜닝이란 이 stop-the-world 시간을 줄이는 것이다.

Java는 프로그램 코드에서 메모리를 명시적으로 지정하여 해제하지 않는다. 가끔 명시적으로 해제하려고 해당 객체를 null로 지정하거나 System.gc() 메서드를 호출하는 개발자가 있다. null로 지정하는 것은 큰 문제가 안 되지만, System.gc() 메서드를 호출하는 것은 시스템의 성능에 매우 큰 영향을 끼치므로 System.gc() 메서드는 절대로 사용하면 안 된다(다행히도 NHN에서 System.gc() 메서드를 호출하는 개발자를 보진 못했다).

Java에서는 개발자가 프로그램 코드로 메모리를 명시적으로 해제하지 않기 때문에 가비지 컬렉터(Garbage Collector)가 더 이상 필요 없는 (쓰레기) 객체를 찾아 지우는 작업을 한다. 이 가비지 컬렉터는 두 가지 가설 하에 만들어졌다(사실 가설이라기보다는 가정 또는 전제 조건이라 표현하는 것이 맞다).
대부분의 객체는 금방 접근 불가능 상태(unreachable)가 된다.
오래된 객체에서 젊은 객체로의 참조는 아주 적게 존재한다.

이러한 가설을 ‘weak generational hypothesis’라 한다. 이 가설의 장점을 최대한 살리기 위해서 HotSpot VM에서는 크게 2개로 물리적 공간을 나누었다. 둘로 나눈 공간이 Young 영역과 Old 영역이다.

Young 영역(Yong Generation 영역): 새롭게 생성한 객체의 대부분이 여기에 위치한다. 대부분의 객체가 금방 접근 불가능 상태가 되기 때문에 매우 많은 객체가 Young 영역에 생성되었다가 사라진다. 이 영역에서 객체가 사라질때 Minor GC가 발생한다고 말한다.
Old 영역(Old Generation 영역): 접근 불가능 상태로 되지 않아 Young 영역에서 살아남은 객체가 여기로 복사된다. 대부분 Young 영역보다 크게 할당하며, 크기가 큰 만큼 Young 영역보다 GC는 적게 발생한다. 이 영역에서 객체가 사라질 때 Major GC(혹은 Full GC)가 발생한다고 말한다.

영역별 데이터 흐름을 그림으로 살펴보면 다음과 같다.

그림 1 GC 영역 및 데이터 흐름도

위 그림의 Permanent Generation 영역(이하 Perm 영역)은 Method Area라고도 한다. 객체나 억류(intern)된 문자열 정보를 저장하는 곳이며, Old 영역에서 살아남은 객체가 영원히 남아 있는 곳은 절대 아니다. 이 영역에서 GC가 발생할 수도 있는데, 여기서 GC가 발생해도 Major GC의 횟수에 포함된다.

그렇다면 “Old 영역에 있는 객체가 Young 영역의 객체를 참조하는 경우가 있을 때에는 어떻게 처리될까?”라고 궁금해 하는 분도 더러 있을 것이다. 이러한 경우를 처리하기 위해서 Old 영역에는 512바이트의 덩어리(chunk)로 되어 있는 카드 테이블(card table)이 존재한다.

카드 테이블에는 Old 영역에 있는 객체가 Young 영역의 객체를 참조할 때마다 정보가 표시된다. Young 영역의 GC를 실행할 때에는 Old 영역에 있는 모든 객체의 참조를 확인하지 않고, 이 카드 테이블만 뒤져서 GC 대상인지 식별한다.

그림 2 카드 테이블 구조

카드 테이블은 write barrier를 사용하여 관리한다. write barrier는 Minor GC를 빠르게 할 수 있도록 하는 장치이다. write barrirer때문에 약간의 오버헤드는 발생하지만 전반적인 GC 시간은 줄어들게 된다.

Young 영역의 구성

GC를 이해하기 위해서 객체가 제일 먼저 생성되는 Young 영역부터 알아보자. Young 영역은 3개의 영역으로 나뉜다.
Eden 영역
Survivor 영역(2개)

Survivor 영역이 2개이기 때문에 총 3개의 영역으로 나뉘는 것이다. 각 영역의 처리 절차를 순서에 따라서 기술하면 다음과 같다.

새로 생성한 대부분의 객체는 Eden 영역에 위치한다.
Eden 영역에서 GC가 한 번 발생한 후 살아남은 객체는 Survivor 영역 중 하나로 이동된다.
Eden 영역에서 GC가 발생하면 이미 살아남은 객체가 존재하는 Survivor 영역으로 객체가 계속 쌓인다.
하나의 Survivor 영역이 가득 차게 되면 그 중에서 살아남은 객체를 다른 Survivor 영역으로 이동한다. 그리고 가득 찬 Survivor 영역은 아무 데이터도 없는 상태로 된다.
이 과정을 반복하다가 계속해서 살아남아 있는 객체는 Old 영역으로 이동하게 된다.

이 절차를 확인해 보면 알겠지만 Survivor 영역 중 하나는 반드시 비어 있는 상태로 남아 있어야 한다. 만약 두 Survivor 영역에 모두 데이터가 존재하거나, 두 영역 모두 사용량이 0이라면 여러분의 시스템은 정상적인 상황이 아니라고 생각하면 된다.

이렇게 Minor GC를 통해서 Old 영역까지 데이터가 쌓인 것을 간단히 나타내면 다음과 같다.

그림 3 GC 전과 후의 비교

참고로, HotSpot VM에서는 보다 빠른 메모리 할당을 위해서 두 가지 기술을 사용한다. 하나는 bump-the-pointer라는 기술이며, 다른 하나는 TLABs(Thread-Local Allocation Buffers)라는 기술이다.

bump-the-pointer는 Eden 영역에 할당된 마지막 객체를 추적한다. 마지막 객체는 Eden 영역의 맨 위(top)에 있다. 그리고 그 다음에 생성되는 객체가 있으면, 해당 객체의 크기가 Eden 영역에 넣기 적당한지만 확인한다. 만약 해당 객체의 크기가 적당하다고 판정되면 Eden 영역에 넣게 되고, 새로 생성된 객체가 맨 위에 있게 된다. 따라서, 새로운 객체를 생성할 때 마지막에 추가된 객체만 점검하면 되므로 매우 빠르게 메모리 할당이 이루어진다.

그러나 멀티 스레드 환경을 고려하면 이야기가 달라진다. Thread-Safe하기 위해서 만약 여러 스레드에서 사용하는 객체를 Eden 영역에 저장하려면 락(lock)이 발생할 수 밖에 없고, lock-contention 때문에 성능은 매우 떨어지게 될 것이다. HotSpot VM에서 이를 해결한 것이 TLABs이다.

각각의 스레드가 각각의 몫에 해당하는 Eden 영역의 작은 덩어리를 가질 수 있도록 하는 것이다. 각 쓰레드에는 자기가 갖고 있는 TLAB에만 접근할 수 있기 때문에, bump-the-pointer라는 기술을 사용하더라도 아무런 락이 없이 메모리 할당이 가능하다.

간단하게 Young 영역에 대한 GC에 대해서 알아보았다. 위에서 이야기한 두 가지 기술(bump-the-pointer, TLABs)을 반드시 기억하고 있을 필요는 없다. 몰라도 쇠고랑 안차고 경찰 출동 안한다. 그러나 Eden 영역에 최초로 객체가 만들어지고, Survivor 영역을 통해서 Old 영역으로 오래 살아남은 객체가 이동한다는 사실은 꼭 기억하기 바란다.

Old 영역에 대한 GC

Old 영역은 기본적으로 데이터가 가득 차면 GC를 실행한다. GC 방식에 따라서 처리 절차가 달라지므로, 어떤 GC 방식이 있는지 살펴보면 이해가 쉬울 것이다. GC 방식은 JDK 7을 기준으로 5가지 방식이 있다.
Serial GC
Parallel GC
Parallel Old GC(Parallel Compacting GC)
Concurrent Mark & Sweep GC(이하 CMS)
G1(Garbage First) GC

이 중에서 운영 서버에서 절대 사용하면 안 되는 방식이 Serial GC다. Serial GC는 데스크톱의 CPU 코어가 하나만 있을 때 사용하기 위해서 만든 방식이다. Serial GC를 사용하면 애플리케이션의 성능이 많이 떨어진다.

그럼 각 GC 방식에 대해서 살펴보자.

Serial GC (-XX:+UseSerialGC)

Young 영역에서의 GC는 앞 절에서 설명한 방식을 사용한다. Old 영역의 GC는 mark-sweep-compact이라는 알고리즘을 사용한다. 이 알고리즘의 첫 단계는 Old 영역에 살아 있는 객체를 식별(Mark)하는 것이다. 그 다음에는 힙(heap)의 앞 부분부터 확인하여 살아 있는 것만 남긴다(Sweep). 마지막 단계에서는 각 객체들이 연속되게 쌓이도록 힙의 가장 앞 부분부터 채워서 객체가 존재하는 부분과 객체가 없는 부분으로 나눈다(Compaction).

Serial GC는 적은 메모리와 CPU 코어 개수가 적을 때 적합한 방식이다.
Parallel GC (-XX:+UseParallelGC)

Parallel GC는 Serial GC와 기본적인 알고리즘은 같지다. 그러나 Serial GC는 GC를 처리하는 스레드가 하나인 것에 비해, Parallel GC는 GC를 처리하는 쓰레드가 여러 개이다. 그렇기 때문에 Serial GC보다 빠른게 객체를 처리할 수 있다. Parallel GC는 메모리가 충분하고 코어의 개수가 많을 때 유리하다. Parallel GC는 Throughput GC라고도 부른다.

다음 그림은 Serial GC와 Parallel GC의 스레드를 비교한 그림이다.

그림 4 Serial GC와 Parallel GC의 차이 (이미지 출처: “Java Performance”, p. 86)
Parallel Old GC(-XX:+UseParallelOldGC)

Parallel Old GC는 JDK 5 update 6부터 제공한 GC 방식이다. 앞서 설명한 Parallel GC와 비교하여 Old 영역의 GC 알고리즘만 다르다. 이 방식은 Mark-Summary-Compaction 단계를 거친다. Summary 단계는 앞서 GC를 수행한 영역에 대해서 별도로 살아 있는 객체를 식별한다는 점에서 Mark-Sweep-Compaction 알고리즘의 Sweep 단계와 다르며, 약간 더 복잡한 단계를 거친다.
CMS GC (-XX:+UseConcMarkSweepGC)

다음 그림은 Serial GC와 CMS GC의 절차를 비교한 그림이다. 그림에서 보듯이 CMS GC는 지금까지 설명한 GC 방식보다 더 복잡하다.

그림 5 Serial GC와 CMS GC(이미지 출처: http://java.sun.com/j2se/reference/whitepapers/memorymanagement_whitepaper.pdf)

초기 Initial Mark 단계에서는 클래스 로더에서 가장 가까운 객체 중 살아 있는 객체만 찾는 것으로 끝낸다. 따라서, 멈추는 시간은 매우 짧다. 그리고 Concurrent Mark 단계에서는 방금 살아있다고 확인한 객체에서 참조하고 있는 객체들을 따라가면서 확인한다. 이 단계의 특징은 다른 스레드가 실행 중인 상태에서 동시에 진행된다는 것이다.

그 다음 Remark 단계에서는 Concurrent Mark 단계에서 새로 추가되거나 참조가 끊긴 객체를 확인한다. 마지막으로 Concurrent Sweep 단계에서는 쓰레기를 정리하는 작업을 실행한다. 이 작업도 다른 스레드가 실행되고 있는 상황에서 진행한다.

이러한 단계로 진행되는 GC 방식이기 때문에 stop-the-world 시간이 매우 짧다. 모든 애플리케이션의 응답 속도가 매우 중요할 때 CMS GC를 사용하며, Low Latency GC라고도 부른다.

그런데 CMS GC는 stop-the-world 시간이 짧다는 장점에 반해 다음과 같은 단점이 존재한다.

다른 GC 방식보다 메모리와 CPU를 더 많이 사용한다.
Compaction 단계가 기본적으로 제공되지 않는다.

따라서, CMS GC를 사용할 때에는 신중히 검토한 후에 사용해야 한다. 그리고 조각난 메모리가 많아 Compaction 작업을 실행하면 다른 GC 방식의 stop-the-world 시간보다 stop-the-world 시간이 더 길기 때문에 Compaction 작업이 얼마나 자주, 오랫동안 수행되는지 확인해야 한다.

G1 GC

마지막으로 G1(Garbage First) GC에 대해서 알아보자. G1 GC를 이해하려면 지금까지의 Young 영역과 Old 영역에 대해서는 잊는 것이 좋다.

다음 그림에서 보다시피, G1 GC는 바둑판의 각 영역에 객체를 할당하고 GC를 실행한다. 그러다가, 해당 영역이 꽉 차면 다른 영역에서 객체를 할당하고 GC를 실행한다. 즉, 지금까지 설명한 Young의 세가지 영역에서 데이터가 Old 영역으로 이동하는 단계가 사라진 GC 방식이라고 이해하면 된다. G1 GC는 장기적으로 말도 많고 탈도 많은 CMS GC를 대체하기 위해서 만들어 졌다.

그림 6 G1 GC의 레이아웃(이미지 출처: “The Garbage-First Garbage Collector” (TS-5419), JavaOne 2008, p. 19)

G1 GC의 가장 큰 장점은 성능이다. 지금까지 설명한 어떤 GC 방식보다도 빠르다. 하지만, JDK 6에서는 G1 GC를 early access라고 부르며 그냥 시험삼아 사용할 수만 있도록 한다. 그리고 JDK 7에서 정식으로 G1 GC를 포함하여 제공한다.

그러나 JDK 7을 실서비스에서 사용하려면 많은 검증 기간(1년은 필요하다는 생각이다)을 거쳐야 할 것으로 보이기 때문에, G1 GC를 당장 사용하고 싶어도 더 기다리는 것이 좋다는 것이 개인적인 생각이다. JDK 6에서 G1 GC를 적용했다가 JVM Crash가 발생했다는 말도 몇 번 들었기에 더더욱 안정화될 때까지 기다리는 것이 좋겠다.
마치며

이번 글에서는 Java의 GC에 대해서 아주 간단하게(?) 살펴보았다. 다음 글에서는 Java의 GC 상황을 모니터링하는 방법과 GC 튜닝 방법을 알아볼 예정이다.

마지막으로 한 가지 더 말하고 싶은 것이 있다. 어떤 서비스에서 A라는 GC 옵션을 적용해서 잘 동작한다고 그 GC 옵션이 다른 서비스에서도 훌륭하게 적용되어 최적의 효과를 볼 수 있다고 생각하지 말라는 것이다.

만약 애플리케이션에서 만들어지는 모든 객체의 크기와 종류가 같다면 회사에서 사용하는 모든 WAS의 GC 옵션을 동일하게 설정할 수 있다. 하지만, 각 서비스의 WAS에서 생성하는 객체의 크기와 생존 주기가 모두 다르고, 장비의 종류도 다양하다. WAS의 스레드 개수와 장비당 WAS 인스턴스 개수, GC 옵션 등은 지속적인 튜닝과 모니터링을 통해서 해당 서비스에 가장 적합한 값을 찾아야 한다. 이 이야기는 필자의 경험에서 나온 이야기가 아니고, 2010년 JavaOne에서 Oracle JVM을 만드는 엔지니어들이 한 말이다.
참고 자료

이 글의 내용과 그림은 다음의 자료를 참고했다.

Sun Microsystem, “Memory Management in the Java HotSpotTM Virtual Machine”, http://java.sun.com/j2se/reference/whitepapers/memorymanagement_whitepaper.pdf
Charlie Hunt, Ninu John, “Java Performance”, Prentice Hall, 2011
“The Garbage-First Garbage Collector” (TS-5419), JavaOne 2008.

출처:http://helloworld.naver.com/helloworld/1329

org.jsoup.select Class Elements

Elements

Elements

Elements

Elements

Elements

clone

attr

hasAttr

attr

removeAttr

addClass

removeClass

toggleClass

hasClass

val

val

text

hasText

html

outerHtml

toString

tagName

html

prepend

append

before

after

wrap

unwrap

empty

remove

select

not

eq

is

parents

first

last

traverse

forms

size

isEmpty

contains

iterator

toArray

toArray

add

remove

containsAll

addAll

addAll

removeAll

retainAll

clear

equals

hashCode

get

set

add

remove

indexOf

lastIndexOf

listIterator

listIterator

subList

가비지 컬렉션 과정 – Generational Garbage Collection

Young 영역의 구성

Old 영역에 대한 GC

Serial GC (-XX:+UseSerialGC)

Parallel GC (-XX:+UseParallelGC)

Parallel Old GC(-XX:+UseParallelOldGC)

CMS GC (-XX:+UseConcMarkSweepGC)

G1 GC

마치며

참고 자료

org.jsoup.select
Class Elements