Yarn

Yarn?

Yet Another Resource Negotiator

• Hadoop 2.0 에서 시작된 Resource 관리 / 스케줄링 하는 Hadoop 컴포넌트
• Hadoop 1 에서 사용하던 JobTracker, TasksTracker의 역할 대체
  • 완벽하게 동일한 기능은 아니지만 대다수 대체됨
  • 등록 가능 Node수 4000 -> 클러스터 당 10,000개 이상
  • JobTracker -> ResourceManager
  • TasksTracker -> Node Manager, Container(Slot대체?)

아키텍쳐

Resouce Manager은 Master , Node Manager은 Slave로 구성된다.

구성

Resource Manager

• 클러스터의 자원관리 및 Task 스케줄링이 메인 역할
  1. Client가 Application 실행 요청시 Application Manster을 실행
  2. Node Manager와 통신하여 자원상황 체크
  3. Application Master와 통신하여 필요 자원 관리
• Hadoop 2.4 부터는 Active - stanby로 구성되어 SPOF 위험 제거

Node Manager

• Node당 1개 존재
• Yarn 의 Slave daemon으로서 컨테이너의 자원 관리 역할
• 사용 중인 자원을 모니터링하고, Resource Manger에게 자원 상황 보고
• Resource Manager의 요청에 따라 Container 생성

Application Master

• Application당 1개 존재
• Resource Manager로부터 Container를 할당 받음
• Application 실행 상태를 모니터링 및 관리하는 역할

Container

• 리소스 자원
• cpu, Disk, Memory 등
    - Application 실행하는 Task들은 Container상에서 실행된다.

---

개인적으로 공부한 내용 포스팅 중
잘못된 정보는 지적해주시면 좋겠습니다!