확률 이론에 바탕을 둔 정보 이론의 여러 개념과 인공지능 관련 주요 응용 사례등을 소개한다. 정보이론을 바탕으로 생성모델에 바탕을 둔 기계학습 기법들을 소개한다.