Variational Inference of Latent Dirichlet Allocation

By | 2012/08/15

  연구실에서 하는 연구 중 하나로 Latent Dirichlet Allocation 모델에 기반한 것이 있습니다. 따라서 이 모델에 대해 잘 알아야 합니다.

  이 모델은 hidden variable이 존재하고 있어 관찰된 데이터를 통해 그 변수의 값을 추론하여야 합니다. 이를 위해 현재 두 가지 방법이 자주 사용됩니다. 모델을 제안한 저자가 사용한 Variational Inference 기법과 Gibbs Sampling 기법입니다. 이 중 후자의 것은 위의 링크 속 Wikipedia 페이지에 상세하게 설명이 되어 있습니다. 하지만 Variational Inference에 대해서는 초보자(?)가 이해하기에는 조금 어려운 것이 있습니다. 이를 위해 제가 공부를 하며 정리하였고 여기에 그 일부를 올립니다.

VI_LDA_페이지_01

VI_LDA_페이지_02

VI_LDA_페이지_04

VI_LDA_페이지_07

VI_LDA_페이지_15

VI_LDA_페이지_19

  제가 했던 방법은 Journal of Machine Learning Research에 나온 방법에서 Smoothing을 한 것으로 그 결과가 해당 논문에 나온 것과 조금 다릅니다. 하지만 문제가 없다는 것을 다른 논문에서 확인하였습니다.

Leave a Reply