Jinsoo Park
제목 : An Contrastive Image Captioning Model and Future Directions in Medical AI
초록: 최근 인공지능 분야에서 딥러닝이 발달함에 따라 의학 분야에도 딥러닝이 널리 적용되고 있다. 본 발표에서는 X-ray 이미지로부터 판독문을 자동으로 생성해내는 Medical Image Captioning 모델을 제안한다. 제안하는 모델은 유증상 이미지와 무증상 이미지 간의 차이를 추출하는 Contrastive Attention Block과 Visual Encoder를 결합한 것으로, 해당 Visual Encoder와 판독문을 생성해내는 Language Model을 동시에 학습하는 End-to-End Training을 한다는 것이 기존 모델들과의 차별점이다. 이런 방식으로 학습된 모델은 2단계로 학습한 기존 모델보다도 5~10% 높은 Report Generation 성능을 보였으며, 학습을 끝낸 Visual Encoder는 더 좋은 Image Representation을 추출하는 모습을 보였다. 강연 후반부에서는 의학 딥러닝 분야의 근본적인 한계인 “신뢰(Trust) 및 데이타(Data) 부족”을 다루고, 각 문제 해결을 위해 앞으로 나아가야 할 방향 중 일부인 “설명가능 인공지능(XAI)과 연합학습(Federated Learning)”을 간단히 조망한다.
Hyukjong Lee
제목 :Style Extractor Replacing Gram Matrix and Style Generator
초록 : Style Transfer는 Gram matrix를 이용하여 학습가능한 이미지로부터 원하는 스타일과 콘텐트를 만드는데 좋은 성능을 보였다. 하지만 이는 하나의 이미지를 만드는데 상당한 시간이 소요되며, Gram matrix의 사용이 왜 스타일 복원에 좋은지에 대해 밝혀진 바는 없다. 본 발표에서는 이를 대체할 수 있는 Style Extractor를 제안한다. 이는 기존 분류 모델의 학습 과정을 변형하여 스타일에 대한 representation을 학습한 네트워크이다. 또한 이를 AAE에 적용하여 Style Generator를 학습할 수 있는 방법을 제시한다. 이렇게 학습된 Generator는 콘텐트 이미지를 넣어주면 학습된 스타일이 적용된 이미지가 생성된다고 기대할 수 있다. 끝으로 latent vector를 활용하여 스타일에 대한 Disentanglement를 제안한다.