정진훈

Transformer는 이렇게 말했다, "Attention is all you need."
transformer

Transformer는 이렇게 말했다, "Attention is all you need."

Transformer? 'Transformer'라는 말을 들었을 때 무엇이 연상되는가? 할리우드의 유명한 변신로봇 영화? 인공지능 번역 알고리즘? 구글에 따르면 여전히 전세계적으로 전자의 영화를 떠올리지만, 적어도 대한민국(과 일본)에서는 후자가 압도하고 있는 것으로 보인다. 그림1. 'Transformer movie'와 'Transformer attention'의 구글 트렌드 비교. 아직까지 전세계적으로는 영화가 압도적이지만 대한민국과 일본에서는 Transformer 알고리즘의 핵심 개념인 attention을
16 min read