汎用自然言語モデル「BERT」は、どんな仕組みで動いているのか？ コンピュータの文脈理解について解説 （＠IT）

前回は、センター試験の英語読解問題に必要となる単語分散表現による単語理解について説明しました。紹介した単語分散表現獲得の例では、決まった範囲の周辺単語から単語分散表現を獲得していました。しかしながら、この方法では1単語で1つの意味しか表現することができず、多義語のように文脈で意味が…