▽池田信夫 blog
●01/05 20:29
2025年01月05日14:08本ﾁｬｯﾄGPTはいかにして｢ﾌﾚｰﾑ問題｣を解いたのか世の中にはﾁｬｯﾄGPTの本やｾﾐﾅｰがあふれている｡ああいう深層学習の考え方は2000年代からあり､音声認識や画像認識には使えるようになったが､自然言語だけはだめだった｡それは言葉の文脈を機械に学習させることがむずかしいからだ｡たとえば次のような質問を機械にしてみよう｡おもちゃが箱に入らなかった｡それは大きすぎたからだ｡大きすぎたのは何か？これは有名なWinograd Schemaという問題で､1972年にWinogradの著書で発表されたが､当時の人工知能では答えられなかった｡｢それ｣が何をさすのか､わからないからだ｡正しく答えるには､おもちゃと箱のどっちが大きいのか､箱をおもちゃに入れることはできないのか､といった予備知識（ﾌﾚｰﾑ）を無限に学習させないといけない｡これをﾌﾚｰﾑ問題と