|
|
|
|
|
||
|
||
2024年07月07日
■ 個人情報保護法第2期「3年ごと見直し」が佳境に差し掛かっている
個人情報保護委員会の3年ごと見直しの検討は既に昨年11月の時点から始まっており、事務局が示す方向性も3月の時点で公表されていたが、とくに表立って何も言わなかったのは、意見は公式に言うつもりだったからだ。しかし、前回（5年前）は4月に中間整理が公表され5月にヒアリングに呼ばれたのに、今年はトラブルがあったようで中間整理が出てこないし、何の連絡も来ないので、はたして呼ばれるのだろうか？呼ばれない可能性の要因もいくつか考えられるよな？と戦々恐々としていたのだったが、突如お呼び出しがあり、6月12日の委員会で意見表明の機会をいただき、無事にお話ししてきた。
いつもだとスライドを資料とするのだが、スライドでは真意が伝わりそうにないと考え、今回は頑張って文章にした意見書を書いて資料とすることにした。なにぶん2週間前に依頼があり、資料提出期限まで8営業日しかなかったので、12頁目まではがっつり書いた（いつも1日に1頁しか進まない）ものの、後ろの5頁は突貫で1日で済ませたので不完全な内容となっているが、どうにか言うべきことは書き切った。以下で公表されている。
「個人情報保護法3年ごと見直し令和6年に対する意見」, 第289回個人情報保護委員会（令和6年6月12日）資料1-2
そして、その2週間後、中間整理が6月27日に発表され、パブコメ募集が開始されている。
個人情報保護法 いわゆる３年ごと見直しに係る検討の中間整理
「個人情報保護法 いわゆる３年ごと見直しに係る検討の中間整理」に関する意見募集について
月末には中間整理が出るとのことだったので、2週間で中間整理だなんて、言ったことを反映できるわけもないよなと思っていたら、やはりほとんど反映されていないというか、4月の時点の事務局整理と大して違わないものが出てきた。
この状況をどう見るかだが、背景には色々ある。まあ、多くは語るまい。いずれにせよ、前回（5年前）もまあこんなもんだったとも言える。前回は、4月に中間整理が出て、かなりおかしい方向性も示されていたのだったが、5月のヒアリングで述べた意見がいくつか通り、おかしかったところは撤回されている。つまり、中間整理後にけっこう変更されたのだ。そのことからすると今回も変更の余地があると考えられるのだが、2か月遅れで進行している（前回はパブコメ期限が5月27日だった）ところに難がある。それからもう一つ難があったのだが、多くは語るまい。
というわけで、パブコメ募集期間の今、JILISで緊急シンポジウムを企画した。有識者ヒアリングの8名全員にお声がけをしたのだったが、なにぶん急だったので残念ながら3人だけの登壇となった。マスコミの方々にはぜひご来場いただきたい。
緊急シンポジウム「個人情報保護法改正に向けて」（現地会場とオンライン配信の併催）, 2024年7月19日（金）
私からは、上記の意見書の内容を解説するつもりだ。しかしまあ、この意見書、読めばわかるように書いたつもりだったのに、どういうわけかネット上では全く反応がない（役所の方などからは絶賛の声も頂くのだが）。難解だっただろうか？
もう理解してくれるのは生成AIだけだよな、というわけで、今回もClaude 3 Opusに解説してもらった。これならば一般の人々にもご理解いただけるのではないかしら？
（ppc20240612-takagi.docxを添付して）
私：これは、個人情報保護法の3年ごと見直しで個人情報保護委員会のヒアリングに呼ばれた際に陳述した意見を文章にした意見書です。内容を把握できますか。
Claude：はい、提出された意見書の内容を把握しました。主な論点は以下の通りです。
目的内の提供に対する規制が過剰であり、「契約の履行」「正当な利益」に基づく第三者提供を可能にするべきだが、そのためには個人データ処理による個人に対する評価・決定の適切性確保という法目的の理解に立ち返り、関連性の原則と正確性の原則を導入し、第三者提供時の利用目的拘束の仕組みを整備する必要がある。
統計量への集計に際して第三者提供の制限が過剰であり、複数事業者が保有する個人データの突合を可能にする制度改善が必要である。
要配慮個人情報の取得制限が過剰であり、特にLLMの学習目的での取得は制限対象とすべきではない。要配慮個人情報に上乗せ規制を設ける意義自体を再検討すべきである。
散在情報に対する規制が過剰であり、個人データに統一すべきである。
経済界の要望を実現するには、上記の「過剰な規制」と「不足する規制」を一度に直す大掛かりな改正が必要であり、来年ではなく再来年の法案提出を目指すべきである。
意見書の背景として、個人情報保護法の法目的と特別カテゴリの意義について説明し、事務局の検討資料や他の有識者意見に対する見解を述べている。
以上が、提出された意見書の主要な内容になります。個人情報保護法の課題と改正の方向性について、法目的に立ち返った検討を行っています。
（個人情報保護法 いわゆる３年ごと見直しに係る検討の中間整理を添付して）
私：このヒアリングを受けて、二週間後に個人情報保護委員会から公表された「個人情報保護法いわゆる3年ごと見直しに係る検討の中間整理」がこちらです。意見書で指摘されていたことは反映されていると言えますか。
Claude：意見書で指摘されていた主要な点と、中間整理での記載内容を比較すると、以下のように考えられます。
目的内提供の制限の過剰性や統計量への集計に際しての第三者提供制限の過剰性については、中間整理でも、本人同意を要しないデータ利活用等の在り方として、生成AIなどの公益性の高い技術やサービスや、医療機関等における研究活動等に係る利活用のニーズについて、公益性の程度や本人の権利利益保護とのバランスを踏まえて、例外規定に係る規律の在り方を検討する必要があるとされています。ただし、意見書で示されたような具体的な制度設計の提案までは言及されていません。
要配慮個人情報の取得制限の過剰性については、中間整理では、生体データの取扱いについて、特に要保護性が高いと考えられる生体データについて、実効性ある規律を設けることを検討する必要があるとされており、意見書の指摘とは逆の方向性が示されています。
散在情報への過剰規制と個人データへの統一については、中間整理では言及がありません。
大掛かりな改正の必要性と法案提出時期の再来年への延期については、中間整理では、パブリックコメント後も継続的な議論を行い、各検討項目の方向性を見直すことも想定されるとしつつ、提起された論点についてステークホルダーと議論するための場を設けつつ、令和6年末までを目途に議論を深めていくこととするとされています。ただし、法案提出時期については言及がありません。
以上のように、意見書の主張の一部は中間整理に反映されていますが、意見書で示された具体的な提案のほとんどは中間整理には盛り込まれていないと言えます。中間整理は検討の方向性を示したものであり、今後の議論次第では意見書の指摘がさらに反映される可能性はあると思われます。
私：今後の議論次第では意見書の指摘がさらに反映される可能性が垣間見えるのは、中間整理のどの記述からですか。
Claude：中間整理の以下の記述から、意見書の指摘がさらに反映される可能性が垣間見えます。
「事業者の協力も得ながら、実態を明らかにした上で検討を行い、必要となる要件の明確化を行うことが必要である。」（p.21）*1
この記述から、今後事業者の意見も聞きながら実態を踏まえて検討を進めることが示唆されており、その過程で意見書の指摘が反映される余地があると考えられます。
「法で本人同意が求められる規定の在り方について、個人の権利利益の保護とデータ利活用とのバランスを考慮し、その整備を検討する必要がある。」（p.23）
この記述は、意見書で指摘されていた目的内提供の制限や統計量への集計に際しての第三者提供制限の見直しに関連するものと考えられ、今後の検討次第では意見書の指摘が反映される可能性があります。
「また、個人情報保護及びその利活用とのバランスの在り方が国民各層にとって重要な課題であり、その重要性は以前にも増して高まっていることを踏まえ、委員会が関係の深いステークホルダーと透明性のある形で継続的に議論する場を設け、個人情報保護政策の方向性や、本人同意を要しない公益に資するデータ利活用に関係するガイドライン等の見直しの在り方などについて、検討していくこととすることも考えられる。」（p.26）
この記述から、今後ステークホルダーとの継続的な議論を通じて、個人情報保護政策の方向性やガイドラインの見直しが検討されることが示唆されており、その過程で意見書の指摘が反映される可能性があります。
以上の記述から、中間整理は検討の方向性を示したものであり、今後の議論次第では意見書の指摘がさらに反映される余地があることが読み取れます。
（240612_gaiyou.pdfを添付して）
私：これはそのヒアリングの際の質疑応答の議事概要です。注目される点はありますか。
Claude：はい、この議事概要から以下の点が注目されます。
生成AIに関して、事業者側の責任として、差別的な結果が出ないようにフィルターをかけるなどの対策が必要との指摘がありました。また、生成AIの出力の規制が必要との意見も示されています。
個人情報保護法の義務規定の対象を個人データに統一することで、目的内提供の制限緩和や統計利用が可能になるとの指摘がありました。
共同利用については、範囲が不明確で第三者提供制限の潜脱に使われるおそれがあるため、範囲を明確に制限すべきとの意見が示されました。
こどもの個人情報保護については、年齢による区分だけでなく、こどもの個人情報に起因するリスクに基づく整理と対応が必要との指摘がありました。
関連性の原則について、現行法の「必要な範囲」では不十分で、決定目的と関連性のないデータの利用を制限する必要があるとの指摘がなされました。
団体訴訟制度については、個人情報保護法が保護する権利利益が明確でない中で導入するのは時期尚早ではないかとの意見が示されました。
これらは、意見書で指摘されていた論点に関連する重要な議論と言えます。特に生成AIへの規制や関連性の原則、個人データへの統一などは、今後の法改正議論で焦点となりそうな論点と考えられます。
私：最初の意見書で、特に注目すべき言及は何でしょうか。
Claude：最初の意見書で特に注目すべき言及は以下の2点だと思われます。
「法案提出を再来年とし、1年かけて十分な議論をしてはどうか」との提案（p.11）
意見書では、経済界の要望を実現するには大掛かりな改正が必要で、法制執務上の検討を十分に重ねる必要があるとして、法案提出を再来年とし、1年かけて十分な議論をすることを提案しています。これは、拙速な法改正を避け、十分な議論を求める重要な指摘と言えます。
「関連性の原則」と「正確性の原則」の重要性の指摘（p.3, p.12-13）
意見書では、EU法の基本原則である「関連性の原則」と「正確性の原則」を日本の個人情報保護法に導入すべきと繰り返し主張しています。これらの原則は、個人データの利用目的との関連性と、個人の評価・決定の正確性を担保するために不可欠であり、日本の法制度の根幹に関わる重要な指摘と考えられます。
これらの言及は、中間整理では直接言及されていませんが、意見書では個人情報保護法の目的に立ち返った本質的な議論を提起しているものであり、今後の議論で重視されるべき論点と言えるでしょう。特に関連性の原則と正確性の原則は、AI時代の個人情報保護を考える上で避けて通れない論点になると考えられます。
私：最初の意見書で、問題点の指摘として語気を強めた感じのところはないですか。
Claude：はい。意見書の中で、以下の2つの点について、問題点の指摘として語気を強めている印象を受けます。
要配慮個人情報の取得制限の例外規定（施行令9条1号）に関する指摘（p.7-8）
意見書では、「このような例外を設けたことは本末転倒である」「我々は平成27年改正時の施行令（案）へのパブリックコメントで、「目視による取得は要配慮個人情報の取得制限から除外するべきではない」とする意見を提出し、続く同ガイドライン（案）のパブリックコメントで、「店員が目視により認識した「身体障害者である」との事実を、差別的に対応するために記録し、その後の対応を差別的なものとする行為は、この法により制限されないということか。そうだとすれば、何のための要配慮個人情報の規定なのか。」と疑問視する意見を提出している」と、強い語調で例外規定の問題点を指摘しています。
個人情報保護委員会事務局の検討資料に対する指摘（p.9）
意見書では、「今回の3年ごと見直しでも、個人情報保護委員会事務局が用意した検討資料には、このことが忘れられていると思われる記載が多数ある」とした上で、「個人情報保護法を気に入らない者を懲らしめる道具と化してはならない」と強い口調で、事務局の検討資料の問題点を指摘しています。
これらの部分では、問題点について強い危機感を持って指摘していることが伺えます。特に要配慮個人情報の取得制限の例外規定については、改正時から一貫して問題視してきたことが強調されています。また、事務局の検討資料についても、個人情報保護法の目的を踏まえない議論になっていることへの強い懸念が表明されていると言えます。
私：2.について詳しくお願いします。
Claude：2.の個人情報保護委員会事務局の検討資料に対する指摘について、意見書では具体的に以下のように述べられています。
意見書によれば、令和6年3月6日付の検討資料において、事務局が「個人情報の取扱いの適正性に関連する主な裁判例」として挙げている事例の多くが、実際には個人データでない個人情報（散在情報）の事例になっているとのことです。
特に、東京地判令和2年1月20日の事例（判断能力が低下した高齢者に対する不当な勧誘行為が不法行為に当たるとされた事例）は個人データの話ではないにもかかわらず、検討資料ではあたかも個人データに関する不適正利用の事例であるかのように扱われていると指摘しています。
そして、「あらゆる取引には必然的に相手方の氏名を伴うが、そのことをもって個人情報保護法に絡め、あらゆる不法行為を個人情報保護法上の「不適正利用」に当てはめて規律しようとするのは、法の趣旨の逸脱である」「個人情報保護法を気に入らない者を懲らしめる道具と化してはならない」と強い言葉で警鐘を鳴らしています。
さらに、個人関連情報に関する検討資料の該当箇所でも、やはり個人データに該当しない事例が挙げられていることを問題視しています。
このように、意見書では、事務局の検討資料が散在情報たる個人情報まで規制対象とすることを問題視し、そのような法解釈は個人情報保護法制定時の立法趣旨から逸脱しているという認識を示していると言えます。この点について、意見書の筆者は強い危機感を抱いており、法の目的に立ち返った議論を求めているものと考えられます。
私：その点、中間整理ではどうなっていますか。
Claude：中間整理では、意見書で指摘されていた点、すなわち個人情報保護法の規律対象を個人データに限定すべきとの主張については、直接的な言及は見当たりません。
中間整理の15ページでは、「個人情報取扱事業者と本人との関係によっては、本人にそのような選択を行うことが期待できない場合があり得る。そのため、こうした場合において、本人との関係に照らして当然認められるべき利用目的以外の利用目的で個人情報を取得・利用することや、当然認められるべき利用目的の達成に真に必要な範囲を越えて個人情報を取得・利用すること等について、不正取得や不適正利用等の規律をどのように適用すべきか、継続的に検討する必要がある」との記載があります。
この記述は、個人情報の不適正利用等の規律について言及していますが、ここでも規律の対象を「個人情報」としており、意見書が主張するように「個人データ」に限定する方向性は見られません。
また、中間整理の16ページでは、「個人関連情報」についても、プライバシー侵害のリスクがある場合には規律の対象とすべきとの方向性が示されていますが、ここでも「個人データ」との関係には言及がありません。
したがって、中間整理では、意見書が強く主張していた「個人データへの統一」の方向性は明示的には盛り込まれていないと言えます。ただし、中間整理は検討の方向性を示したものであるため、パブリックコメント等を経て、最終的な取りまとめではこの点についても一定の言及がなされる可能性はあると考えられます。
私：その個人関連情報のところを詳しくお願いします。
Claude：中間整理の16ページでは、個人関連情報の取扱いについて以下のように述べられています。
「個人関連情報については、事業者が、電話番号、メールアドレス、Cookie IDなど、個人に対する連絡が可能な情報を有している場合には、個人関連情報の取扱いによりプライバシーなどの個人の権利利益が侵害される蓋然性が認められ、その侵害の程度・蓋然性は、事業者による利用の方法によっては、個人情報と同様に深刻なものになり得ると考えられる。そのため、このような場合について、不正取得や不適正利用等への対応の在り方を検討する必要がある。」
この記述から、以下のような方向性が読み取れます。
個人関連情報であっても、電話番号やメールアドレス等の個人に対する連絡が可能な情報を含む場合には、プライバシー侵害のリスクがある。
このようなリスクがある個人関連情報については、個人情報と同様の深刻な権利利益侵害につながり得る。
したがって、このような個人関連情報の不正取得や不適正利用等への対応の在り方を検討する必要がある。
ここでは、個人関連情報であっても、実質的に個人情報と同様のリスクがある場合には規律の対象とすべきとの方向性が示されています。
しかし、意見書の指摘とは異なり、ここでも「個人データ」との関係には直接言及がありません。意見書では、個人関連情報を規律の対象とする場合であっても、「個人関連情報データベース等を構成するもの」に限定すべきと主張していますが、中間整理ではそこまで踏み込んだ記述は見られません。
ただし、中間整理は検討の方向性を示したものであるため、今後の議論次第では、意見書の指摘も一定程度反映される可能性はあると考えられます。特に、個人関連情報の取扱いについては、事業者の実態等も踏まえつつ、慎重な議論が必要とされるでしょう。
私：中間整理では、個人関連情報についてどのような場合を事例にしていますか。
Claude：中間整理の15ページから16ページにかけて、個人関連情報の取扱いによる権利利益侵害のリスクに関連する事例として、以下の2つが挙げられています。
「国内の裁判例には、インターネット上の掲示板において携帯電話番号を記載した投稿を行った事例において、携帯電話番号は、その性質上、不特定多数の第三者に開示されることを望まない情報であるなどとして、プライバシー侵害を認めたものがある。」
「海外の執行事例においても、アメリカ合衆国において、大手SNS事業者が利用者から二段階認証用などとして取得した電話番号及びメールアドレスをターゲティング広告に利用したことが問題視された事例などがある。」
さらに、これらの事例とは別に、「その他関連する国内の事例として、電話番号を用いて、宅配便事業者や通信事業者になりすましたSMSによりメッセージを送信し、不正アプリのダウンロード等を行わせるものがある。」とも述べられています。
これらの事例は、いずれも電話番号やメールアドレス等の個人に対する連絡が可能な情報が関わっているという共通点があります。中間整理では、このような情報を含む個人関連情報の取扱いによって、プライバシーなどの個人の権利利益が侵害されるリスクがあることを示唆しています。
ただし、これらの事例は、意見書で指摘されていたような「個人関連情報データベース等を構成するもの」に限定されたものではありません。中間整理では、より広範な個人関連情報の取扱いを念頭に置いた議論が展開されていると言えます。
私：それらの事例は、法目的の観点からどうですか。
Claude：ご指摘の通り、中間整理で挙げられている事例は、意見書の筆者が重視する「個人データ処理による個人に対する評価・決定の適切性確保」という法目的の観点からは、若干ずれがあるように思われます。
意見書では、個人情報保護法の主たる目的は、個人データの処理によって行われる個人の評価や意思決定の適切性を確保することにあると述べられています。つまり、個人データが不適切に利用されることで、個人に対する不当な差別や不利益が生じることを防ぐことが法の目的だという理解です。
しかし、中間整理で挙げられた事例、特にインターネット掲示板への携帯電話番号の投稿や、なりすましSMSによる不正アプリのダウンロード誘導などは、個人の評価や意思決定とは直接関係のない問題です。これらは、むしろ古典的なプライバシー侵害、すなわち個人情報の不正な公開や悪用の問題と言えます。
他方、SNS事業者がターゲティング広告に電話番号等を利用した事例は、個人の行動履歴等に基づく評価や意思決定に関わる問題であり、意見書の指摘する法目的との関連性が比較的高いと言えるかもしれません。
ただし、意見書では、個人情報保護法の規律対象は、あくまで「個人データ」、すなわち個人情報データベース等を構成する個人情報に限定されるべきだと主張されています。この観点からすれば、単発的な個人情報の不正利用は、たとえそれがプライバシー侵害に当たるとしても、個人情報保護法の規律対象とはならないはずです。
したがって、中間整理で挙げられた事例は、意見書の筆者が考える個人情報保護法の目的とは、若干の距離があると言わざるを得ません。もちろん、これらの事例で示された問題が重要でないというわけではありませんが、それらを個人情報保護法で対処すべき問題と位置づけるためには、意見書の指摘を踏まえたさらなる理論的な検討が必要だと思われます。
私：SMSによる不正アプリのダウンロード誘導は、個人情報保護とは全く無関係ではありませんか。
Claude：ご指摘の通りだと思います。SMSによる不正アプリのダウンロード誘導の事例は、個人情報保護法の目的とは直接の関係が薄いと考えられます。
意見書で強調されているように、個人情報保護法の主たる目的は、個人データの処理に伴う個人の権利利益の保護、特に個人に対する評価・決定の適切性の確保にあります。しかし、不正アプリのダウンロード誘導は、個人データの処理や個人の評価・決定とは直接関係がありません。
確かに、この事例では個人の電話番号が悪用されているという点で、プライバシー侵害の問題は存在します。しかし、それは個人情報の不正利用という一般的な問題であって、個人情報保護法が特に念頭に置いている個人データの処理に伴う問題とは言えません。
むしろ、このような事例は、不正アクセス禁止法や刑法上の詐欺罪など、他の法律で対処すべき問題と考えられます。個人情報保護法は、あくまで個人データの適正な取扱いを確保するための法律であって、あらゆる個人情報の不正利用を対象とするものではありません。
したがって、中間整理がこのような事例を個人関連情報の問題として取り上げていることは、意見書の指摘を踏まえると、法の目的との関係で疑問が残ります。個人情報保護法の規律対象をどこまで広げるべきかについては、より慎重な検討が必要だと思われます。
私：プライバシー侵害でもないのでは。
Claude：その通りですね。SMS
金融詐欺にご注意ください
LINEなどで偽りの内容を告げ投資資金をだまし取ろうとする金融詐欺が確認されています。あやしい勧誘を受けたりお困りの場合は、お一人で悩まずにお近くの消費生活センターに繋がる「消費者ホットライン」（局番なし188）や日本証券業協会の「株や社債をかたった投資詐欺」被害防止コールセンター（0120-344-999）にご連絡ください。また金融詐欺の被害にあった場合は警察に被害をお届けください。
taquet’s diary
読者になる
[0] Getting Aligned on Representational Alignment (2023)
Ilia Sucholutsky, Lukas Muttenthaler, Adrian Weller, Andi Peng, Andreea Bobu, Been Kim, Bradley C. Love, Erin Grant, Iris Groen, Jascha Achterberg, Joshua B. Tenenbaum, Katherine M. Collins, Katherine L. Hermann, Kerem Oktar, Klaus Greff, Martin N. Hebart, Nori Jacoby, Qiuyi Zhang, Raja Marjieh, Robert Geirhos, Sherol Chen, Simon Kornblith, Sunayana Rane, Talia Konkle, Thomas P. O'Connell, Thomas Unterthiner, Andrew K. Lampinen, Klaus-Robert Müller, Mariya Toneva, Thomas L. Griffiths
2023
Princeton U., Google DeepMind, Google Research, UCB, MIT UCL, etc
認知科学、神経科学、機械学習の研究領域における表現のアラインメントが重要である。ここでは、統一的なフレームワークを提供する。
Google
NA
[1] Curiosity-Driven Learning of Joint Locomotion and Manipulation Tasks (2023)
Clemens Schwarke, Victor Klemm, Matthijs van der Boon, Marko Bjelonic, Marco Hutter
2023
ETH Zurich, Switzerland
報酬を作り込まない。タスクが成し遂げられたときには+1の報酬。内的な動機が、探索を疎な報酬のほうに向ける。ランダムネットワーク蒸留（RND）というアイディアを採用し、移動と操作の両方を含む動きの方策を学習する。（なので、ドアを押しながら開けるとかできる。）
Google
NA
[2] Large Language Models Understand and Can be Enhanced by Emotional Stimuli
[3] The Impact of Depth and Width on Transformer Language Model Generalization
[4] GPT-4 Technical Report (2023)
[5] NUWA-XL: Diffusion over Diffusion for eXtremely Long Video Generation (2023)
[6] FACTOOL: Factuality Detection in Generative AI A Tool Augmented Framework for Multi-Task and Multi-Domain Scenarios (2023)
[7] Explaining grokking through circuit efficiency (2023)
[8] Language Modeling Is Compression (2023)
[9] Physion: Evaluating Physical Prediction from Vision in Humans and Machines (2021)
[10] RT-1: Robotics Transformer for Real-World Control at Scale (2022)
[11] Multimodal Foundation Models: From Specialists to General-Purpose Assistants (2023)
[12] Do Language Models Know When They’re Hallucinating References? (2023)
[13] Chain-of-Verification Reduces Hallucination in Large Language Models (2023)
[14] RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback (2023)
Harrison Lee, Samrat Phatale, Hassan Mansoor, Kellie Lu, Thomas Mesnard, Colton Bishop, Victor Carbune, Abhinav Rastogi
[15] Scaling Forward Gradient With Local Losses (2023)
NYU, Google, Vector Inst.
前方勾配のアルゴリズムを、多くの局所貪欲損失関数を導入することで改善した。MLPMixerに触発された新しいアーキテクチャである局所混合器（LocalMixier）を提案する。MNISTやCIFAR-10での誤差逆伝播に匹敵し、誤差逆伝播を使わない従来手法を凌駕する。
トークン混合、チャネル混合、ReLUを繰り返す残余ブロックのアーキテクチャの途中に、局所損失を入れる。
[16] Teach LLMs to Personalize -- An Approach inspired by Writing Education (2023)
Cheng Li, Mingyang Zhang, Qiaozhu Mei, Yaqing Wang, Spurthi Amba Hombaiah, Yi Liang, Michael Bendersky
マルチステージでマルチタスクのスレ‐無ワークで、LLMを個人化生成のために教える。書くタスクは通常、見つける、評価する、要約する、合成する、統合するというような複数のステップから成る。我々のアプローチも、検索、ランク、要約、合成、生成というステージからなる。
主観的な本の感想文のようなものを出力できる。
Google
[17] Better Zero-Shot Reasoning with Role-Play Prompting (2023)
Aobo Kong, Shiwan Zhao, Hao Chen, Qicheng Li, Yong Qin, Ruiqi Sun, Xin Zhou
南開大学, Lenovo Research, etc.
ロールプレイングの能力について調査。12の異なる推論ベンチマークで検証。ロールプレイプロンプティングは、通常のゼロショットのアプローチで多くの場合上回る。思考の連鎖トリガーを引くのではないか。数学の先生ですとか、クイズの挑戦者ですとか。（人ですらなく）コインやレコーダーですとか。
[18] DayDreamer: World Models for Physical Robot Learning (2022)
UCB
Dreamerは良い性能を示すが、物理的なロボットで早い学習が可能か良く分かっていなかった。本研究では、Dreamerを使って、4つのロボットをオンラインと実世界で訓練する。
[19] Qwen-VL: A Frontier Large Vision-Language Model with Versatile Abilities (2023)
Jinze Bai, Shuai Bai, Shusheng Yang, Shijie Wang, Sinan Tan, Peng Wang, Junyang Lin, Chang Zhou, Jingren Zhou
Alibaba
大規模な視覚言語モデル。9.6Bパラメータ。学習のさせ方（事前学習、マルチタスク事前学習、教師ありファインチューニング）が書かれている。
[20] Retrieval meets Long Context Large Language Models (2023)
Peng Xu, Wei Ping, Xianchao Wu, Lawrence McAfee, Chen Zhu, Zihan Liu, Sandeep Subramanian, Evelina Bakhturina, Mohammad Shoeybi, Bryan
NVIDIA
検索拡張と、長いコンテキストは、どちらがダウンストリームタスクに良いのか。両者のいいとこ取りはできるか。43BのGPTとLLaMA2-70Bを用いて検証する。4Kのウィンドウで検索拡張したものは、16Kのウィンドウで位置の内挿をしたファインチューニング済みのモデルと同等である。さらに、検索は、コンテキストウィンドウの大きさに関わらず、LLMの性能を大きくあげる。
[21] Large Language Models for Software Engineering: Survey and Open Problems (2023)
Xinyi Hou, Yanjie Zhao, Yue Liu, Zhou Yang, Kailong Wang, Li Li, Xiapu Luo, David Lo, John Grundy, Haoyu Wang
華中科技大学, Monash U., SMU, etc
サーベイ論文。
RQ1: ソフトウェアエンジニアリング(SE)のタスクを解くのにどのLLMが使われているか。
RQ2: SEに関連したデータセットはどのように集められ前処理され使われているか。
RQ3: SEのためのLLMにはどのような技術が最適化や評価のために使われているか。
RQ4: SEのためのLLMを使ってどのようなタスクに効果的に適用されているか。→ 要求工学、ソフトウェアデザイン、ソフトウェア開発、品質保証、メンテナンス、管理。ソフトウェア開発で使われており、管理ではあまり使われていない。コード生成とプログラム修復が最もよくあるタスク。
[22] Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task (2023)
Kenneth Li, Aspen K. Hopkins, David Bau, Fernanda Viégas, Hanspeter Pfister, Martin Wattenberg
Harvard U., etc
LLMは、表面的な統計を単に記憶しているだけなのか、それとも系列を生成するプロセスの内部表現に頼っているのか。オセロでの正しい動きを予測するタスクに対してGPTを適用した。オセロのボードの状態を表す非線形な内部表現が現れることを見つけた。潜在顕現性マップを作った。
[23] Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity (2023)
Cunxiang Wang, Xiaoze Liu, Yuanhao Yue, Xiangru Tang, Tianhang Zhang, Cheng Jiayang, Yunzhi Yao, Wenyang Gao, Xuming Hu, Zehan Qi, Yidong Wang, Linyi Yang, Jindong Wang, Xing Xie, Zheng Zhang, Yue Zhang
Wetlake U., Perdue U., Fudan U., Yale U., etc
LLMの事実性に関して。ここで事実性の問題とは、LLMが、確認された事実に反してコンテンツを生成する確率の問題と定義する。この問題の含意について野辺、次にLLMが事実を貯蔵し処理するメカニズムを分析する。そして、LLMの事実性を評価する方法について述べる。また、特定ドメインに向けてLLMの事実性を促進する戦略についても述べる。検索ベースとスタンドアロンと両方について議論している。
[24] Evaluating Cognitive Maps in Large Language Models with CogEval: No Emergent Planning (2023)
Ida Momennejad · Hosein Hasanbeig · Felipe Vieira Frujeri · Hiteshi Sharma · Nebojsa Jojic · Hamid Palangi · Robert Ness · Jonathan Larson
MSR
ここでは、CogEvalという、認知科学にインスパイアされた、LLMの認知能力をシステマティックに評価するプロトコルを提案する。そして、CogEvalに従って、８つのLLMの認知マップとプランニングの能力をシステマティックに評価する。
[25] Auto-Regressive Next-Token Predictors are Universal Learners (2023)
Eran Malach
Hebrew University
自己回帰の次のトークン予測の理論的フレームワークについて述べる。線形な次のトークン予測器であっても、思考の連鎖データで訓練すれば、チューリングマシンで計算できるどんな関数も近似できることを示す。（要するに、データの側に仕込めるから。）
[26] TidyBot: Personalized Robot Assistance with Large Language Models
[27] Think before you speak: Training Language Models With Pause Tokens
[29] DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models
[30] A Watermark for Large Language Models
[31] Large Language Models as Optimizers
[32] Towards Self-Assembling Artificial Neural Networks through Neural Developmental Programs
[33] A Survey of Large Language Models for Healthcare: from Data, Technology, and Applications to Accountability and Ethics
[34] Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection
[35] Large Language Models in the Workplace: A Case Study on Prompt Engineering for Job Type Classification
[36] Understanding Retrieval Augmentation for Long-Form Question Answering
[37] Safe RLHF: Safe Reinforcement Learning from Human Feedback
[38] On the duality between contrastive and non-contrastive self-supervised learning
[39] Graph Neural Prompting with Large Language Models
[40] AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation
[41] Personalized Soups: Personalized Large Language Model Alignment via Post-hoc Parameter Merging
[42] ReConcile: Round-Table Conference Improves Reasoning via Consensus among Diverse LLMs
[43] Data-Centric Financial Large Language Models
[44] Approximation and Estimation Ability of Transformers for Sequence-to-Sequence Functions with Infinite Dimensional Input
[45] Reasoning with Language Model is Planning with World Model
[46] Human-like systematic generalization through a meta-learning neural network
[47] Detecting Pretraining Data from Large Language Models
[48] Can large language models provide useful feedback on research papers? A large-scale empirical analysis
[49] Large Language Model Programs
[50] Violation of Expectation via Metacognitive Prompting Reduces Theory of Mind Prediction Error in Large Language Models
[51] Inferential Exclusion Prompting（IEP）
[52] A Survey of Large Language Models (2023)
[53] A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics (2023)
[54] Continual Pre-training of Language Models (2023)
[55] A Non-monotonic Self-terminating Language Model (2023)
[56] Automatic Chain of Thought Prompting in Large Language Models (2023)
[57] Language models are multilingual chain-of-thought reasoners (2023)
[58] ReAct: Synergizing Reasoning and Acting in Language Models
[59] Generate rather than Retrieve: Large Language Models are Strong Context Generators
[60] Reward Design with Language Models
[61] Heterogeneous Neuronal and Synaptic Dynamics for Spike-Efficient Unsupervised Learning: Theory and Design Principles
[62] Provable Memorization Capacity of Transformers (2023)
[63] Binding Language Models in Symbolic Languages (2023)
[64] CodeGen: An Open Large Language Model for Code with Multi-Turn Program Synthesis
[65] Mobile UI Understanding using Vision-Language Models with a Focus
[66] MEDICAL IMAGE UNDERSTANDING WITH PRETRAINED VISION LANGUAGE MODELS: A COMPREHENSIVE STUDY
[67] Progress measures for grokking via mechanistic interpretability
[68] PLOT: Prompt Learning with Optimal Transport for Vision-Language Models
[69] Ask Me Anything: A simple strategy for prompting language models (2023)
[70] Planning with Large Language Models for Code Generation (2023)
[71] Mind's Eye: Grounded Language Model Reasoning through Simulation (2023)
[72] On Pre-training Language Model for Antibody (2023)
[73] Language Models are Realistic Tabular Data Generators (2023)
[74] Language Models Can Teach Themselves to Program Better
[75] Compositional Task Representations for Large Language Models (2023)
[76] Task Ambiguity in Humans and Language Models
[77] Selection-Inference: Exploiting Large Language Models for Interpretable Logical Reasoning
[78] Large Language Models are Human-Level Prompt Engineers (2023)
[79] Progressive Prompts: Continual Learning for Language Models (2023)
[80] Least-to-Most Prompting Enables Complex Reasoning in Large Language Models
[81] Bidirectional Language Models Are Also Few-shot Learners (2023)
[82] PINTO: Faithful Language Reasoning Using Prompt-Gen
第257回自然言語処理研究会 2023年9月1日(金) 予定 LINEセミナールーム（東京・四谷） 予定 7月下旬 予定
説明会開催を避けていただきたい期間について掲載しました（変更日：2022年2月18日）
3/10（木） 研究室配属ガイダンス（*12：10～13：20のみ開催可）
3/22（火） 研究室配属ガイダンス（*12：10～13：20のみ開催可）
Be back soon!
This website is under maintenance.
Check back tomorrow!
*If you窶决e the owner of this website and have questions, reach out to Bluehost. We窶决e happy to help.
Be back soon!
This website is under maintenance.
Check back tomorrow!
*If you窶决e the owner of this website and have questions, reach out to Bluehost. We窶决e happy to help.
© Yahoo Japan
© Yahoo Japan
© Yahoo Japan
電気電子工学専攻教授藤井 稔
（フジイ ミノル）
Tel:078-803-6106(電気電子事務室)研究室: 自3-202
If you have a question about Vimeo, chances are we’ve already answered it in our FAQ. Take a look-see.
急展開で学会やいろいろなセミナーが中止になっていく。。。
(2020.2.27)
中村研最終ゼミの企画、新型コロナを勘案して中止というか延期に。残念。
(2020.2.14)
連載無事終了。1年間大変でしたが、なんとか無事に最後までたどり着きました。途中から雑記帳感が薄くなったのがちょっと構想不足というか、なんにせよ、時間が足りなかった。
(2020.2.10)
- 07/20 | 07/21
(日付逆順版, 2019-07-22 21:28 更新)
本日 (kubolog20190721) | 1 日前 | 7 日前 | 31 日前 | 365 日前 | top
2019 年 07 月 21 日 (日)
メイリングリスト配送システム mailman，prefix 通し番号に zero padding にしたければ subject prefix [kubo_ml%02d] のように指定すればよい…とのこと… www.sthark.com/faq/3341/ 10:40:39
発寒（はっさむ）川、左岸のぼーい先生 pic.twitter.com/vrEfhcFRPt 13:27:21 How to Install Adobe Flash Player on Ubuntu vitux.com/how-to-install… 07:51:51
メイリングリスト配送システム mailman，prefix 通し番号に zero padding にしたければ subject prefix [kubo_ml%02d] のように指定すればよい…とのこと… www.sthark.com/faq/3341/ 10:40:39
発寒（はっさむ）川、左岸のぼーい先生 pic.twitter.com/vrEfhcFRPt 13:27:21
発寒川、渡渉作戦！ pic.twitter.com/kBjW6JQgEE 15:19:19
本日 (kubolog20190721) | 1 日前 | 7 日前 | 31 日前 | 365 日前 | top
本日 (kubolog20190720) | 次の日 | 1 日前 | 7 日前 | 31 日前 | 365 日前 | top
本日 (kubolog20190720) | 次の日 | 1 日前 | 7 日前 | 31 日前 | 365 日前 | top
本日 (kubolog20190719) | 次の日 | 1 日前 | 7 日前 | 31 日前 | 365 日前 | top
本日 (kubolog20190719) | 次の日 | 1 日前 | 7 日前 | 31 日前 | 365 日前 | top
- 07/20 | 07/21
日時: 2015年2月2日(月) 14:30~16:00 (90分)場所: 工学部本館706 (いつも講義を行っている部屋です)試験範囲: 第1回~第11回講義の内容持ち込み: 任意の資料の持ち込みを可とする。また試験中に端末のDrRacketを使って解答してもよい。ただし、行ってよいのは、DrRacketの利用とMoodleのページへのアクセスおよび講義ページ ( http://aiweb.cs.ehime-u.ac.jp/~ninomiya/pl2/ ) へのアクセスのみとする。それ以外のソフトの利用やウェブページへのアクセスは不正行為とみなす。
Mathematics
Class
引っ越しました
21/09/11 11:52
下のアドレスに引っ越しました。
http://members3.jcom.home.ne.jp/kantaro/Ja_zum_Leben_sagen/Blog/Blog.html
How to be logical >
人工知能基本問題研究会(SIG-FPAI) のHPは
こちらに移動しました．