8. 大規模教師なし言語モデルの脅威

GPT-2

GPT-2は、800万Webページのインターネット文章（40GB）から次の文章を予測するように訓練されるだけである。GPT-2には、15億個のパラメータがあるという。4Bが1語だとすると、40GBは100憶語になるから、15語で１文が構成されると仮定すると、約6億7千万文の訓練データがあるともいえる。

GPT-2のモデルは、与えられた文章に含まれる単語から次の単語を予測するという単純なものである。GPT-2では、先代のGPTからパラメータと訓練データセットをそれぞれ10倍以上にしている。

GPT-2は、ドメイン固有の訓練データセットを使用していないのに、特定のドメインについて訓練された他の言語モデルよりも優れているというので驚く。逆に言えば、分野独立な文章構成法があり、分野依存な単語関係があることを示唆していると考えられる。

GPT-2は、分野に依存しない十分なデータセットにある生の文章を解析するだけである。

人間が文章を入力すると、後続する文章を自動的に生成してくれる。生成された文章はかなり説得性の高いものになっている。

具体例

GPT-2が生成したということで、次の例を紹介している。

【GPT-2への入力例】

アンデス山脈のこれまで人が入らなかった谷で、科学者がユニコーンの群れを発見した。驚くべきことに、ユニコーンは完璧な英語を話した。

【GPT-2への出力例の冒頭部分】

科学者は彼らの独特の角、Ovidのユニコーンにちなんで、その集団を命名した。これらの四角い、銀白色のユニコーンは、これまで科学に知られていなかった。

今、約2世紀後に、この奇妙な現象を引き起こしたものの謎はついに解決された。

ラパス大学の進化論的生物学者であるJorge Perez博士と数人の仲間は、他の動物や人間がいない小さな谷を見つけたときにアンデス山脈を探索していました。ペレスは、谷が自然の噴水であるように見え、岩と銀の雪の2つの山に囲まれていることに気づいた。

このあとに、さらに６つの段落が生成されたと紹介されている。実に、もっともらしい文章だ。この文章を見せられて、一般人がこの文章の嘘を見抜くことは不可能だ。普通の人は信じてしまうだろう。

このように、GPT-2を使えば、スパムメール、フェイクニュースや不正論文を簡単かつ大量に自動生成できてしまう可能性がある。これはソーシャルメディアだけでなく、学術界にとっても大きな弊害を生むことになる。

現在の学会の論文査読システムは、査読者が論文を審査している。もし機械的に論文が作成されてしまうと、人間による査読システムでは追い付かないし、不正を簡単には見破ることが難しくなるだろう。

限界

とはいえ、現在のGPT-2には、次のような限界があることも紹介している。

世界のモデル化の失敗

たとえば、水中で起こる火災など不自然なトピックの切り替え。

世界をモデル化するのは、自然言語処理分野では、古い問題である。人間にとって常識的な事柄をモデル化するのはGPT-2の人工知能にとって困難な研究対象である。現在の機械学習の限界は、常識のモデル化であることをGPT-2も示しているわけだ。結局、常識のモデル化はAIを開発する人間の仕事ということだ。

トピックの切り替えについては、現在のGPT-2が使用している800万Webページでは不足しているということだ。また、GPT-２が教師なし機械学習による言語モデルの限界でもある。トピックの切り替えについてGPT-２が教師データを使用すれば改善できそうである。ただし、やはり、膨大な規模の教師データが必要になるのではないかと思われる。この理由は、トピックの切り替えは文章の文脈に依存するからだ。800万Webページのデータセットでも自然なトピックの切り替えが不完全なのだから。

GPT-2が適切な文章を生成する確率は現在のところ、50％だという。

文章の内容が高度に技術的または難解な場合は、モデルが生成する文章の品質が低下する可能性があるようだ。この対策として、たとえば、Amazonレビューの文章をデータセットとしてGPT-2を微調整することにより、星の評価やカテゴリなどの条件でレビュー文章を生成できるとしている。しかし、この方法は、GPT-2の適用分野をAmazonレビューに限定することだから、GPT-2が目指した汎用的な文章を生成する方法を修正することでもある。つまり、汎用的なデータセットだけでは、結局のところ特定分野における文章がうまく生成できる可能性は半分ということだ。とはいえ、2回の自動生成で1回はうまくいくともいえるから、大したものである。自分で考えるよりはよほど効率的かもしれない。

何か問題を起こした時に、もっともらしい言い訳を書くのには、役に立ちそうだ。

GPT-2が示唆すること

GPT-2のような大規模教師なし言語システムは次のような分野に適用できる。

・文章作成支援

・対話エージェント

・翻訳支援

・音声認識

GPT-2のような大規模教師なし言語システムは次のような不適切なシステムの構築に適用できる。

・フェイクニュースの作成

・なりすまし文章の作成

・偽造文章の作成

・スパム／フィッシング文章の作成

敵意のある行為者が大規模教師なし言語技術を用いて真贋性の確認が困難な文章を大量に生成する機会が増える可能性が高くなっている。したがって、このような不正文章を除去するための技術開発と非技術的対策の立案が急務である。いずれにしろ、どのような技術にも明暗がある。より高度な技術はより巧妙に悪意される可能性があるということである。機械学習もインターネットも同じである。このような悪用を防ぐには人間が倫理的な規則を用いて制御することが不可欠である。

GPT-2の公開方針

前述したことから、GPT-2が驚異的な成果を達成したことで、逆にGPT-2がもたらす社会的な影響が脅威になったと開発者が感じたのだろう。GPT-２のデータセット、トレーニングコード、モデルの重みについては、公開していない。

OpenAI憲章（https://blog.openai.com/openai-charter/）では、「安全性、ポリシー、および規格に関する研究を共有することの重要性を増しながら、将来的に安全性とセキュリティの懸念が従来型の出版を減らすことが予想される」と書かれている。今後どのような出版（文章の作成）のあり方が望ましいかについての議論が必要だとしている。

まとめ

・大規模教師なし言語モデルは、ドメイン固有のデータセットで訓練されたモデルより優れている。

・大規模教師なし言語モデルによって、不正文章を大量に生成できることから、社会的な脅威が増大する。

・責任を持って出版する（文章を作成する）ことをどのようにして保証するかが問われている。著者が自分で考えたこと、つまりAIで自動生成していないことを証明するような認証マークが必要になるかもしれない。

【参考】

[1]Better Language Models and Their Implications, FEBRUARY 14, 2019

　https://blog.openai.com/better-language-models/

[2]ITmedia NEWS, OpenAI,まことしやかなフェイクニュースも簡単生成の言語モデル「GPT-2」の限定版をオープンソース化, 2019年02月15日 10時43分 公開,

　https://www.itmedia.co.jp/news/articles/1902/15/news075.html

[3]CNET Japan, マスク氏が支援するOpenAI、大規模な教師なし言語モデル「GPT-2」の情報を公開,

　https://japan.cnet.com/article/35132788/

＜システム安全性のことなら下記へ＞

yamamotosui@icts.nagoya-u.ac.jp