【流　通】詳細が未知の大規模視覚－言語モデルから不要な知識を＂忘却＂させる技術

東京理科大学大学院と日本電気（ＮＥＣ）の研究グループ（※）は、現代人工知能の基礎となっている大規模事前学習済み視覚－言語モデル（Ｖｉｓｉｏｎ－Ｌａｎｇｕａｇｅ　Ｍｏｄｅｌ：ＶＬＭ）に対し、そのモデルの構造やパラメータが未知であることを仮定する「Ｂｌａｃｋ－Ｂｏｘ条件下」において、モデルが認識可能なクラスのうち、任意のものだけを認識できないように＂忘却＂させる手法を世界で初めて提案した。

不要な知識を＂忘却＂させることができれば、不要な情報がモデルから漏洩するリスクを低減し、必要な機能についてのみ大規模モデルと同等の性能を発揮できる、より軽量かつ効率的な新しいモデルを構築できる可能性がある。

大規模事前学習済みＶＬＭは、モデルの詳細が公開されていないＢｌａｃｋ－Ｂｏｘモデルである場合が多い。そのためＢｌａｃｋ－Ｂｏｘ条件下での機能調整を可能にする技術が重要となる。また大規模事前学習済みＶＬＭは汎用性が高く、さまざまな問題に対して優れた性能を発揮する一方で、動作させるには大きなコストがかかることが課題となっている。しかし実用を鑑みると、必ずしもすべての機能が必要となるわけではなく、精度の低下やコストの増大など、むしろ運用上のデメリットにつながる。

そこで研究チームは、Ｂｌａｃｋ－Ｂｏｘモデルに対して、他のクラスに影響を与えることなく、任意のクラスのみを選択的に＂忘却＂させる手法「Ｂｌａｃｋ－Ｂｏｘ忘却」を開発し、その優位性を実証した。Ｂｌａｃｋ－Ｂｏｘ忘却は大規模な事前学習モデルを、より多くの実用的問題へ適用可能にする重要な技術となる可能性がある。

この研究成果は、２０２４年１２月１０日から１５日にかけてカナダ・バンクーバーにて開催された国際会議２０２４　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｎｅｕｒａｌ　Ｉｎｆｏｒｍａｔｉｏｎ　Ｐｒｏｃｅｓｓｉｎｇ　Ｓｙｓｔｅｍｓ（ＮｅｕｒＩＰＳ　２０２４）に採択された。ＮｅｕｒＩＰＳは機械学習分野で最も権威があるとされているトップカンファレンスで、Ｇｏｏｇｌｅ　Ｓｃｈｏｌａｒ　Ｍｅｔｒｉｃｓにおける論文の量（掲載数）と質（被引用回数）を同時に評価するｈ５－指標では、Ｎａｔｕｒｅ・Ｓｃｉｅｎｃｅや五大医学誌の上位誌などの一流誌に並んで、第７位にランクされている。

※　東京理科大学大学院工学研究科情報工学専攻の桑名優輔氏（修士１年）、後藤優太氏（修士２年）、東京理科大学工学部情報工学科の入江豪准教授と日本電気の柴田剛志博士"

・製品名および会社名などは、各社の商標または登録商標です