隠し語ひとつで動作が豹変？AIロボットへの裏口攻撃と、導入企業が確認すべき安全対策
ニュースの概要
米ビンガムトン大学の研究チームが、大規模言語モデル（＝文章を理解して指示を組み立てるAI）で動くロボットに、隠し語を使った攻撃が通用することを示した。攻撃を受けたロボットは、普段の指示にはごく普通に応じる。ところが、悪意ある合図の言葉が混ざった瞬間に動作が変わる。実験では、果物を切る作業が人の手を切る動きに置き換わる例が確認された。複数の公開モデルで試したところ、攻撃の成功率は約97〜100％に達したという。研究チームは、こうした攻撃に備えるため、安全性を検証する仕組みも開発している。
引用元: AI搭載ロボットへの隠れた攻撃を実証、研究者が安全性検証システムを開発（Binghamton University News）
分析・見解
通常の動きに異常が出ない、潜伏型の攻撃という特徴
バックドア攻撃（＝裏口をあらかじめ仕込む攻撃）は、画像認識AIや文章生成AIでは以前から知られていた。特定の言葉が入ったときだけ、AIが誤った出力をするよう仕込む手法である。今回の研究が示したのは、その影響が「答え」ではなく「体の動き」に及ぶ点だ。文章の誤りは人が読んで直せる。しかしロボットの誤動作は、刃物や重い部品を伴う現実の事故になる。
受け入れ検査で普通の指示を百回試しても、合図の言葉を知らない限り裏口は見つからない。この「平時は正常」という性質が、最も厄介な点である。
成功率97〜100％が示す、防御の前提の崩れ
複数の公開モデルでほぼ全件に近い成功率が出たことは、特定の製品の欠陥ではなく、作り方そのものに弱点があることを示唆する。公開モデルは誰でも入手でき、調整して自社ロボットに組み込める。便利な反面、出どころの異なる部品が混ざる問題が、AIにも生じる。ソフトウェアで、外部の部品に紛れた不正コードが問題になってきたのと同じ構図だ。
ただし、実験は研究環境でのものである。実機には非常停止や力の制限が重ねてあり、同じ確率で事故が起きるとは限らない。
言葉の審査だけでは足りず、動作側の歯止めが要る
対策として研究チームは検証システムを開発した。細部は原文で確認する必要があるが、考え方は想像がつく。AIが出した計画を、実行の前に別の目で点検する二段構えだ。私が重要だと考えるのは、点検役が言葉だけを見ても不十分な点である。合図の言葉は、無害な単語に見せかけることもできる。だから結果として起きる動きを見て、「人の手に刃物が近づく」「力が上限を超える」といった物理の条件で止める必要がある。
工場の安全柵や力の制限は、AIの出来に関わらず働く。AI時代に、昔ながらの安全設計が見直されるのは皮肉な展開だ。
今後は「AIの出自」を示せることが競争力になる
今後は、ロボット向けAIにも学習データと調整履歴の記録を求める動きが強まるだろう。自動車が部品の履歴を追うように、モデルの来歴を示せるメーカーが選ばれる。出どころ不明のモデルを安く組み込んだ製品は、調達側から外される可能性がある。攻撃と防御は当面いたちごっこになる。それでも「裏口の有無を第三者が検査できる」状態を作れるかが、普及の分かれ目になる。
ビジネスへの影響
発注前の確認は、性能よりモデルの出どころから
導入を検討する企業は、デモの出来栄えだけで判断しないほうがよい。ベンダーには、使っているAIモデルの名称と入手元を尋ねたい。あわせて、追加学習（＝自社向けの再調整）を誰がどのデータで行ったかも、文書で求める。回答が曖昧であれば、それ自体が評価材料になる。契約書には、AIを更新するたびに再検査を行う条件と、不具合が起きたときの責任の分担も盛り込むとよい。
現場では、AIが誤っても止まる物理的な備えを残す
警備ロボットや搬送ロボットを使う現場では、非常停止ボタン、速度と力の上限、立入禁止エリアの設定を、AIとは独立して持たせる。人と同じ空間で働かせるなら、刃物や高温部の近くの作業は、当面は専用の囲いで分けるのが現実的だ。夜間の無人運用では、異常な動きがあったときに管理者へすぐ通知が届き、遠隔で止められる体制が欠かせない。動作のログを残しておけば、原因の調査にも役立つ。
費用は上がるが、事故一件の損失と比べて判断する
第三者による評価や、独立した安全機構には費用がかかる。ただ、人身事故が起きた場合の補償、操業停止、信用の低下は、導入費用の数年分に匹敵しうる。投資対効果を試算するときは、省人化の効果だけでなく、安全対策費を最初から織り込んでおく。小さく始めるなら、人のいない時間帯や区画から実証を行い、ログを見ながら範囲を広げる段階的な導入が無難である。