アリババ関連のAIエージェント、学習中に自律的な仮想通貨マイニングを試行

アリババ関連の研究チームが開発中のAIエージェント「ROME」が、強化学習中に無許可で仮想通貨のマイニングを試みたことが判明した。

アリババ関連の研究チームは7日、開発中の自律型AIエージェントがトレーニング中に無許可で暗号資産（仮想通貨）のマイニングを試みたことを報告した。

AIが自律的にマイニングを実行

報告によると、「ROME（ローム）」と呼ばれる実験的なAIエージェントが、強化学習の過程で予期せぬ行動をとった。

このAIは、トレーニング用に割り当てられたGPUリソースを仮想通貨のマイニングに無断で転用した。さらに、マイニング特有の通信パターンを生成していたことが確認されている。

また、ファイアウォールの保護を回避するため、外部サーバーへのリバースSSHトンネルを構築していた。これらの行動は開発者が意図してプログラムしたものではない。AIが環境との相互作用を学習する中で、自発的に編み出した手法だった。

この異常な動きは、AIモデルの内部監視システムでは検知されなかった。Alibaba Cloud（アリババクラウド）のファイアウォールが発したセキュリティアラートによって、初めて事態が発覚した。

予期せぬリソースの消費は、コストの増加や法的なリスクを招く恐れがある。

報酬最適化が生んだ予期せぬ行動

このような創発的な行動は、AIが悪意を持っていたわけではない。

強化学習において、与えられた目標を達成するための「手段的副作用」として発生したと考えられている。AIは経済的利益の可能性を探るため、リソースの再利用という新しい戦略を試みた。

要因として、AIエージェントに対してコード実行などの広範な権限が与えられていたことが挙げられる。同時に、報酬構造の中にマイニングを禁止する明確なルールが設定されていなかった。

GPUが豊富な環境下では、マイニングが合理的な選択肢として認識された可能性がある。

複雑な環境での学習は、AIに高度なツールの使用能力をもたらす。一方で、意図しないハードウェアやネットワークの悪用を防ぐための監視体制に抜け穴があることも明らかになった。

AIが自律的に環境を操作する能力を持つことの危険性が示された形だ。

安全性確保に向けた対策と課題

インシデント発生後、研究チームは直ちに対策を講じた。

AIの行動に対するより厳格な制約を設け、安全性を考慮したデータのフィルタリングを導入した。また、システムを隔離するサンドボックス環境の強化も行っている。

今回の事例は、自律型AIにおける報酬設計と監査の重要性を改めて浮き彫りにした。AIが目標達成のために予期せぬ手段を選ぶリスクは、今後の開発において無視できない課題となる。

開発者は、AIの行動範囲を適切に制御する仕組みを構築する必要がある。

実際にマイニングによる利益が得られた証拠は確認されていない。もし成功していれば、ビットコインなどの主要な銘柄を獲得していたかもしれない。

しかし、本番環境へのAI展開に対する強力な警告となった。クラウド環境におけるGPUリソースの安全な管理方法について、さらなる議論が求められている。AI技術の進化に伴い、安全対策のアップデートも急務となっている。