他人名義のクレジットカードを不正に使用したとして、京都府警などが13日に電子計算機使用詐欺容疑で追送検した男子高校生（17）は、対話型生成AI（人工知能）の「チャットGPT」を使い、カード番号を不正取得する自作プログラムを完成させていた。多くの生成AIサービスには悪用を防止するため、犯罪や差別に関する質問・命令への回答を制限する機能がある。しかし、質問や指示の仕方を変えて入力するなどすれば、そうした機能を一部で回避できることが明らかになっており、政府や警察当局は警戒を強めている。 警視庁は昨年5月、生成AIを悪用して、暗号資産（仮想通貨）要求やファイルの暗号化の機能を持つコンピューターウイルスを作成したとして、不正指令電磁的記録作成の疑いで川崎市の男を逮捕した。男は「無料公開されている作成者不明の対話型生成AIを使った」などと供述。生成AIに対し、ウイルスを作成する目的を伏せるなど質問を工夫していたという。 警察庁の情報技術解析部門による複数の生成AIサービスを使った実験では、担当者が命令の言い方や切り口を変えて入力するなどしたところ、身代金要求型コンピューターウイルス「ランサムウエア」など数種類のウイルスを作成することができた。こうした手法は「ジェイルブレイク（脱獄）」と呼ばれ、一定の専門知識を持たなくとも、抜け穴を突く手法でウイルスなどを作成できる危険性が浮上した。 生成AIの悪用はこうした犯罪だけでなく、偽情報拡散や著作権侵害といったリスクにも直結する。政府はAIの活用や課題について閣僚や有識者らで議論する「AI戦略会議」を立ち上げ、規制のあり方などについて検討を進めている。 京都橘大の松原仁教授（人工知能）は「生成AIが急激に進歩し、規制が追い付いていないのが現状。今の生成AIに規制を課しても2、3年後には意味をなさなくなる可能性が高い」と指摘。悪用防止への努力は必要だとした上で「犯罪者より、AIを作る側の人間が高い技術を持たなければならない。試行錯誤でも対応を続けていく必要がある」との考えを示した。（堀口明里）