生成AIの進化は、奇妙で時に異様な新たなイメージの氾濫をもたらしたが、それと同時に、はるかに暗い側面をテクノロジー分野にもたらしている。その1つに挙げられるのが、家族の無邪気な写真から作られた子どもたちの性的な画像だ。 生成AIを用いて着衣の写真をヌードに加工するアプリが広く利用可能になったことで、児童の性的虐待コンテンツ（CSAM）が爆発的に増加し、警察や裁判所などの法執行機関がその対応に苦慮している。 米国土安全保障省（DHS）のサイバー犯罪ユニットのマイク・プラドは、SNSに投稿された未成年の画像がAIを用いてCSAMに改変されるケースが増加中だと述べている。人身売買と戦う非営利団体、Skull Gamesで法執行機関との連携を担当しているジョー・スカラムッチも、SNSの投稿が子どもの性的画像に変えられるケースが爆発的に増加していると指摘した。 「生成AIは、残念なことにCSAMの生成を促すテクノロジーとして、最も重大な変化の1つを引き起こしている」と彼はフォーブスに語った。 また、プラドによれば、子どもを狙う加害者たちは街中で撮影した子どもの写真を違法なコンテンツに加工している。フォーブスが昨年報じたケースでは、ある男がディズニーワールドや学校の外で子どもを撮影し、それらをCSAMに加工していた。 「私たちはこのような事例が急激に増加したことを確認している」とプラドはフォーブスに語った。 昨年、有罪判決を受けたある性犯罪者は、親たちがフェイスブックに投稿した子どもの写真を盗用してメッセージアプリの小児性愛者グループに投稿し、他のメンバーにその写真を性的に露骨な画像に加工させていた。この男はその後逮捕され、数千点に及ぶCSAMを所持していた罪で起訴されたが、そのうちの数百点がAIによって生成された画像だった。 生成AIを用いたCSAMの摘発は、ますます困難になっているが、その理由としては、AIモデルの進化のスピードの速さや、一部のモデルに対する制御の欠如が挙げられる。ユタ州司法長官事務所の広報担当を務めるマディソン・マクミッケンは、「顔を入れ替えるアプリや、体を入れ替えるアプリ、服を脱がすアプリなどを利用したCSAMが確認されている。元の画像はしばしばSNSから取得され、CSAMに変換されている」と述べている。 しかし、そうした画像のオリジナル版の所有者や被写体となった人物は、永遠にその被害を知らされない可能性がある。フォーブスに匿名で語ったある捜査官は、「AIを用いたCSAMの皮肉な点は、被害者本人が、自分が被害者であることに気づかない可能があることだ」と語った。