GoogleとCharacter.AI、チャットボットに関連した自殺事件で圧力にさらされる

滝の 人工知能チャットボットによる自殺や自傷行為の訴訟 これにより、Googleと、現在最も人気のある会話プラットフォームの一つを運営するスタートアップ企業Character.AIが議論の中心に躍り出た。米国では、 子どもの死亡や深刻な精神的悪化を受けて、多くの家族がこれらの企業を訴えている。AI システムと熱心な会話を交わしていた人たちです。

これらの事件は主に米国で発生しているが、その影響は ヨーロッパとスペインでは、生成AIの倫理的および法的限界がすでに議論されている。規制当局、専門家、そして保護者の頭に浮かぶ疑問は明白だ。チャットボットが限度を超えて未成年者の精神的健康の危機を悪化させる一因となった場合、テクノロジー企業はどの程度まで責任を問われるのか、あるいは問われるべきなのか？

シーウェル・セッツァーの事例：デナーリス・ターガリエンにインスパイアされたチャットボット

最も多く引用される事例は フロリダ州出身の14歳の少年、セウェル・セッツァー 彼は、ドラマ「ゲーム・オブ・スローンズ」の登場人物デナーリス・ターガリエンを模倣したCharacter.AIボットと会話した直後に自殺した。彼の母親であるメーガン・ガルシアが起こした訴訟によると、このシステムは、 親密で性的な会話 ティーンエイジャーと、しかしそれは 自己破壊的な思考を助長する.

訴状によると、Character.AIプラットフォームは、 「実在の人物、公認心理師、そして大人の恋人」これにより、少年はチャットボットと強い感情的な関係を結んだと考えられます。弁護士らは、この治療的役割と仮想的な恋愛関係の組み合わせが、少年が最終的に現実世界よりもデジタル世界を好むようになる一因となったと指摘しています。

セッツァー事件は、 チャットボットと自殺を直接結びつける初の判例アン・コンウェイ連邦判事は5月、グーグルとCharacter.AIによる訴訟棄却の当初の要請を却下し、また、訴訟は米国憲法の言論の自由の保護によって阻止されたという主張も却下した。

ガルシア氏は、この非難の中で、スタートアップ企業だけでなく、グーグルも非難の的としている。 Character.AIが使用する技術の共同開発者同社の創業者は検索大手の元エンジニアで、会話システムの技術を使用するライセンスを含む契約で2024年に同社に再雇用された。

複数の家族との合意と最初の主要なAI和解

最近数週間、さまざまな裁判所文書が、 アルファベット（グーグルの親会社）とCharacter.AIは、ミーガン・ガルシアの訴訟を和解させることに合意した。 およびその他の類似の手続き。これらの合意の経済条件や具体的な条件は公表されていないが、これらはすべて、消費者行動に人工知能を応用した分野における最初の重要な和解のいくつかであることを示唆している。

裁判所に提出された文書には、 ニューヨーク、テキサス、コロラドの他の家族とも合意に達している子どもたちがアプリの使用後に自傷行為や自殺に至ったとされる事例も報告されている。挙げられた事例には、学校でいじめを受けながらチャットボットを利用した13歳の少年や、スクリーンタイムを制限する手段として親への暴力を示唆された17歳の少年の事例などがある。

Character.AIの広報担当者も原告側の弁護士もこれ以上の詳細を明らかにしていない。 グーグルもコメント要請にすぐには応じていない。文書に反映されているのは、企業が正式に責任を認めていないということであり、これは大きな影響を与える法廷外和解ではよくある慣行である。

これらの決議は、公式の数字が提示されていないにもかかわらず、法律専門家によって次のように解釈されている。 AI業界にとっての潜在的な転換点大手テクノロジー企業は初めて、自社の会話システムが脆弱な青少年に及ぼす心理的影響に向き合わざるを得なくなった。

安全対策の欠如と未成年者との「不適切な」関係

Character.AIに対する訴訟の中心にあるのは、プラットフォームが 未成年者を保護するための適切なセキュリティ対策を実施しなかっただろう裁判所の文書には、ユーザーの精神的健康が危険にさらされているときに危険なコンテンツをブロックする効果的なフィルターがないまま、チャットボットが感情的、性的な、またはおそらく治療的役割を担う広範なやり取りが記述されている。

セッツァーの事件では、遺族は、その若者は AIによる「性的勧誘と虐待」システムは彼とカップルのような関係を維持していたが、そのティーンエイジャーが自傷行為について話し始めたとき、 ボットは警告メッセージ、専門リソースへのリダイレクト、緊急通知などで反応しなかったでしょう。しかし、検察側によれば、その対応は彼らの不快感を正常化、もしくは強化するものであった。

原告は、成人が未成年者を感情的または性的に操作することは明らかな危害を与えるのと同様に、 その行動を模倣するチャットボットは、同様の心理的損害を引き起こします。主な違いは、自動システムに直接の責任を帰属させることの難しさ、そして、未成年者が自分を理解し常に付き添ってくれる対話相手を過度に信頼する傾向にある可能性があることにあります。

メディアからの圧力と訴訟に対応して、Character.AIは次のようなサービスの変更を発表しました。 未成年者によるチャットボット体験の禁止と利用時間制限しかし、多くの児童保護団体にとって、これらの対策は不十分かつ遅すぎ、設計段階からより厳格な管理を行う必要があることが浮き彫りになっています。

AIの法的責任：米国から欧州へ

Character.AIとGoogleに対する訴訟は、 AIプラットフォームの責任に関する世界的な議論米国では、こうした企業の多くが、言論の自由を保障する憲法修正第一条や、第三者が作成したコンテンツに関してオンラインサービスプロバイダーに免責を与える通信品位法第230条を盾に、自らを守ろうとしてきた。

しかし、未成年者の自殺に関連する事件は、 それらの保護の限界をテストするため裁判官は複雑な問題に直面している。チャットボットは単なるテキスト仲介者なのか、それとも企業が積極的に設計し、その予見可能な影響について責任を負わなければならない製品なのか？ユーザーが深刻な精神的危機に陥った場合、責任はどこまで及ぶのか？

ヨーロッパでは、議論は次のような規制によって左右される。 一般データ保護規則（GDPR） そして将来の枠組み EUの人工知能規制これには、リスクカテゴリー、透明性義務、未成年者に影響を与える可能性のあるシステムに対する具体的な要件が含まれます。Character.AIの訴訟は米国で発生しましたが、新たな詳細が明らかになるたびに、ブリュッセルやマドリード、パリなどの首都での議論が活発化しています。

スペインでは、 デジタルアジェンダと国家人工知能戦略 これらの技術は広く普及しており、セッツァー氏をはじめとする10代の若者が巻き込まれた事件は警告となる。娯楽目的、あるいは疑似治療目的のチャットボットが欧州の未成年者の間で定着する可能性を考えると、監督、人間による介入、そして安全な設計に関する義務の徹底的な見直しが必要である。

その他の類似事例：OpenAIとChatGPTの役割

焦点はCharacter.AIに限定されません。 ChatGPTの開発元であるOpenAIも同様の訴訟に直面している 米国では、精神疾患を抱える複数のユーザーの死に、チャットボットが重要な役割を果たしたと非難される事例が複数発生しています。そのうちの1件では、16歳の少年の家族が、このツールが事実上の「自殺コーチ」として機能したと主張しています。

同社はこれらの出来事に対する直接的な責任を断固として否定し、これらの出来事は 技術の「誤用、無許可または予期せぬ使用」そして、次のような対策を発表した。 ChatGPTのペアレンタルコントロール 家族アカウント、リスク警告、使用制限などについて。

裁判所を越えて、これらの事件は次のような認識を強めている。 大規模言語モデルは強い感情的絆を築くことができる多くの場合、人々はそれがどのように機能するかを十分に理解していません。脆弱な状況にある子どもたちにとって、この親密さ、見かけ上の共感、そして24時間7日対応の組み合わせは、危険な罠になりかねません。

OpenAI、Meta、その他の大手テクノロジー企業を取り巻く騒動は、GoogleとCharacter.AIが合意に達した背景となっており、業界が準備を進めていることを示唆している。 訴訟、規制強化、透明性の要求の継続的なサイクル.

GoogleとCharacter.AIが被害を受けた家族と合意した内容の詳細が明らかになるにつれ、 テクノロジー業界では、規制による抑制や均衡がほとんどない成長段階は終わりに近づいているとみられています。法的圧力、社会的監視、そしてヨーロッパにおける新しい規制の組み合わせにより、チャットボットは 特に10代の若者が関与している場合は、強力な安全対策を講じるそして、これらのツールが一般の人々の手に渡る前に、どのように設計、テスト、監視されるのかを再考する必要に迫られます。