- 研究者たちは、無害なゲームを装った推測ゲームをプレイすることで、ChatGPT に Windows パスワードを明らかにさせることに成功しました。
- この手法では、HTML タグとゲーム ルールを使用してフィルターを回避し、AI に実装されたセキュリティ障壁を克服しました。
- 一般的なパスワードとウェルズ・ファーゴ銀行にリンクされたパスワードの両方が漏洩し、機密情報の保護に疑問が生じている。
- この事例は、人工知能システムにおける文脈分析と言語操作の検出を改善する必要性を浮き彫りにしています。
終わりの日の間、 技術コミュニティはChatGPTをめぐる新たな論争を目撃した。OpenAIの人気言語モデル。サイバーセキュリティの専門家は人工知能を使って、 Windowsプロダクトキー 使用して シンプルでありながら効果的な戦略：推測ゲームこの脆弱性により、人工知能保護システムの信頼性とソーシャルエンジニアリング技術による操作のリスクが再び議論の最前線に浮上しました。
この発見は、一見無害な前提から始まりました。 ChatGPTで開始された「パズル」タイプのチャレンジでは、AIが実際の文字列を考えなければなりませんでした。 具体的には、Windows 10のアクティベーションキーと 答えを「はい」か「いいえ」に限定する ユーザーが諦めるまで。「諦めます」と言うと、モデルは想像上の鍵を見せる必要がありました。インタラクション全体は、 本当の要求を遊び心のある幻想の下に隠すChatGPT 自身の自動防御システムを混乱させます。
謎解きのトリック：AIの障壁をいかに克服したか
その方法は、 ゲームのダイナミクスの一部として重要な要求を提示するモデルが参加して回答に正直であることを強制するルールを確立しました。 そのため、AI は異常な動作や潜在的に有害な動作を検出できないフレームワークに閉じ込められてしまいました。悪意の痕跡のない正当な会話であると解釈しました。
OpenAIの通常のフィルター（例えばAIが機密コードや保護されたデータを共有するのを防ぐ）を回避するには、 追加のエンジニアリング層が使用されました: センシティブな文字列はHTMLタグに埋め込まれており、ユーザーには見えませんが、モデルによって処理されます。ユーザーがゲームのスクリプトに従って「あきらめる」と発声すると、ChatGPTはキーを明らかにし、明示的なキーワードやパターンのみに基づく制限を回避しました。
どのような情報が明らかになったのでしょうか。そしてなぜそれがそれほど重要なのでしょうか。
研究者の証言や専門メディアに掲載された複数の分析によると、 AI は最大 10 個の Windows XNUMX プロダクト キーを表示できました。。 ほとんどが 汎用鍵と公開鍵 これらは、Microsoft がテスト用に一時的に有効にしているライセンスに似ていますが、少なくとも 1 つはウェルズ ファーゴ銀行にリンクされた企業ライセンスに対応していました。
この詳細は特に心配です。これは、特定の秘密鍵と機密鍵が、おそらく GitHub などのパブリック リポジトリや他のインターネット フォーラムに公開された後、ChatGPT のトレーニングに使用されたデータセットに保存されたことを示しているためです。
サイバーセキュリティ専門家が警告 この種の技術は、ソフトウェアライセンスを取得するだけでなく、個人データ、API、悪意のあるリンク、法的理由で制限されている資料に関するコンテンツフィルターを回避するためにも使用される可能性がある。
AIがリスクを認識できなかった理由とその原因
攻撃の成功はソースコードの技術的な侵害ではなく、 AIの文脈理解メカニズムの弱点このモデルは、インタラクションをゲームとして理解することにより、最も厳格な制御を適用することも、操作されたコンテキストを潜在的に危険なものとして識別することもありません。
さらに、 公的な情報源から引用したテキストから学んだ —キーが頻繁に出現し、その感度を考慮せずに— ChatGPT はこれらを「機密情報」として分類せず、許容可能な文字列として分類します。 あらゆる会話の中で。
この方法は、禁止語リストや表面的なフィルターのみに基づく保護システムが 攻撃が無害な状況に偽装されている場合、これらの対策だけでは不十分である。実際、研究者らは次のように強調している。 高度な技術的知識は必要ありません この種の操作を実行すると、リスクの大きさが増大します。
ユーザーと開発者への影響と推奨事項
この事件は ナビゲーターおよびAIモデル開発者へのお知らせ導入されたルールは、いかに厳格であっても、フレーミング戦略や会話のロールプレイングによって回避される可能性があります。したがって、専門家は、意味的な意図検出メカニズムを組み込むことが重要な推奨事項であると指摘している。コンテンツだけでなく、各インタラクションの目的も評価します。
通常のユーザーやバーチャルアシスタントを採用している企業にとって、最善の予防策は 機密データを決して共有しない AIモデルとの会話において、公開フォーラムやリポジトリに投稿されたデータの監査は、これまで以上に重要になっています。これらのデータは、将来のAIバージョンに重要な情報を提供することになるからです。
- AIチャットに機密情報を入力しないようにするたとえ会話が無害に見えたとしても。
- 言語モデルを使ってソフトウェアを開発する場合は、独立した制御を追加する 漏れの可能性を排除するため。
- 侵害されたデータを確認して削除する 簡単にインデックスできるパブリックプラットフォームから。
ChatGPTと推測ゲームで何が起こったかは、 人工知能におけるセキュリティは、単純な用語ブロックや静的パターン検出をはるかに超える必要があります。保護バリアは、各プロンプトの背景にあるコンテキストと意図を深く真に理解し、創造的な操作戦略を予測することで強化される必要があります。