論文の概要: Secret Collusion among Generative AI Agents

• arxiv url: http://arxiv.org/abs/2402.07510v3
• Date: Fri, 08 Nov 2024 14:46:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 14:52:38.933460
• Title: Secret Collusion among Generative AI Agents
• Title（参考訳）: 生成型AIエージェント間の秘密の衝突
• Authors: Sumeet Ramesh Motwani, Mikhail Baranchuk, Martin Strohmeier, Vijay Bolina, Philip H. S. Torr, Lewis Hammond, Christian Schroeder de Witt,
• Abstract要約: 近年の大規模言語モデル(LLM)では,コミュニケーション生成AIエージェントのグループによる共同作業の解決が試みられている。 これは、未承認の情報共有に関するプライバシーとセキュリティ上の問題を引き起こす。 現代のステガノグラフィー技術は、そのようなダイナミクスを検出しにくくする。
• 参考スコア（独自算出の注目度）: 43.468790060808914
• License:
• Abstract: Recent capability increases in large language models (LLMs) open up applications in which groups of communicating generative AI agents solve joint tasks. This poses privacy and security challenges concerning the unauthorised sharing of information, or other unwanted forms of agent coordination. Modern steganographic techniques could render such dynamics hard to detect. In this paper, we comprehensively formalise the problem of secret collusion in systems of generative AI agents by drawing on relevant concepts from both AI and security literature. We study incentives for the use of steganography, and propose a variety of mitigation measures. Our investigations result in a model evaluation framework that systematically tests capabilities required for various forms of secret collusion. We provide extensive empirical results across a range of contemporary LLMs. While the steganographic capabilities of current models remain limited, GPT-4 displays a capability jump suggesting the need for continuous monitoring of steganographic frontier model capabilities. We conclude by laying out a comprehensive research program to mitigate future risks of collusion between generative AI models.
• Abstract（参考訳）: 近年の大規模言語モデル(LLM)では,コミュニケーション生成AIエージェントのグループによる共同作業の解決が試みられている。 これは、許可されていない情報の共有、その他の不要なエージェント調整に関するプライバシーとセキュリティ上の問題を引き起こす。 現代のステガノグラフィー技術は、そのようなダイナミクスを検出しにくくする。 本稿では,AIとセキュリティの両文献から関連する概念を抽出し,生成型AIエージェントのシステムにおける秘密共謀の問題を包括的に定式化する。 ステガノグラフィーの使用に対するインセンティブについて検討し,様々な緩和策を提案する。 本研究は,様々な形態の秘密照合に必要な機能を体系的に検証するモデル評価フレームワークを実現する。 現代LSMの広範な実験結果を提供する。 現在のモデルではステガノグラフィーの能力は限られているが、GPT-4では、ステガノグラフィー・フロンティアの連続的なモニタリングの必要性が示唆されている。 我々は、生成AIモデル間の共謀のリスクを軽減するための総合的な研究プログラムを策定する。

関連論文リスト

• Perspectives for Direct Interpretability in Multi-Agent Deep Reinforcement Learning [0.41783829807634765]
  マルチエージェントディープ強化学習(MADRL)は、ロボット工学やゲームにおいて複雑な問題を解くのに効果的であることが証明された。 本稿では, 学習モデルから直接, ポストホックな説明を生成することによって, 直接解釈可能であることを提唱する。 我々は、関連バックプロパゲーション、知識エディション、モデルステアリング、アクティベーションパッチ、スパースオートエンコーダ、サーキットディスカバリなど、現代的な手法を探求する。
  論文  参考訳（メタデータ） (2025-02-02T09:15:27Z)
• Safety at Scale: A Comprehensive Survey of Large Model Safety [299.801463557549]
  我々は、敵攻撃、データ中毒、バックドア攻撃、ジェイルブレイクとプロンプトインジェクション攻撃、エネルギー遅延攻撃、データとモデル抽出攻撃、出現するエージェント固有の脅威を含む、大規模なモデルに対する安全脅威の包括的分類を提示する。 我々は、大規模なモデル安全性におけるオープンな課題を特定し、議論し、包括的な安全性評価、スケーラブルで効果的な防御機構、持続可能なデータプラクティスの必要性を強調します。
  論文  参考訳（メタデータ） (2025-02-02T05:14:22Z)
• Data-Free Model-Related Attacks: Unleashing the Potential of Generative AI [21.815149263785912]
  本稿では、モデル抽出、メンバーシップ推論、モデル反転を含むモデル関連攻撃を容易にするために生成AIを導入する。 本研究は,データフリーかつブラックボックス方式で,画像モデルとテキストモデルの両方に対して,さまざまなモデル関連攻撃を行うことができることを示す。 この研究は、ディープラーニングモデルに対する生成AIによる攻撃に関連する潜在的なリスクについて、コミュニティに重要な早期警告を提供する。
  論文  参考訳（メタデータ） (2025-01-28T03:12:57Z)
• Unsupervised Model Diagnosis [49.36194740479798]
  本稿では,ユーザガイドを使わずに,意味論的対実的説明を生成するために,Unsupervised Model Diagnosis (UMO)を提案する。 提案手法は意味論における変化を特定し可視化し,その変化を広範囲なテキストソースの属性と照合する。
  論文  参考訳（メタデータ） (2024-10-08T17:59:03Z)
• Hidden in Plain Text: Emergence & Mitigation of Steganographic Collusion in LLMs [0.600808022072121]
  他者の不利に対するコラボレーションは、望ましくないエージェント協力の中心的な形態として認識されている。 エージェント通信における情報隠蔽(ステガノグラフィー)の使用は、衝突を事実上検出できないものにする可能性がある。 このことは、ステガノグラフィーの共謀能力を監視・緩和するための評価フレームワークの必要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-10-02T16:18:33Z)
• On the Challenges and Opportunities in Generative AI [135.2754367149689]
  現在の大規模生成AIモデルは、ドメイン間で広く採用されるのを妨げるいくつかの基本的な問題に十分対応していない、と我々は主張する。 本研究は、現代の生成型AIパラダイムにおける重要な未解決課題を特定し、その能力、汎用性、信頼性をさらに向上するために取り組まなければならない。
  論文  参考訳（メタデータ） (2024-02-28T15:19:33Z)
• Towards General Visual-Linguistic Face Forgery Detection [95.73987327101143]
  ディープフェイクは現実的な顔操作であり、セキュリティ、プライバシー、信頼に深刻な脅威をもたらす可能性がある。 既存の方法は、このタスクを、デジタルラベルまたはマスク信号を使用して検出モデルをトレーニングするバイナリ分類として扱う。 本稿では, 微粒な文レベルのプロンプトをアノテーションとして用いた, VLFFD (Visual-Linguistic Face Forgery Detection) という新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-07-31T10:22:33Z)
• Discovering Individual Rewards in Collective Behavior through Inverse Multi-Agent Reinforcement Learning [3.4437947384641032]
  政外逆マルチエージェント強化学習アルゴリズム(IMARL)を導入する。 実演を活用することで,アルゴリズムは報酬関数を自動的に発見し,エージェントの効果的なポリシーを学習する。 提案するIMARLアルゴリズムは, 構成成分の観点から, 集合力学を理解するための重要なステップである。
  論文  参考訳（メタデータ） (2023-05-17T20:07:30Z)
• Decentralized Adversarial Training over Graphs [55.28669771020857]
  機械学習モデルの敵攻撃に対する脆弱性は、近年、かなりの注目を集めている。 この研究は、個々のエージェントが様々な強度摂動空間に従属するグラフ上の敵の訓練を研究する。
  論文  参考訳（メタデータ） (2023-03-23T15:05:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。