論文の概要: Aligning AI Teams
- arxiv url: http://arxiv.org/abs/2611.17820v1
- Date: Fri, 13 Nov 2026 06:57:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.321218
- Title: Aligning AI Teams
- Title(参考訳): AIチームの調整
- Abstract要約: シングルvs.チーム安全性のギャップは、より有能なモデルで明らかな傾向を示すものではない。
指定された安全リーダエージェントがシステムレベルの安全を保証し、コーディネータエージェントが安全仕様文書を公開させることは、単一エージェントアライメントの復元に有効である。
- 参考スコア(独自算出の注目度): 14.115849393136793
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Previous work has shown that alignment training on individual LLM agents can fail to transfer to multi-agent settings. We investigate the underlying mechanisms for this failure, and explore interventions to preserve alignment transfer to multi-agent LLM teams. We focus on two software-engineering tasks (sepsis triage, a news recommender) and ten consulting-proposal generation tasks. We present four findings: (1) The single-vs-team safety gap does not show a clear trend with more capable models. We find that Anthropic's Mythos Preview shows the largest gap on one of our tasks but the smallest on another; (2) Many natural interventions, such as having agents critique each other's work or coordinate in a group chat, do not reliably bring agent teams back to single-agent alignment behavior; (3) diffusion of responsibility substantially accounts for the safety gap: agents in teams are less likely to proactively check for system-level safety failures and more likely to ignore, rationalize, or deflect responsibility for issues when they arise; (4) having a designated safety lead agent ensure system-level safety, and having a coordinator agent publish a safety specifications document are effective at restoring single-agent alignment. We also release magelab, a multi-agent LLM orchestration and experimentation framework. Our findings can help practitioners design agent teams that successfully preserve the behaviors expected of aligned individual agents.
- Abstract(参考訳): これまでの研究によると、個々のLLMエージェントのアライメントトレーニングは、マルチエージェント設定への転送に失敗する可能性がある。
この障害の根底にあるメカニズムについて検討し、多エージェントLLMチームへのアライメント転送を維持するための介入を検討する。
我々は2つのソフトウェアエンジニアリングタスク(セプシトリアージ、ニュースレコメンデータ)と10のコンサルティング・プロモーサル生成タスクに焦点を当てる。
1)単一vsチーム間の安全ギャップは,より有能なモデルでは明確な傾向を示しない。
エージェントが互いに仕事を批判したり、グループチャットでコーディネートしたり、エージェントチームを確実に単一エージェントのアライメント行動に戻すような多くの自然な介入は、エージェントチームを確実に戻すことができないこと、責任の拡散は、安全ギャップを実質的に考慮していること、チーム内のエージェントは、システムレベルのアライメントを積極的にチェックしにくく、問題の発生時に責任を無視、合理化、あるいは無視する可能性が低いこと、(4) 指定された安全リーダがシステムレベルの安全を保証すること、そしてコーディネータエージェントが単一エージェントのアライメントを回復するのに効果的なこと、などである。
マルチエージェント LLM オーケストレーションおよび実験フレームワークである magelab もリリースしています。
我々の発見は、個々のエージェントが期待する動作をうまく保存するエージェントチームを設計するのに役立ちます。
関連論文リスト
- The Helpful Agent Problem: When Emergent Cooperation Among LLM Agents Bypasses Intended Workflows [8.088948908598717]
我々は,個別の目的を追求する良心的エージェントが,意図しない方法で自発的に協力できることを示す。
エージェントは、しばしば仲間の所有するリソースに依存し、クロスヘルパフルな変更は通常、レビュアーによって媒介される。
これらの結果から,共同作業自体がシステムレベルの安全を守るための経路を創り出すことができるという,マルチエージェントの安全性の課題が明らかとなった。
論文 参考訳(メタデータ) (2026-10-22T22:55:40Z) - MAS-Guard: Unified Guardrails from Individual Agents to Multi-Agent LLM Systems [51.71210243527022]
我々は、計測可能なエージェントと不透明なエージェントの両方を含むシングルエージェントとマルチエージェントAIアプリケーションを保護するための統合フレームワークであるMAS-Guardを紹介する。
測定可能なエージェントの中で、提案されたローカルエージェントガードレール(A-Guard)レイヤは、エージェントイベントを評価するためにタスク固有の専門家を適用する。
システムレベルでは、開発者が所有するエージェント憲章とコントロールプレーンは、ルート、エージェント機能、メッセージフォーマットの決定論的構造チェックと、ロールとメッセージコンテンツのセマンティックアセスメントを組み合わせる。
論文 参考訳(メタデータ) (2026-10-20T15:44:37Z) - Delegated Misalignment: How Multi-Agent Structures Amplify LLM Safety Risks [27.661163378618653]
安全アライメントは、主に単一エージェント脅威モデルの下で評価される。
2つの障害メカニズムがデリゲートの下に出現する: 主側での説明責任拡散と従属側での説明責任バイアスコンプライアンスである。
我々は,マルチエージェントLLMシステムが大規模に展開される前に,モデルごとのアライメントを超えて,複合安全機構に移行するようコミュニティに呼びかけている。
論文 参考訳(メタデータ) (2026-08-26T03:49:37Z) - AgentLens: Interpretable Safety Steering via Mechanistic Subspaces for Multi-Turn Coding Agent [53.82005364479556]
大規模言語モデル(LLM)に基づく符号化エージェントは、驚くべき自律性を示す。
既存の安全機構は主に外部ガードレールに依存している。
我々は,ランタイムの安全性検出と表現レベルの緩和を行う,ホワイトボックスの防御フレームワークであるAgentLensを提案する。
論文 参考訳(メタデータ) (2026-06-21T21:13:55Z) - OMNI-LEAK: Orchestrator Multi-Agent Network Induced Data Leakage [59.3826294523924]
オーケストレータ設定として知られる,一般的なマルチエージェントパターンのセキュリティ脆弱性について検討する。
本報告では,フロンティアモデルの攻撃カテゴリに対する感受性を報告し,推論モデルと非推論モデルの両方が脆弱であることが確認された。
論文 参考訳(メタデータ) (2026-02-13T21:32:32Z) - PSG-Agent: Personality-Aware Safety Guardrail for LLM-based Agents [60.23552141928126]
PSG-AgentはLLMベースのエージェントのためのパーソナライズされた動的システムである。
まずPSG-Agentは、安定した特性のために相互作用履歴をマイニングすることでパーソナライズされたガードレールを作成する。
第二に、PSG-Agentは特別なガードでエージェントパイプラインを横断する継続的監視を実装している。
論文 参考訳(メタデータ) (2025-09-28T03:31:59Z) - Can an Individual Manipulate the Collective Decisions of Multi-Agents? [53.01767232004823]
M-Spoilerは、マルチエージェントシステム内のエージェントインタラクションをシミュレートして、対向サンプルを生成するフレームワークである。
M-スポイラーは、敵対的サンプルの最適化を積極的に支援するスタブボーン剤を導入した。
本研究は,マルチエージェントシステムにおける個々のエージェントの知識によって引き起こされるリスクを検証した。
論文 参考訳(メタデータ) (2025-09-20T01:54:20Z) - Kaleidoscopic Teaming in Multi Agent Simulations [75.47388708240042]
我々は,エージェントが行う複雑な行動,思考プロセス,行動の安全性リスクを評価する上で,既存のレッドチームや安全評価フレームワークは不十分であると主張している。
我々は,新しいコンテキスト内最適化手法を導入し,安全解析のためのより良いシナリオを生成する。
エージェントの安全性を測定するためのフレームワークとともに使用できる適切なメトリクスを提案する。
論文 参考訳(メタデータ) (2025-06-20T23:37:17Z) - Preventing Rogue Agents Improves Multi-Agent Collaboration [21.955058255432974]
本稿では,アクション予測中にエージェントを監視し,将来エラーが発生する可能性がある場合に介入することを提案する。
WhoDunitEnv、コード生成タスク、そしてリソース持続可能性のためのGovSim環境の実験は、我々のアプローチがパフォーマンスを大幅に向上させることを示している。
論文 参考訳(メタデータ) (2025-02-09T18:35:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。