論文の概要: The Helpful Agent Problem: When Emergent Cooperation Among LLM Agents Bypasses Intended Workflows

• arxiv url: http://arxiv.org/abs/2610.31985v1
• Date: Thu, 22 Oct 2026 22:55:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.308729
• Title: The Helpful Agent Problem: When Emergent Cooperation Among LLM Agents Bypasses Intended Workflows
• Title（参考訳）: LLMエージェント間の創発的協調がワークフローをバイパスする「ヘルプフルエージェント問題」
• Abstract要約: 我々は,個別の目的を追求する良心的エージェントが,意図しない方法で自発的に協力できることを示す。 エージェントは、しばしば仲間の所有するリソースに依存し、クロスヘルパフルな変更は通常、レビュアーによって媒介される。 これらの結果から,共同作業自体がシステムレベルの安全を守るための経路を創り出すことができるという,マルチエージェントの安全性の課題が明らかとなった。
• 参考スコア（独自算出の注目度）: 8.088948908598717
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents are increasingly deployed in collaborative settings where they pursue separate tasks while sharing resources and operating under review or oversight processes. Such settings create safety risks not only when agents are malicious, but also when they are simply trying to help. Prior work has largely studied adversarial or explicitly collusive behavior; we show that benign agents pursuing separate objectives can spontaneously cooperate in ways that bypass intended workflows. We call this the \emph{helpful agent problem}. We study long-horizon shared-resource environments in which agents sometimes depend on resources owned by their peers and cross-owner changes are normally mediated by a reviewer. When review becomes unavailable, agents begin making changes on one another's behalf despite having no shared reward or explicit incentive to cooperate. Crucially, these actions remain within each agent's local permissions while circumventing the system's intended oversight structure. We introduce \textsc{FavorBench}, a controlled benchmark with measurable downstream side effects, and adapt \textsc{CooperBench} to test the phenomenon in realistic repositories. Across two benchmarks and four models, we find that out-of-workflow favors emerge frequently. Further, in \textsc{FavorBench}, favors from at least three models cause significant harm to parties outside the interaction. These results reveal a distinct multi-agent safety challenge: cooperation itself can create pathways around system-level safeguards.
• Abstract（参考訳）: LLMエージェントは、リソースを共有しながら別々のタスクを追求し、レビューや監視プロセスの下で運用する、協調的な環境にますます配置される。 このような設定は、エージェントが悪意のある場合に限らず、単に助けようとしているときにも安全リスクを発生させる。 先行研究は、主に敵対的あるいは明確な協調行動を研究しており、異なる目的を追求する良心的なエージェントが、意図されたワークフローをバイパスする方法で自発的に協力できることが示されている。 これを \emph{helpful agent problem} と呼ぶ。 エージェントは、しばしば仲間が所有するリソースに依存し、オーナー間の変更は通常、レビュアーが仲介する、長期の共有リソース環境について検討する。 レビューが利用できなくなると、エージェントは、共通の報酬や協力への明示的なインセンティブを持っていないにもかかわらず、お互いのために変更を始めます。 重要なことに、これらの行動は各エージェントのローカルなパーミッション内に留まり、システムの意図した監視構造を回避している。 本稿では、下流側効果の測定が可能な制御ベンチマークである \textsc{FavorBench} を紹介し、実際のリポジトリでこの現象をテストするために \textsc{CooperBench} を適用する。 2つのベンチマークと4つのモデルで、アウト・オブ・ワークフローが頻繁に現れることが分かりました。 さらに、 \textsc{FavorBench} では、少なくとも3つのモデルからの好意が相互作用の外のパーティーに重大な害をもたらす。 これらの結果から,共同作業自体がシステムレベルの安全を守るための経路を創り出すことができるという,マルチエージェントの安全性の課題が明らかとなった。

関連論文リスト

• Scaling Multi-Agent Intelligence with Substrate-Centric Coordination [81.07621998832299]
  既存の大規模言語モデル(LLM)ベースのマルチエージェントシステムは、スケーラビリティが低いことが示されている。 エージェントが3つの操作を通じてリンクされたメッセージの共有データストアと対話するScaleMASを構築します。 4つのエージェントタスクにわたって、ScaleMASはエージェント中心およびブラックボードスタイルのベースラインを低い推論計算で上回る。
  論文  参考訳（メタデータ） (2026-10-12T03:37:39Z)
• Emergent Collusion in Long-Horizon LLM Agent Interaction [54.47975581249992]
  長距離マルチエージェント環境における衝突の発生について検討した。 検証プロトコルに違反するだけで高い報酬が達成できる現実的な制約を導入する。 衝突は10モデルにわたる軌道の94%で発生し、同じファミリー内のより有能なモデルがそれより早く到達する。
  論文  参考訳（メタデータ） (2026-09-21T17:52:48Z)
• The Agentic Company OS: Substrate Inversion for Sustained Enterprise Agent Deployment [1.2744523252873352]
  我々は、障害モードが共通のアーキテクチャのルーツであると主張する。 本論では, 持続的作業にエージェントを配置する企業は, 認知基盤を再構築するべきであることを示唆する。
  論文  参考訳（メタデータ） (2026-09-11T09:48:43Z)
• A Sober Look at Agentic Misalignment in Automated Workflows [39.62671225833463]
  マルチエージェントシステム(MAS)における創発的ミスアライメントのクラスについて検討する。 エージェントエビデンス属性(AEA)は、文脈特異的な証拠を用いてエージェント後部を改善する新しいアライメントパラダイムである。
  論文  参考訳（メタデータ） (2026-05-22T20:40:20Z)
• DIG to Heal: Scaling General-purpose Agent Collaboration via Explainable Dynamic Decision Paths [29.11412449913759]
  本研究では,汎用大規模言語モデル (LLM) エージェントで構成されるマルチエージェントシステムについて検討する。 エージェントアクティベーションとインタラクションの因果ネットワークとして,創発的コラボレーションを捉えた動的インタラクショングラフ(DIG)を導入する。
  論文  参考訳（メタデータ） (2026-02-27T20:59:37Z)
• The Why Behind the Action: Unveiling Internal Drivers via Agentic Attribution [63.61358761489141]
  LLM(Large Language Model)ベースのエージェントは、カスタマーサービス、Webナビゲーション、ソフトウェアエンジニアリングといった現実世界のアプリケーションで広く使われている。 本稿では,タスク結果に関係なく,エージェントの動作を駆動する内部要因を識別する,テキスト汎用エージェント属性のための新しいフレームワークを提案する。 標準ツールの使用やメモリ誘起バイアスのような微妙な信頼性リスクなど、さまざまなエージェントシナリオでフレームワークを検証する。
  論文  参考訳（メタデータ） (2026-01-21T15:22:21Z)
• When Disagreements Elicit Robustness: Investigating Self-Repair Capabilities under LLM Multi-Agent Disagreements [56.29265568399648]
  我々は、不一致が早期のコンセンサスを防ぎ、探索されたソリューション空間を拡張することを主張する。 タスククリティカルなステップの相違は、ソリューションパスのトポロジによってコラボレーションを損なう可能性がある。
  論文  参考訳（メタデータ） (2025-02-21T02:24:43Z)
• Preventing Rogue Agents Improves Multi-Agent Collaboration [21.955058255432974]
  本稿では,アクション予測中にエージェントを監視し,将来エラーが発生する可能性がある場合に介入することを提案する。 WhoDunitEnv、コード生成タスク、そしてリソース持続可能性のためのGovSim環境の実験は、我々のアプローチがパフォーマンスを大幅に向上させることを示している。
  論文  参考訳（メタデータ） (2025-02-09T18:35:08Z)
• On the Use and Misuse of Absorbing States in Multi-agent Reinforcement Learning [55.95253619768565]
  現在のMARLアルゴリズムは、実験を通してグループ内のエージェントの数が固定されていると仮定している。 多くの実践的な問題において、エージェントはチームメイトの前に終了する可能性がある。 本稿では,吸収状態を持つ完全連結層ではなく,注意を用いた既存の最先端MARLアルゴリズムのアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-11-10T23:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。