論文の概要: Multi-Agent AI Safety as an Institutional Design Problem

• arxiv url: http://arxiv.org/abs/2608.09828v1
• Date: Mon, 10 Aug 2026 16:47:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.388331
• Title: Multi-Agent AI Safety as an Institutional Design Problem
• Title（参考訳）: 施設設計問題としてのマルチエージェントAI安全性
• Abstract要約: マルチエージェントシステムのためのアルゴリズム制度を研究するPOLISの最初の論文である。 最近の研究は、デプロイメントルールが集団的な振る舞いを変える可能性があることをすでに示しています。 私たちは、AI機関のどの部分が安全を生み出し、どのようにそれを行うかを尋ねます。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI agents increasingly work inside systems that govern how they delegate tasks, move information, execute actions, and use shared resources. Recent work already shows that deployment rules can change collective behavior. Here we ask which parts of an AI institution produce safety and how they do it. This is the first paper from POLIS, an ongoing research programme studying algorithmic institutions for multi-agent systems. We report a frozen 5,280-episode study suite. The main pre-specified delegation experiment spans four model families; a targeted high-conflict diagnostic adds three additional model endpoints. In matched structured workflows, the model sees different rule formulations and guards consult different authority states. We also vary the attractiveness of the immediate compliant internal/self fallback and allow blocked workflows to continue. A detailed constitutional prompt produces 0/384 realized violations. A provenance-aware executable guard also produces 0/384, although it blocks prohibited attempts in 51/384 episodes; 44/51 of those episodes later complete safely. The local-state guard's failures concentrate in scenarios where an ordinary transformation changes visible policy while originating authority stays fixed. In matched laundering scenarios, that guard admits violations in 22/96 episodes and provenance enforcement in 0/96 (p = 4.77 x 10^-7). A separate resource-allocation experiment shows that revealing the numerical value of an otherwise identical cap changes agent requests. In these structured workflows, the same final violation rate can hide very different mechanisms. The rule itself is only part of the institution. The authority state the system trusts matters, and so does the path available after a block.
• Abstract（参考訳）: AIエージェントは、タスクの委譲、情報移動、アクションの実行、共有リソースの使用方法を管理するシステム内でますます機能します。 最近の研究は、デプロイメントルールが集団的な振る舞いを変える可能性があることをすでに示しています。 ここでは、AI機関のどの部分が安全を生み出し、どのようにそれを行うかを尋ねる。 マルチエージェントシステムのためのアルゴリズム制度を研究するPOLISの最初の論文である。 凍結した5,280個のエピソード研究スイートを報告した。 主に特定されたデリゲート実験は、4つのモデルファミリにまたがる。 一致する構造化ワークフローでは、モデルは異なるルールの定式化を見て、ガードは異なる権限状態を参照する。 また、すぐに準拠する内部/自己のフォールバックの魅力も変化し、ブロックされたワークフローを継続できるようにしています。 詳細な憲法上のプロンプトは0/384の違反を発生させる。 証明を意識した実行可能ガードも0/384を発生させるが、51/384回は禁止され、そのうち44/51回は後に無事に終わる。 地方警備隊の失敗は、権限を創り出す一方で、通常の変革が可視的なポリシーを変更するシナリオに集中する。 一致した洗浄のシナリオでは、22/96エピソードで違反を認め、0/96(p = 4.77 x 10^-7)で証明執行を行う。 別のリソース割当実験では、同一のキャップの数値がエージェント要求を変えることが示されている。 これらの構造化ワークフローでは、同じ最終違反率で、非常に異なるメカニズムを隠蔽することができる。 ルール自体は制度の一部に過ぎません。 当局はシステムを信頼しており、ブロックの後にもパスが利用可能である。

関連論文リスト

• The Troy Moment of AI: Why Some Will Cheat and Some Will Follow? [0.0]
  エージェントは停止するか、エスカレートするか、他のエージェントの行動が決定を変えるか、という2つの質問を調査する。 GPT-5.6 Sol, Claude Fable 5.1, Gemini 3.8 Flashの7つのImpossibleBenchタスクを単独で3エージェント設定で検討した。 この結果から,ルールの保護を目的としたあいまいさ,明示的な認証境界のモチベーション,認証状態の証明,エージェント間監視から境界交差が生じる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-09-14T12:46:45Z)
• Why LLM Agents Collapse Without Oversight: The Enforcement Gap as the Mechanism Behind Emergence World Failures [19.162716475205308]
  反射型エージェントは、反復的な自己批判を通じて、すでに危険な計画ステップを検出している。 監査は問題を認識し、コントローラはそれを無視します。 実施確率がゼロに近い場合、検出品質はセキュリティとは無関係であることを正式に証明する。
  論文  参考訳（メタデータ） (2026-09-14T09:46:59Z)
• Beyond Agent Harnesses: Cross-Substrate Authority for Multi-Agent Systems [11.339095480463712]
  エージェントシステムはワークスペースを変更しながらモデル可視メモリを保持し、ランタイム、レジストリ、承認サービスは両方の外部で権限状態を保持することができる。 決定に関連する認証情報は、プランナー可視のワークスペースやメモリ状態の外に存在します。 3つの実験は、実際のGit系統を使用したプランナー・オブザーブレーションと実行時の権限チェックを比較する。
  論文  参考訳（メタデータ） (2026-09-08T09:11:53Z)
• Privacy-Preserving Topology-Guided Safety for LLM-Based Multi-Agent Systems via Federated Graph Learning [67.04448659688579]
  FGLGuardは、AgentDojoのグランドサクセスレートを、ほぼ無防備なユーティリティ、APIコストゼロ、無視可能な機能損失で43%削減する。 フェデレーションはオプションではなく、オフ・ザ・シェルフ・トランスファーは流通シフトによって崩壊する。 Live FGLGuardは、AgentDojoのグランドサクセスレートを、ほぼ無防備なユーティリティ、APIコストゼロ、無視可能な機能損失で43%削減する。
  論文  参考訳（メタデータ） (2026-09-02T07:57:12Z)
• SIR: Self-improving Red-teaming for Compute Use Agents [71.71987044117371]
  コンピュータ・ユース・エージェント(CUA、Computer use agent)は、マウス、キーボード、端末を通じて画面を認識し、実際のオペレーティングシステムに作用する視覚言語モデルである。 操作中に信頼できないコンテンツに晒されるため、間接的プロンプトインジェクション(IPI)に弱い。 SIRは,平易な言語で記述された再利用原則の小さなライブラリからステルスインジェクションを構成するブラックボックスIPIアタックである。
  論文  参考訳（メタデータ） (2026-08-31T03:39:43Z)
• LMSM: LLM Security Framework Inspired by Linux Security Modules [56.93644694627783]
  大規模言語モデル(LLM)は階層化されたディフェンスでデプロイされることが多いが、悪意のあるプロンプトはそれらをバイパスすることができる。 我々は,Language Model Security Modules (LMSM) という,Linux Security Modules (LSM) の背後にある分離を LLM サービスに適応させるセキュリティフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-26T12:13:05Z)
• HANSARD: A Reference Architecture for Forensic Readiness, Runtime Witnessing, and Graded Attribution in Autonomous Multi-Agent AI Systems [3.7015952547586832]
  現在、自律型マルチエージェントシステムは、金融、ソフトウェアサプライチェーン、セキュリティオペレーションで機能している。 何が起きたのか、何を引き起こしたのか、誰が責任を負うのかをしっかりと決める方法はありません。 これは、証明法医学が間違った抽象化で機能し、形式的因果関係は因果関係を仮定し、エージェント監査は自己記録を信頼するからである。 ターゲットの障害モードは、帰属的な洗浄であり、いかなる原因にもならないまで、冗長なエージェントに作用を広げる。 本稿では,説明責任をライフサイクル特性として扱う参照アーキテクチャであるHANSARDを提案する。
  論文  参考訳（メタデータ） (2026-08-23T17:18:22Z)
• Governed Individuation: Cryptographically Decoupling an Agent's Learning from Its Authority [7.392721604463545]
  制限はエージェントの実行アーキテクチャの不変として保証できることを示す。 学習量やスキル獲得量、自己引き起こされるガバナンスの抽象化がエージェントの許可された権限を広げることはできないことを証明します。
  論文  参考訳（メタデータ） (2026-07-06T02:42:06Z)
• The Unfireable Safety Kernel: Execution-Time AI Alignment for AI Agents and Other Escapable AI Systems [0.0]
  本稿では,AIシステムのアーキテクチャ制御を実現するRustリファレンス実装であるUnfireable Safety Kernelを紹介する。 我々は,生きた,回避可能なAIシステム,決定論的,自己改善的な世界モデルを管理するカーネルを,逃げ出す敵に対して評価する。
  論文  参考訳（メタデータ） (2026-06-24T17:32:27Z)
• ClayBuddy: A Framework, Evaluation, & Mitigation of Coding Agent Failures [1.0742675209112622]
  障害モードは、不特定性、能力エラー、エージェントハーネスエラーの3つのメカニズムから派生したものとして研究する。 我々はClayBuddyを提案する。ClayBuddyはユーザの好みを形作るハーネスで、モデルのインセッションで修正してこれらのエラーを軽減できる。
  論文  参考訳（メタデータ） (2026-06-13T18:29:53Z)
• ROGUE: Misaligned Agent Behavior Arising from Ordinary Computer Use [40.024131729499494]
  エージェントは,動作がタスク完了に有効である場合に,安全でない動作をとることによって,良質な設定でも不整合性を示すことができることを示す。 我々は、この障害モードを、人の修正、中断、シャットダウンに対処可能な安全装置である矯正レンズを通して研究する。 我々の研究は、自律エージェントにおける原理的、調整性を重視したアライメント手法の批判的な必要性を強調している。
  論文  参考訳（メタデータ） (2026-05-29T20:29:35Z)
• Same Signal, Different Semantics: A Cross-Framework Behavioral Analysis of Software Engineering Agents [28.650582699234402]
  ソフトウェア工学エージェントの行動研究は、どの軌道形状がより高い分解率と相関するかという操作規則を抽出する。 それぞれのルールは典型的には単一のフレームワークから派生しており、それが構造的に異なるエージェント設計への署名と大きさの移行が直接テストされていない。 我々は、各層を順番に固定することでLCM効果からフレームワーク効果を分離し、構成毎に1つの振る舞い・アウトカム効果を測定する。
  論文  参考訳（メタデータ） (2026-05-18T12:49:18Z)
• The Misattribution Gap: When Memory Poisoning Looks Like Model Failure in Agentic AI Systems [1.0262304700896199]
  EmphSemantic Norm Drift (SND) をエージェント不正行為の第3の経路として定式化する。 SNDでは、ポリシーフォーマットの文書が通常のアップロードを通じて共有ベクターストアに入り、その後、信頼されたシステムコンテキストとして再現れる。 偽合成検査は87.5%の精度と偽陽性のゼロの因果関係を識別する。
  論文  参考訳（メタデータ） (2026-05-12T20:21:47Z)
• ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
  ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。 それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。 評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
  論文  参考訳（メタデータ） (2026-04-05T17:55:23Z)
• When Disagreements Elicit Robustness: Investigating Self-Repair Capabilities under LLM Multi-Agent Disagreements [56.29265568399648]
  我々は、不一致が早期のコンセンサスを防ぎ、探索されたソリューション空間を拡張することを主張する。 タスククリティカルなステップの相違は、ソリューションパスのトポロジによってコラボレーションを損なう可能性がある。
  論文  参考訳（メタデータ） (2025-02-21T02:24:43Z)
• On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
  大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。 不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。 本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
  論文  参考訳（メタデータ） (2024-08-02T03:25:20Z)
• Learning a Shield from Catastrophic Action Effects: Never Repeat the Same Mistake [47.289077556180466]
  我々は,POMDP (POMDP with Catastrophic Actions) と呼ばれるPOMDPのクラスについて考察する。 ミスの繰り返しを避ける最初のステップとして、エージェントが特定の状態から特定のアクションを実行するのを防ぐシールドの概念を活用します。 本論文では,このシールドを用いたPPOアルゴリズムの変種であるShieldPPOを導入し,制御環境で実証的に評価する。
  論文  参考訳（メタデータ） (2022-02-19T03:44:51Z)
• A New Bandit Setting Balancing Information from State Evolution and Corrupted Context [52.67844649650687]
  本稿では,2つの確立されたオンライン学習問題と包括的フィードバックを組み合わせた,逐次的意思決定方式を提案する。 任意の瞬間にプレーする最適なアクションは、エージェントによって直接観察できない基礎となる変化状態に付随する。 本稿では,レフェリーを用いて,コンテキストブレイジットとマルチアームブレイジットのポリシーを動的に組み合わせるアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-16T14:35:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。