論文の概要: Delegating Authorization to Misaligned Agents: Coalitional Alignment and Safe Control
- arxiv url: http://arxiv.org/abs/2609.15803v1
- Date: Mon, 14 Sep 2026 16:12:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.494089
- Title: Delegating Authorization to Misaligned Agents: Coalitional Alignment and Safe Control
- Title（参考訳）: ミスアライメントエージェントに権限を委譲する: 連帯アライメントと安全管理
- Abstract要約: 長期にわたるAIエージェントは、コントロール問題を生成します。それぞれのアクションが状態を変更することで、その後のアクションの軌道に影響を与えます。
レビューを他のAIエージェントに委譲することは、同じアライメントの問題を引き起こす。
我々は、$k$ disapprovalsを許容するしきい値ルールが、$k$レビュアーを削除した後、プリンシパルのユーティリティが非負の組合せとして記述できる場合に、正確に安全であることを示す。
- 参考スコア（独自算出の注目度）: 20.287915368315996
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-running AI agents create a control problem: each action they take changes the state, which in turn affects the trajectory of future actions. If the agent is not fully aligned, then guaranteeing safety requires approving consequential actions before allowing them to be executed. But requiring human approval at every step makes attention a bottleneck. Delegating review to other AI agents raises the same alignment problem: the reviewers may themselves be misaligned. We identify a condition on a reviewing panel that is weaker than individual alignment yet necessary and sufficient for a guarantee that the principal fares at least as well in expectation as under a designated baseline policy. Each reviewer agent reports whether an action proposal made by a proposer agent improves its own utility relative to the baseline. We show that a threshold rule tolerating $k$ disapprovals is safe exactly when, after any $k$ reviewers are removed, the principal's utility can be written as a nonnegative combination of the remaining reviewers' utilities, plus a term that is nonnegative on every feasible proposal. We call this property $k$-robust coalitional alignment. The characterization lifts to sequential control: in a discounted MDP with an arbitrary proposer agent, safety at every state is both necessary and sufficient for the induced policy to match or improve on the baseline. When reviewers vote strategically, full-panel coverage in reward-function space guarantees that every Nash equilibrium is safe under the unanimous approval rule; in contrast, more permissive thresholds can admit unsafe equilibria even when reviewers are individually aligned. Experiments with existing reviewer models show that collective review can remain sound without an aligned individual, even when some disapprovals are tolerated.
- Abstract（参考訳）: 長期にわたるAIエージェントは、コントロール問題を生成します。それぞれのアクションが状態を変更することで、その後のアクションの軌道に影響を与えます。
エージェントが完全に整合していない場合、安全を保証するには、実行前に適切なアクションを承認する必要がある。
しかし、すべてのステップで人間の承認を必要とすることは、注意をボトルネックにします。
レビューを他のAIエージェントに委譲することは、同じアライメントの問題を引き起こす。
我々は,個別のアライメントよりも弱いレビューパネル上の条件を同定し,プライマリが少なくとも所定の基準方針の下では期待通りに運賃を支払うことを保証するのに十分であることを示す。
各レビュアーエージェントは、提案者エージェントによってなされたアクション提案が、ベースラインに対して自身のユーティリティを改善するか否かを報告する。
我々は、$k$ disapprovalsを許容するしきい値ルールが、$k$レビュアーが削除された後、プリンシパルのユーティリティが残りのレビュアーのユーティリティの非負の組合せとして記述され、すべての実行可能な提案で非負の用語として書かれるときに、正確に安全であることを示す。
私たちはこの資産を$k$-robustの連立関係と呼ぶ。
キャラクタリゼーションは、任意のプロジェクタエージェントを持つディスカウントされたMDPにおいて、ベースラインに適合または改善する誘導ポリシーに、すべての状態における安全性が必要かつ十分である。
レビュアーが戦略的に投票した場合、報酬関数空間におけるフルパネルのカバレッジは、すべてのナッシュ均衡が全会一致の承認規則の下で安全であることを保証する。
既存のレビュアーモデルによる実験は、いくつかの不承認が許容された場合でも、一致した個人がいなくても、集団レビューが健全なままであることを示している。
関連論文リスト
- AgentOPSD: Recursive Self-Distillation for Agentic Reinforcement Learning [58.76655851910778]
AgentOPSDは、エージェント強化学習におけるターンレベルのクレジット割り当てのための、批判のない再帰的手法である。
ALFWorld, WebShop, Search-QA上のAgentOPSDを2つのスケールでQwen2.5モデルを用いて評価する(3B, 7B)。
論文 参考訳（メタデータ） (2026-08-06T13:00:59Z) - SafeCommit: Certifying When Memory-Grounded Agents May Safely Act [0.10742675209112619]
エージェント推論と外部実行の間のリスク制御層であるSafeCommitを紹介する。
コンフォメーションアクション証明書が保持されているすべての世界において、アクションが安全であることを示す場合にのみ、サイドエフェクトフルアクションを許可する。
依存性のない制御シミュレータは、安全ユーティリティのトレードオフを示し、報告されたすべての結果を1つのコマンドで再現する。
論文 参考訳（メタデータ） (2026-08-04T23:44:35Z) - Self-Authored Verification Is Unreliable in Heuristic Self-Improving Agents [5.91817208489443]
検証・受け入れ・デプロイのギャップについて検討する。
このギャップは、エージェントの自己承認された検証信号と封印されたデプロイメント評価との相違を指す。
シーリング型外因性受容ループ(SEAL)について紹介する。
論文 参考訳（メタデータ） (2026-07-27T11:45:14Z) - The Two Genie Game: Adoption and Welfare in Audit-Grounded AI Governance [0.0]
コミュニティの感情にどのように結びつくかという事前の分布が単調であることから,導入が好まれることを示す。
固定が、コミュニティの有効(情報的)サイズN_cに縛られることができる場合に導かれる。
コミュニティ台帳を持つ自己監査エージェントは,一般論として,コミュニティの害を防ぐには不十分であることを示す。
論文 参考訳（メタデータ） (2026-06-27T03:33:57Z) - On-Policy Self-Evolution via Failure Trajectories for Agentic Safety Alignment [54.30690671490447]
既存の安全アライメント信号は、主に応答レベルまたは政治外である。
FATEは、検証済みの失敗を専門家のデモンストレーションなしで修復管理に変換する。
FATEは攻撃成功率を33.5%、有害なコンプライアンスを82.6%削減し、外的軌道安全診断を6.5%改善する。
論文 参考訳（メタデータ） (2026-05-12T09:56:28Z) - The Endogeneity of Miscalibration: Impossibility and Escape in Scored Reporting [2.3698341511302443]
自律エージェントからの真実の報告を排除することは、スケーラブルなAI監視における中核的な問題である。
プリンシパルは、厳密に適切なスコアリングルールを使用してエージェントのレポートをスコアリングするが、エージェントはまた、非正確チャンネルを通じてレポートの恩恵を受ける。
我々の主な成果は内在性であり、プリンシパルの最適監視は必ずしもスクリーンタイプに非ファイン承認関数を使用する。
論文 参考訳（メタデータ） (2026-05-08T12:42:28Z) - Governing What You Cannot Observe: Adaptive Runtime Governance for Autonomous AI Agents [0.0]
自律的なAIエージェントは、完全に認証されたままで、振る舞いのドリフト、敵の適応、決定パターンのシフトによって、コードの変更なしに、安全が保たれる。
エージェントの管理は、未観測のリスクに対する限界を見積もることを減らす。
textbfRiskGateはこのフレームワークを、専用の統計推定器(KL分散、セグメント-vs-rest $z$-tests、シーケンシャルパターンマッチング)、フェイルセーフなモノトニックパイプライン、クローズドループオートパイロットでインスタンス化する。
論文 参考訳（メタデータ） (2026-04-27T16:46:15Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳（メタデータ） (2026-04-21T15:05:58Z) - Preventing the Collapse of Peer Review Requires Verification-First AI [49.995126139461085]
我々は、真理結合、すなわち、過度に科学的真理をトラックする場所のスコアの厳密さを提案する。
プロキシ・ソブリン評価に向けた相転移を駆動する2つの力の形式化を行う。
論文 参考訳（メタデータ） (2026-01-23T17:17:32Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳（メタデータ） (2025-12-22T16:34:21Z) - Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。
エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。
我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
論文 参考訳（メタデータ） (2024-09-26T21:00:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。