論文の概要: VACS: Value-Aligned Compositional Shielding for Multi-Agent Reasoning
- arxiv url: http://arxiv.org/abs/2609.26135v1
- Date: Fri, 07 Aug 2026 23:20:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.886603
- Title: VACS: Value-Aligned Compositional Shielding for Multi-Agent Reasoning
- Title（参考訳）: VACS:マルチエージェント推論のための値調整型合成シールド
- Abstract要約: ハイテイク領域におけるマルチエージェント推論システムは正確かつ安全でなければならない。
既存の方法は、行動から各エージェントの暗黙の値の原則的推論を共同で提供するものではない。
VacS(Value-Aligned Compositional Shielding)は,3つすべてに対処する4層フレームワークである。
- 参考スコア（独自算出の注目度）: 4.0604823050005345
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multi-agent reasoning systems in high-stakes domains must be both accurate and safe, yet agents often follow heterogeneous value priorities (e.g., rigor, conciseness, safety), causing conflicting recommendations. Existing methods do not jointly provide: (i) principled inference of each agent's implicit values from behavior, (ii) compositional formal safety guarantees without full online communication, and (iii) value-aware conflict resolution with faithful explanations. We present VACS (Value-Aligned Compositional Shielding), a four-layer framework addressing all three. Layer 1 learns value-dimension rewards from pairwise preferences using Bradley-Terry modeling and infers per-agent value weights via deep MaxEnt IRL. Layer 2 encodes value constraints in a Lean-inspired DSL and synthesizes compositional assume-guarantee shields for runtime safety. Layer 3 resolves disagreement through nucleolus-based credit allocation and Hamiltonian consensus optimization under long-term value constraints. Layer 4 extracts a critical reasoning path from co-state sensitivities and generates formally grounded natural-language explanations. Our contribution is primarily a unified systems design with formalized interfaces and operational guarantees at the verifier-constrained decision level, rather than a complete end-to-end formal proof of all language-model internals. In controlled proof-of-concept evaluations with role-conditioned agent panels on NEJM-AI QA, MathInstruct-Subset, and a cybersecurity incident-response benchmark (CyberSec-Eval), VACS outperforms strong baselines in accuracy (85.4%, 95.0%, and 90.0%) while reducing logical inconsistency rates to near zero.
- Abstract（参考訳）: 高利得領域におけるマルチエージェント推論システムは正確かつ安全になければならないが、エージェントは不均一な価値優先順位(例えば、厳密性、簡潔性、安全性)に従うことが多く、矛盾するレコメンデーションを引き起こす。
既存の方法は共同で提供しない。
一 行動から各代理人の暗黙の価値観を原則的に推測すること。
二 完全オンライン通信のない構成的形式的安全保証
三 誠実な説明による価値認識紛争解決
VACS(Value-Aligned Compositional Shielding)は,3つすべてに対処する4層フレームワークである。
レイヤ1はBradley-Terryモデルを用いてペアの選好から値次元の報酬を学び、深いMaxEnt IRLを介してエージェントごとの価値重みを推測する。
レイヤ2はリーンにインスパイアされたDSLで値制約をエンコードし、実行時の安全性のために構成的な仮定保証シールドを合成します。
層3は、核子に基づくクレジットアロケーションと長期値制約下でのハミルトンのコンセンサス最適化を通じて不一致を解消する。
レイヤー4は、共状態感性から批判的推論経路を抽出し、正式に接地された自然言語の説明を生成する。
我々の貢献は主に、全ての言語モデル内部の完全なエンドツーエンドの形式証明ではなく、形式化されたインターフェースと検証制約のある決定レベルでの運用保証を備えた統一されたシステム設計である。
NEJM-AI QA、MathInstruct-Subset、サイバーセキュリティインシデント-レスポンスベンチマーク(CyberSec-Eval)のロールコンディショニングされたエージェントパネルによる概念実証評価では、VACSは論理的不整合率をほぼゼロに抑えながら、高いベースライン(85.4%、95.0%、90.0%)を精度で上回っている。
関連論文リスト
- EvoSafeHarness: Evolving Model- and Domain-Specific Harnesses for Securing Agents [74.54929751174289]
EvoSafeHarnessは、ターゲットドメイン内の凍結モデルのためのデプロイ可能なハーネスを合成する、安全固有の最適化フレームワークである。
これは平均攻撃成功率を3.3ポイントのユーティリティコストで45.6%から10.0%に下げる。
また、Agent-SafetyBenchでは、すべての犠牲者に対してベストスコアを獲得している。
論文 参考訳（メタデータ） (2026-09-05T05:56:41Z) - Formal Verification of Learned Multi-Agent Communication Policies via Decision Tree Distillation [2.5782420501870296]
多エージェント強化学習により、エージェントは創発的コミュニケーションを通じて協調戦略を開発することができる。
しかし、ニューラルポリシーは、安全クリティカルなロボット展開に必要な正式な安全保証を欠いている。
本稿では,学習したマルチエージェント通信ポリシーの安全性検証のための,最初のエンドツーエンドフレームワークを提案する。
論文 参考訳（メタデータ） (2026-06-17T22:22:28Z) - Hybrid Robustness Verification for Spatio-Temporal Neural Networks [19.026662893450425]
既存の検証方法は、過度に保守的な近似や不正な計算コストに依存している。
実際には、対向摂動は、低次元、意味論的に意味のある部分空間に制約された、構造化された空間的および時間的相関を示す。
動作認識(UCF-101)、自律運転(Udacity)、医用画像(MedMNIST)の用途を対象として、3次元CNNによる映像入力のロバスト性検証を行う。
論文 参考訳（メタデータ） (2026-06-08T17:06:51Z) - Safe Bilevel Delegation (SBD): A Formal Framework for Runtime Delegation Safety in Multi-Agent Systems [4.161562398794914]
本稿では,階層型マルチエージェントシステムにおけるランタイムデリゲート安全のための公式なフレームワークを提案する。
医療用AI(MIMIC-III)、金融リスク管理(SとP500)、教育エージェント監督(ASSISTments)の3つの高レベル領域で安全な二段階デリゲーション(SBD)をインスタンス化する。
論文 参考訳（メタデータ） (2026-04-30T03:15:05Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - SaFeR-VLM: Toward Safety-aware Fine-grained Reasoning in Multimodal Models [66.71948519280669]
MLRM(Multimodal Large Reasoning Models)は、クロスモーダルな推論を示すが、しばしば敵のプロンプトによる安全性のリスクを増幅する。
既存の防御は主に出力レベルで動作し、推論プロセスを制約せず、モデルは暗黙のリスクに置かれる。
4つのコンポーネントを統合し,表面レベルのフィルタリングを超える動的かつ解釈可能な安全性決定をサポートするSaFeR-VLMを提案する。
論文 参考訳（メタデータ） (2025-10-08T10:39:12Z) - Certifiable Safe RLHF: Fixed-Penalty Constraint Optimization for Safer Language Models [7.422627253922975]
我々は,大規模コーパスでトレーニングされたコストモデルであるCertifiable Safe-RLHFを導入し,セマンティックグラウンドの安全性スコアを割り当てる。
適切にスケールされたペナルティにより、二重変数更新の必要性を排除し、安全制約の実現性を保証することができる。
経験的評価により、CS-RLHFは、名目や脱獄のプロンプトに対して、最先端のモデル応答よりも5倍効率が高いことが示されている。
論文 参考訳（メタデータ） (2025-10-03T21:24:41Z) - Core Safety Values for Provably Corrigible Agents [2.6451153531057985]
我々は,複数段階の部分的に観察された環境において,検証可能な保証を付与し,適応性のための最初の実装可能なフレームワークを紹介した。
私たちのフレームワークは、単一の報酬を5つの*構造的に分離された*ユーティリティヘッドに置き換えます。
敵がエージェントを修正できるオープンエンド設定では、任意のポストハックエージェントが調整性に反するかどうかを判断することは不可能である。
論文 参考訳（メタデータ） (2025-07-28T16:19:25Z) - ASSERT: Automated Safety Scenario Red Teaming for Evaluating the
Robustness of Large Language Models [65.79770974145983]
ASSERT、Automated Safety Scenario Red Teamingは、セマンティックなアグリゲーション、ターゲットブートストラップ、敵の知識注入という3つの方法で構成されている。
このプロンプトを4つの安全領域に分割し、ドメインがモデルの性能にどのように影響するかを詳細に分析する。
統計的に有意な性能差は, 意味的関連シナリオにおける絶対分類精度が最大11%, ゼロショット逆数設定では最大19%の絶対誤差率であることがわかった。
論文 参考訳（メタデータ） (2023-10-14T17:10:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。