論文の概要: Institutional Red-Teaming: Deployment Rules, Not Just Models, Causally Shape Multi-Agent AI Safety
- arxiv url: http://arxiv.org/abs/2607.07695v1
- Date: Wed, 08 Jul 2026 17:53:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 22:50:30.484999
- Title: Institutional Red-Teaming: Deployment Rules, Not Just Models, Causally Shape Multi-Agent AI Safety
- Title（参考訳）: 制度的な再チーム: デプロイルールはモデルではなく、多エージェントAIの安全性を因果的に形作る
- Abstract要約: マルチエージェントAIにおけるデプロイメントルールテストのための評価手法である,制度的リピーティングを導入する。
レッドチームでは、エージェント、目的、タスクの状態が固定され、1つのルールだけが変更され、その結果の集合的振る舞いの変化がそのルールに反映される。
IABench-CAは228の文脈,5つの標準規則,7つのモデル集団(33,924のゲーム)にまたがる帰属配置のベンチマークである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce institutional red-teaming, an evaluation methodology for testing deployment rules in multi-agent AI: hold the agents, objectives, and task state fixed, vary only one rule, and attribute the resulting change in collective behavior to that rule. We instantiate the methodology in IABench-CA, a consequence-allocation benchmark spanning 228 contexts, five canonical rules, and seven model populations (33,924 games), with a normative cooperative reference and auto-labelled reasoning traces. Three findings emerge. (1) Deployment rules causally alter collective safety: changing only the consequence rule moves mean fatality by 22 to 58 percentage points within every population. (2) There is no safe default, but the targeting hazard is universal: the safest rule, the least-safe rule, and even the direction of the incidence effect vary across populations, yet regressive identity-targeting is never decisively safest in any context for any population, eliminates the least-resourced agent in 30-87% of games everywhere, and is selection-unsafe relative to the cooperative reference for all seven populations. (3) Identity salience is the mechanism: a one-shot anonymization ablation on the most exploitation-prone population (gpt-5.1) shows that merely naming the loss bearer in the rule text drives targeted elimination from 22% to 81% at identical payoffs; under repeated play, anonymization only delays the targeting, as agents re-infer the hidden rule from observed eliminations. We package the methodology as a safety-case workflow that certifies a provisional rule region $Φ(c,P)$ per deployment context and population, with explicit residual risks and monitoring obligations.
- Abstract（参考訳）: エージェント,目的,タスク状態を固定し,ひとつのルールだけを変更し,その結果の集合行動の変化をそのルールに反映する,多エージェントAIにおけるデプロイメントルールのテストのための評価手法である,制度的リピーティングを導入する。
IABench-CAでは,228の文脈,5つの標準規則,7つのモデル集団(33,924のゲーム)にまたがる結果配分のベンチマークを行い,規範的協調参照と自動遅延推論のトレースを行った。
3つの発見がある。
1)展開規則は集団安全を因果的に変更し,結果規則の変更だけで死亡率が平均22～58ポイント上昇する。
2) 安全基準は存在しないが,目標とする危険は普遍的であり,最も安全なルール,最低限のルール,偶発的影響の方向も人口によって異なるが,回帰的アイデンティティターゲティングはいかなる状況においても決定的に安全ではない。
(3) アイデンティティ・サリエンス(アイデンティティ・サリエンス)とは、最も搾取率の高い集団に対する一発の匿名化アブレーション(gpt-5.1)は、ルールテキスト中のロスベアラーを単に命名するだけで、同一のペイオフで22%から81%まで目標の排除を駆動することを示している。
我々は,この方法論を,配置状況と人口ごとの暫定ルール領域を,明示的な残留リスクと監視義務で認証する安全ケースワークフローとしてパッケージ化する。
関連論文リスト
- EvoSafeHarness: Evolving Model- and Domain-Specific Harnesses for Securing Agents [74.54929751174289]
EvoSafeHarnessは、ターゲットドメイン内の凍結モデルのためのデプロイ可能なハーネスを合成する、安全固有の最適化フレームワークである。
これは平均攻撃成功率を3.3ポイントのユーティリティコストで45.6%から10.0%に下げる。
また、Agent-SafetyBenchでは、すべての犠牲者に対してベストスコアを獲得している。
論文 参考訳（メタデータ） (2026-09-05T05:56:41Z) - Grounded Normative Rule Generation with Structured Search [47.28595196084396]
基底ノルム規則合成(GNRS)として問題を定式化する。
GNRS-SearchはMarkov Chain Monte Carlo(MCMC)サンプリングを利用して、離散5スロットアンドオーグラフ(AOG)を最適化するフレームワークである。
GNRS-Benchは8つのシーンにまたがる116の制御目標にまたがるベンチマークであり、RealCharterBenchは53のリアルなポリシータスクに隠れたソース節で遷移を評価する。
論文 参考訳（メタデータ） (2026-08-23T05:43:42Z) - Harness-IF: Evaluating Instruction Following Across Instruction Surfaces in Coding Agents [29.96375986740068]
Harness-IFは、実行証拠から一度に1つの運用ルールをスコアする。
AP-Accは、不正なデフォルトに対してラベル付けされたルールのみをスコアする。
論文 参考訳（メタデータ） (2026-08-12T07:07:57Z) - RECTOR: Priority-Aware Rule-Based Reranking for Compliance-Aware Autonomous Driving Trajectory Selection [0.8363171780853939]
本稿は、テキストスクリプタ(Rule-Enforced Constrained Trajectory Orchestrator)について紹介する。
選択可能なプロキシとシーン条件の適用性メカニズムを通じて、タイアップされたルールブックに対して候補をスコアする。
決定論的な$varepsilon$-lexicographicルールで選択する。
論文 参考訳（メタデータ） (2026-05-24T14:17:00Z) - Federated Naive Bayes with Real Mixture of Gaussians and Institutional Governance Regularization for Network Intrusion Detection [0.0]
侵入検知のためのフェデレーション学習は、すべての参加機関が共有モデルに等しく貢献するという欠陥のある前提に基づいている。
実際には、成熟したセキュリティコントロールと低い脆弱性エクスポージャーを持つ金融機関は、弱いコントロールと高い脆弱性エクスポージャーを持つ政府機関と根本的に異なるデータを生成する。
ローカルモデルをモデルとして扱うことで、組織が標準的なリスク管理監査を通じて収集した情報を破棄する。
論文 参考訳（メタデータ） (2026-05-18T16:54:49Z) - TRUST: A Framework for Decentralized AI Service v.0.1 [47.384270414446604]
大規模推論モデル (LRM) とマルチエージェントシステム (MAS) は, 信頼性の高い検証を必要とする。
TRUST(Transparent, Robust, and Unified Services for Trustworthy AI)は,3つのイノベーションを備えた分散フレームワークである。
我々は、悪質な俳優が損失を被っている間、正直な監査人の利益を確実に確保する安全利益理論を証明する。
論文 参考訳（メタデータ） (2026-04-29T19:32:58Z) - Owner-Harm: A Missing Threat Model for AI Agent Safety [0.0]
既存のAI安全性ベンチマークは、一般的な犯罪被害に焦点を当てている。
本稿では,8つのカテゴリのエージェント動作がデプロイを損なう,正式な脅威モデルである Owner-Harm を提案する。
論文 参考訳（メタデータ） (2026-04-20T10:11:26Z) - Do Agent Rules Shape or Distort? Guardrails Beat Guidance in Coding Agents [9.989306175511238]
ルールはパフォーマンスを7-14ポイント向上させるが、ランダムなルールは専門家が作成したものと同じくらい役に立つ。
個々のルールは、主に独立して有害であるが、最大50のルールを分解することなく、集合的に有用である。
論文 参考訳（メタデータ） (2026-04-13T07:10:01Z) - A Benchmark for Evaluating Outcome-Driven Constraint Violations in Autonomous AI Agents [4.851169906977996]
40の異なるシナリオからなる新しいベンチマークを導入する。
各シナリオはマルチステップアクションを必要とするタスクを示し、エージェントのパフォーマンスは特定のキーパフォーマンス指標(KPI)に結び付けられている。
我々は、結果駆動の制約違反を1.3%から71.4%まで観察し、12モデルのうち9モデルが30%から50%の不正調整率を示した。
論文 参考訳（メタデータ） (2025-12-23T21:52:53Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳（メタデータ） (2025-12-09T06:52:21Z) - Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。
エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。
我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
論文 参考訳（メタデータ） (2024-09-26T21:00:45Z) - Uniformly Safe RL with Objective Suppression for Multi-Constraint Safety-Critical Applications [73.58451824894568]
広く採用されているCMDPモデルは予測のリスクを制約しており、長い尾の州で危険な行動を起こす余地がある。
安全クリティカルな領域では、そのような行動は破滅的な結果をもたらす可能性がある。
本稿では,目標を最大化するタスク報酬を適応的に抑制する新しい手法であるObjective Suppressionを提案する。
論文 参考訳（メタデータ） (2024-02-23T23:22:06Z) - Robust Allocations with Diversity Constraints [65.3799850959513]
エージェント値の積を最大化するナッシュ福祉規則は,多様性の制約が導入されたとき,一意にロバストな位置にあることを示す。
また, ナッシュ・ウェルズによる保証は, 広く研究されているアロケーション・ルールのクラスにおいて, ほぼ最適であることを示す。
論文 参考訳（メタデータ） (2021-09-30T11:09:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。