論文の概要: Where Rules End and Judges Begin: Measuring the Judgment Boundary in Multi-Agent Systems Security

• arxiv url: http://arxiv.org/abs/2610.07657v1
• Date: Tue, 06 Oct 2026 02:52:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.775411
• Title: Where Rules End and Judges Begin: Measuring the Judgment Boundary in Multi-Agent Systems Security
• Title（参考訳）: ルールの終了と判決の行方 - マルチエージェントシステムセキュリティにおける判断境界の測定
• Abstract要約: 本研究は、防衛を5つの原則に分類し、DEFER1として実施する。 DEFER1は28のチェックのカスケードを含み、それをブロックし、残りを4人の審査員のパネルに参照する。 4つのドメインにわたる独立したテストでは、攻撃の成功率はおよそ30.0%から約3.0%に低下する。
• 参考スコア（独自算出の注目度）: 10.739501869487869
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: LLM-based multi-agent systems (MAS) engage tools, share memory, and delegate tasks, often encountering adversarial content. Current defenses for MAS are typically evaluated in isolation, focusing on one attack type at a time, which can lead to costly and hard-to-audit outcomes. This study organizes defenses into five principles, implementing them as DEFER1 (DEterministic-First Enforcement with Residual judgment), which includes a cascade of 28 checks that blocks what it can and refers the rest to a panel of four judges. In independent testing across four domains, attack success rates drop from about 30.0% to approximately 3.0%, with 78% of blocked attacks handled by deterministic checks. Only a quarter of proposals reach the judges in the security-operations domain, illustrating that the rules provide security for attacks violating clear policies, while judges manage those that only misrepresent intent. Both systems have weaknesses, such as a risk-score approval gate that inaccurately approves most attack proposals but few legitimate ones, highlighting the challenges in assessing threats accurately.
• Abstract（参考訳）: LLMベースのマルチエージェントシステム(MAS)はツールを取り込み、メモリを共有し、タスクを委譲する。 MASの現在の防御は、通常、個別に評価され、一度に1つの攻撃タイプに焦点を当てる。 本研究は, 防衛を5つの原則に分類し, DEFER1 (Deterministic-First Enforcement with Residual judgment) として実施する。 4つのドメインにわたる独立したテストでは、攻撃の成功率はおよそ30.0%から約3.0%に低下し、ブロックされた攻撃の78%は決定論的チェックによって処理される。 セキュリティ・オペレーション・ドメインの審査員は提案の4分の1に過ぎず、ルールは明確なポリシーに違反した攻撃に対してセキュリティを提供するが、審査員は意図を正しく表現していないものを管理する。 どちらのシステムにも弱点があり、例えばリスクスコアの承認ゲートは、ほとんどの攻撃提案を不正確な形で承認するが、正当なものはほとんどなく、脅威を正確に評価する際の課題を強調している。

関連論文リスト

• Who Judges the Judges? A Chinese Safety QA Benchmark for Evaluating LLM Responses and Safety Judges [32.82564087054653]
  C-SafeQAは中国の有害物質評価のための政策ベースベンチマークである。 538のベースクエリと8,877の逆クエリで構成される。 目標モデル安全性の評価と7人の自動安全判事の監査の両方をサポートする。
  論文  参考訳（メタデータ） (2026-09-01T13:15:01Z)
• SoK: When Safe Agents Fail Together: The Security of Multi Agent LLM Systems [28.27100643384546]
  マルチエージェントセキュリティシステム(MAS)は、情報、状態、決定、権限を主要境界を越えて移動させ、ローカルチェックが見逃す可能性のある障害を生成する。 我々はMASのセキュリティを,6つのインタラクションインターフェース,4つの敵位置,7つのシステムレベルリスク,8つの繰り返し攻撃経路を含む,実行中心の197の作業の解析を通じて体系化する。 我々は,A-I-Rフレームワークを導入し,敵位置,インタラクションインターフェース,およびシステムレベルリスクによる攻撃を組織化し,MAS全体でフラグメント化された攻撃機構を統一する。
  論文  参考訳（メタデータ） (2026-09-01T02:34:44Z)
• Cognitive Firewall: A Proactive, Zero-Trust, Multi-Gate Framework for LLM Safety [4.989841843916001]
  本稿では,プロアクティブなランタイム監視フレームワークであるCognitive Firewallについて述べる。 4つのジェイルブレイクベンチマークと良心的な安全テストセットの実験は、Cognitive Firewallがシングルターン、マルチターン、オーソリティベース、人為的な攻撃で攻撃の成功を大幅に減少させることを示している。
  論文  参考訳（メタデータ） (2026-07-01T06:36:29Z)
• On the Adversarial Robustness of Multimodal LLM Judges [49.80009278197918]
  審査員として機能する汎用MLLMの対角的堅牢性を評価するための最初のフレームワークであるRobustMLLMJudgeを紹介する。 RobustMLLMJudgeを用いて、異なるMLLM審査員は、スコアを膨らませる敵攻撃に対して非常に脆弱であることを明らかにした。 MGSIAは,MLLM審査員に対するより効果的かつ伝達可能な攻撃を可能にするために,これらの制約を回避した新しい手法である。
  論文  参考訳（メタデータ） (2026-06-14T05:30:20Z)
• TRUST: A Framework for Decentralized AI Service v.0.1 [47.384270414446604]
  大規模推論モデル (LRM) とマルチエージェントシステム (MAS) は, 信頼性の高い検証を必要とする。 TRUST(Transparent, Robust, and Unified Services for Trustworthy AI)は,3つのイノベーションを備えた分散フレームワークである。 我々は、悪質な俳優が損失を被っている間、正直な監査人の利益を確実に確保する安全利益理論を証明する。
  論文  参考訳（メタデータ） (2026-04-29T19:32:58Z)
• ADVERSA: Measuring Multi-Turn Guardrail Degradation and Judge Reliability in Large Language Models [0.0]
  大規模言語モデル(LLM)の安全性に対する多くの逆評価は、単一プロンプトを評価し、バイナリパス/フェイルの結果を報告する。 ADVERSAは、ガードレールのダイナミクスを丸ごとのコンプライアンストラジェクトリとして測定する自動化されたレッドチームフレームワークである。 トレーニングディストリビューションから展開された細調整された攻撃者に対して、アタッカードリフトを障害モードとして記述する。
  論文  参考訳（メタデータ） (2026-03-10T03:00:34Z)
• A Coin Flip for Safety: LLM Judges Fail to Reliably Measure Adversarial Robustness [57.510025257780306]
  既存の検証プロトコルは、レッドチーム固有の分散シフトを考慮できないことを示す。 我々は、より一貫して判断可能な振る舞いのベンチマークであるReliableBenchと、判断失敗を公開するために設計されたデータセットであるJiceStressTestを提案する。
  論文  参考訳（メタデータ） (2026-02-04T15:13:35Z)
• OmniSafeBench-MM: A Unified Benchmark and Toolbox for Multimodal Jailbreak Attack-Defense Evaluation [94.61617176929384]
  OmniSafeBench-MMはマルチモーダル・ジェイルブレイク攻撃防御評価のための総合ツールボックスである。 13の代表的な攻撃方法と15の防衛戦略、9つの主要なリスクドメインと50のきめ細かいカテゴリにまたがる多様なデータセットを統合している。 データ、方法論、評価をオープンソースで再現可能なプラットフォームに統合することで、OmniSafeBench-MMは将来の研究のための標準化された基盤を提供する。
  論文  参考訳（メタデータ） (2025-12-06T22:56:29Z)
• Know Thy Judge: On the Robustness Meta-Evaluation of LLM Safety Judges [3.168632659778101]
  我々は、一般的に見落とされがちな2つの重要な課題について強調する: (i) 迅速な感度や分布シフトなどの要因がパフォーマンスに影響を及ぼす野生における評価、(ii) 裁判官を標的とする敵攻撃。 モデル出力のスタイルなどの小さな変更は、同じデータセット上の偽陰性率で最大0.24のジャンプを引き起こす可能性がある一方で、モデル生成に対する敵対的な攻撃は、一部の裁判官を騙して、有害な世代を100%安全なものと誤分類する可能性があることを示す。
  論文  参考訳（メタデータ） (2025-03-06T14:24:12Z)
• Criticality and Safety Margins for Reinforcement Learning [53.10194953873209]
  我々は,定量化基盤真理とユーザにとっての明確な意義の両面から,批判的枠組みを定めようとしている。 エージェントがn連続的ランダム動作に対するポリシーから逸脱した場合の報酬の減少として真臨界を導入する。 我々はまた、真の臨界と統計的に単調な関係を持つ低オーバーヘッド計量であるプロキシ臨界の概念も導入する。
  論文  参考訳（メタデータ） (2024-09-26T21:00:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。