論文の概要: Stronger Judges Do Not See More: Deployment-Integrity Blindness in LLM Evaluation
- arxiv url: http://arxiv.org/abs/2610.21135v1
- Date: Thu, 15 Oct 2026 02:44:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.141204
- Title: Stronger Judges Do Not See More: Deployment-Integrity Blindness in LLM Evaluation
- Title（参考訳）: より強い裁判官はそれ以上は見ない - LLM評価におけるデプロイ-不変の盲点
- Abstract要約: LLM-agent評価では、振る舞いスコアが報告されるが、デプロイされたランタイムスタックの同一性は報告されていない。
評価出力を保存するアンペア配置は、出力のみの評価器を全て通過する。
DIB-Benchは、7,560のスコアの例で、このデプロイメント統合の盲点を測定するベンチマークです。
- 参考スコア（独自算出の注目度）: 9.642052213647128
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM-agent evaluation reports behavioral scores but leaves the identity of the deployed runtime stack unreported. A tampered deployment that preserves evaluated outputs passes every output-only evaluator. We introduce DIB-Bench, a benchmark that measures this deployment-integrity blindness across 7,560 scored examples, six tamper types, and an evaluator ladder from regex scorers through LLM judges to GPT-5-nano. Stronger evaluators accept more tampered outputs: mean acceptance rises from 88.6% (rule-based) to 94.1% (GPT-5-nano), and a trigger-conditional tamper invisible on the evaluation suite produces 48-100% harmful outputs, rising with model capability. A PAC-style bound shows that tampers with zero output shift are undetectable from outputs at any sample size; a manifest-hash identity channel detects them with zero samples. Behavioral fingerprinting identifies the model component above chance (76.7%) but covers one of six stack components. We also propose a graded deployment-identity descriptor for evaluation reports.
- Abstract（参考訳）: LLM-agent評価では、振る舞いスコアが報告されるが、デプロイされたランタイムスタックの同一性は報告されていない。
評価出力を保存するアンペア配置は、出力のみの評価器を全て通過する。
評価手法としてDIB-Benchを提案する。このベンチマークは7,560点検例,6種類のタンパータイプ,およびLLM審査員からGPT-5-nanoまで,レジェックススコアから評価器のラグを計測する。
より強い評価者はより改ざんされた出力を受け入れる:平均受容率は88.6%(ルールベース)から94.1%(GPT-5-nano)に上昇し、評価スイートに見えないトリガー条件付きタンパーは48-100%有害な出力を生成し、モデル能力で上昇する。
PACスタイルのバウンダは、出力シフトゼロのタンパーが任意のサンプルサイズで出力から検出できないことを示す。
行動指紋検査は、76.7%の確率でモデルコンポーネントを識別するが、6つのスタックコンポーネントのうちの1つをカバーする。
また,評価報告のための段階的展開同一性記述子を提案する。
関連論文リスト
- Specification-Based Testing of Large Language Models [3.4298729855744026]
LEST(LLM Evaluation through Specification-driven Testing)は、ブラックボックステストのための仕様として、文書化された安全性クレームを扱うフレームワークである。
LESTでは、各クレームがテストのプロンプトを判断し、Refuse-to-Complyトランジットがそれに対するエビデンスとしてカウントされるかどうかを判断する。
The system card of Claude Opus 4.8 and GPT-5.5 with 97 seed prompts from SORRY-Bench across Mental Health and Self-Harm, Harmful and Violent Content, and Fairness and Bias。
論文 参考訳（メタデータ） (2026-10-10T01:17:21Z) - Where the Numbers Come From: Auditing Evaluation in Provenance-Based Intrusion Detection [42.49426058823369]
証明に基づく侵入検知器のスコアを再現しても、そのアラームの出力やエンコーダが使用する情報についてそのスコアが何を言っているかは定かでない。
我々は、リリースした9つの実装を監査し、独自のコードを使用して4つの検出器を実行し、3つの測定効果を分離する。
論文 参考訳（メタデータ） (2026-09-27T13:01:02Z) - TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳（メタデータ） (2026-09-27T06:58:39Z) - OSWorld-Pro: Process-based Evaluation for Computer Use Agents [61.76739286011306]
2800以上のサブゴールを含む300以上のタスクセットであるOSWorld-Proを紹介します。
我々は、OSWorld-Proサブゴールの実現性を評価するために、堅牢な人間対応LDM-Judgesを使用します。
以上の結果から,OSWorld-Pro は最先端の LLM においても困難であることが明らかとなった。
論文 参考訳（メタデータ） (2026-09-21T16:55:24Z) - BenchShield: Formal Model-Backed Instrumentation for Reward Integrity in LLM-Agent Evaluation Infrastructure [47.61632934139226]
LMエージェントベンチマークは、ますますインタラクティブな評価基盤として機能する。
この対話性は、評価を報酬ハッキングに脆弱にする。
本稿では、報酬整合性のためのモデル支援インスツルメンテーション層であるBenchShieldについて述べる。
論文 参考訳（メタデータ） (2026-09-10T03:10:58Z) - Mapping CVEs to MITRE ATT&CK Techniques: A Curated Gold-Set Classifier and the Limits of LLM-Assisted Label Expansion [46.262619407930266]
我々は、専門家のMITRE Center for Threat-Informed Defense mappingsから1,207 CVEのキュレートされた金のデータセットにマルチラベル分類器をトレーニングする。
その結果得られたモデルは、ゼロショットの埋め込み類似性のベースラインと比較して、おおよそdoubles recall@5である。
次に,LLMによるラベリングが金のデータセットを拡張できるかどうかを検討する。
論文 参考訳（メタデータ） (2026-07-28T10:59:04Z) - Do Agent Benchmarks Measure Capability? Protocol Validity in the Age of Agentic AI [6.058290832294911]
エージェントベンチマークは、リポジトリの編集、Web研究、端末の使用、長期のインタラクションをますます評価している。
最近の報奨ベンチマークとシステムレポートは、エージェントが代わりに公開ソリューションを回復し、評価成果物を読み、ジェネレータ構造を推論し、フィードバックを操作し、不正なスコアリングパスの恩恵を受けることができることを示している。
我々は、プロトコルの有効性を定式化し、露出を特定し、エージェントがどのように使用したかを決定し、その結果のスコアが誤解を招くかどうかを評価するポストホック監査であるHackDetectを導入する。
論文 参考訳（メタデータ） (2026-07-24T14:55:19Z) - AuditRepairBench: A Paired-Execution Trace Corpus for Evaluator-Channel Ranking Instability in Agent Repair [21.974153439592317]
AuditBenchは576,000の登録細胞(96,000が実行)のペア実行トレースコーパスである
宣言された可観測性境界内で評価器-チャネル遮断ランキングの不安定を運用する。
80ケースのソースレベルのチャネルサージェリーサブセット上で、メカニズムアンカレートによる検証がサポートされている。
論文 参考訳（メタデータ） (2026-05-06T08:12:09Z) - Policy-Invisible Violations in LLM-Based Agents [10.660248467840821]
コンプライアンスがエンティティ属性、コンテキスト状態、あるいはエージェントの可視的コンテキストから欠落したセッション履歴に依存する場合。
PhantomPolicyは、8つの違反カテゴリにまたがるベンチマークで、バランスの取れた違反と安全管理のケースを示す。
本稿では,反ファクトグラフシミュレーションに基づく実施フレームワークであるSentinelを紹介する。
論文 参考訳（メタデータ） (2026-04-14T01:15:15Z) - Can Adversarial Code Comments Fool AI Security Reviewers -- Large-Scale Empirical Study of Comment-Based Attacks and Defenses Against LLM Code Analysis [0.0]
敵対的なコメントは、検出精度に小さな、統計的に重要でない効果をもたらす。
複雑な敵戦略は単純な操作的コメントに勝るものではない。
コメントストリッピングは、有用なコンテキストを削除することで、より弱いモデルの検出を減らす。
論文 参考訳（メタデータ） (2026-02-18T00:34:17Z) - Defending against Indirect Prompt Injection by Instruction Detection [109.30156975159561]
InstructDetectorは、LLMの動作状態を利用して潜在的なIPI攻撃を特定する、新しい検出ベースのアプローチである。
InstructDetectorは、ドメイン内設定で99.60%、ドメイン外設定で96.90%の検出精度を達成し、攻撃成功率をBIPIAベンチマークで0.03%に下げる。
論文 参考訳（メタデータ） (2025-05-08T13:04:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。