論文の概要: Auditing Failure Attribution: Label Predictability and Judge Behavior

• arxiv url: http://arxiv.org/abs/2610.17747v1
• Date: Tue, 13 Oct 2026 05:26:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.527759
• Title: Auditing Failure Attribution: Label Predictability and Judge Behavior
• Title（参考訳）: 失敗の帰属を聴く:ラベル予測可能性と判断行動
• Abstract要約: キューの使用からチェックを分離する4つのテストを提案する。 3つのベンチマークでは、単純な予測器がGPT-4.1にマッチまたは打ち勝つ。 フェール・アトリビューション・ベンチマークを開発する際には、これらのテストを報告することをお勧めします。
• 参考スコア（独自算出の注目度）: 34.40964032907198
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Failure-attribution benchmarks ask an LLM judge which step or agent caused a failure. A high score should mean the judge checked the faulty step against the run (a cross-step check). However, spurious signals (surface cues) that predict the annotation can produce a high score. In this paper, we propose four tests to separate checking from cue use. Input restriction asks whether partial input predicts the annotation. Cue following checks whether moved cues change answers. Residual accuracy scores judges where cue-only predictors fail. Aggregation asks whether the failure mix or metric changes rankings. Real observations motivate these tests: on three benchmarks, simple predictors match or beat GPT-4.1. In two Who&When Pro systems, a classifier reading one step's reasoning finds 95-100% of faulty steps, motivating input restriction. In one of them, error injection leaves no reasoning after the faulty step; judges fine-tuned on its labels beat GPT-4.1 by 41 points. Adding task-related reasoning after that step moves this cue: fine-tuned judges lose 31-99 points, but zero-shot judges lose at most 9, motivating cue following. On Aegis, blaming every agent matches GPT-4.1 on micro-F1 but trails by 19 points in exact-set accuracy, motivating aggregation. We recommend reporting these tests when developing failure-attribution benchmarks.
• Abstract（参考訳）: フェール・アトリビューション・ベンチマークは、LCM判事に、どのステップまたはエージェントがフェールを発生させたかを尋ねる。 高いスコアは、裁判官がランに対して故障したステップ(クロスステップチェック)をチェックすることを意味するべきです。 しかし、アノテーションを予測する刺激的な信号(表面的手がかり)は高いスコアを得られる。 本稿では,キューの使用からチェックを分離するための4つのテストを提案する。 入力制限は、部分的な入力がアノテーションを予測するかどうかを問う。 後続のキューは、移動したキューが答えを変えるかどうかをチェックする。 残留精度はキューのみ予測器の故障箇所を判定する。 アグリゲーションは、障害が混在するか、メトリクスがランクを変えるかを尋ねる。 3つのベンチマークでは、単純な予測器がGPT-4.1と一致または打ち勝つ。 2つのWho&When Proシステムにおいて、あるステップの推論を読み取る分類器は、入力制限を動機付け、95%から100%の障害ステップを見つける。 そのうちの1つでは、エラーインジェクションは故障後の推論を残さず、ラベルで微調整された判断はGPT-4.1を41ポイント上回った。 微調整の審査員は31-99ポイントを失うが、ゼロショットの審査員は9ポイントで敗れる。 Aegisでは、すべてのエージェントがmicro-F1上でGPT-4.1と一致するが、正確なセットの正確さで19ポイント追随し、アグリゲーションを動機付けている。 フェール・アトリビューション・ベンチマークを開発する際には、これらのテストを報告することをお勧めします。

関連論文リスト

• Beyond Answer Voting: Fine-Grained Correction of LLM Reasoning through Graph Alignment across Sampled Traces [54.59897876520507]
  DDRGは、推論トレースの凍結バンクからの選択的修正のためのフレームワークである。 DDRGは、ソースグラウンドのクレームグラフを構築し、ローカライズされたコンフリクトを応答盲検者に送信する。 実験の結果,ネイティブゼロショットDDRGは8.65ポイントと15.83ポイントの直接応答よりもマクロ平均精度を向上させることがわかった。
  論文  参考訳（メタデータ） (2026-10-13T15:58:02Z)
• Executable Prefix Values for Locating Agent Failures [6.848991830307162]
  我々は47と60の軌道の曲線を構築し、トラバース・ルーリックの下で4人のフロンティア判事によってラベル付けされた全てのステップを探索した。 ラベルがコントローラに必要なものをマークしていないことが分かりました。 ラベルの66%では、エージェントの成功確率はラベル付きステップで低下しない。
  論文  参考訳（メタデータ） (2026-10-13T03:00:35Z)
• TestJack: Should you trust the results in coding benchmarks? Agentic Coding Benchmarks Auditing via Evaluator Evolution [56.4111102268819]
  大規模言語モデル(LLM)エージェントは、ソフトウェア工学を急速に再構築している。 しかし、既存のベンチマークのほとんどすべてが、同じ数十年前の基準に依存している。 固定テストを超えてパッチを評価するスケーラブルなフレームワークであるTestJackを紹介します。
  論文  参考訳（メタデータ） (2026-10-07T07:58:04Z)
• Frozen Judges, Moving Agents: Version-Dependent LLM-Judge Error and the Limits of Judge-Assisted Agent Evaluation [7.504639516424482]
  言語モデル審査員はエージェントのアップグレードを前任者と比較するが、固定された審査員はバージョンに依存した誤りを犯すことがある。 公開コーディングエージェント35件、カスタマーサービスエージェント2件、専門家ラベル付きエージェントRewardBenchトラジェクトリ1,106件を分析した。
  論文  参考訳（メタデータ） (2026-09-28T03:10:18Z)
• Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
  LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。 最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。 本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
  論文  参考訳（メタデータ） (2026-09-02T10:30:05Z)
• LLM-as-a-Judge Is Not an Oracle: Why Self-Improving Agents Need Deterministic Guardrails [0.0]
  自己改善エージェントパイプラインは、その中心に問題がある。 評価信号は、判定バイアス、ハーネスとメートル法故障、地道エラー、報酬ハッキングの11のクラスで失敗した。 ProCTORは、ステートフルオーケストレータがすべてのツールアクセスを保持し、ステートレスサブエージェントが障害を診断し、それらが適用できないドラフト突然変異を診断する、教師と学生のループである。
  論文  参考訳（メタデータ） (2026-09-02T07:54:23Z)
• Commit-first LLM judging inherits the judge's own errors [0.0]
  LLMジャッジは、他のシステムの出力をスコアするモデルであり、彼らがスコアするシステムによってゲームをすることができる。 裁判官は最初にタスクを解決し、その答えにコミットし、2つが一致した場合のみ候補者を受け入れる。 これをコミットファースト判断と呼び、出荷されたソフトウェアがそれを実装しているかどうか、そのコストについて尋ねます。
  論文  参考訳（メタデータ） (2026-08-31T12:14:14Z)
• FineVerify: Scaling Test-Time Compute with Fine-Grained Self-Verification for Agentic Search [88.16262636915975]
  FineVerifyはエージェント検索のためのきめ細かい自己検証フレームワークである。 各質問をチェック可能なサブクエストに分解し、サンプル候補を検証し、最も高い集計スコアの候補を選択する。 FineVerifyは、標準のスケーリングベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-30T10:21:20Z)
• Calibrate, Don't Curate: Label-Efficient Estimation from Noisy LLM Judges [3.974554103907186]
  ラベル付きキャリブレーションデータを用いたマルチジャッジ評価では、弱い判断を精度だけで破棄しないことが示されている。 本稿では, 適切なスコアリングルール下での最適校正リスクが, 付加的な判定信号が利用可能になった場合に増大しないことを示すオラクル分析による逆転について説明する。
  論文  参考訳（メタデータ） (2026-05-10T18:49:58Z)
• Large Language Models are not Fair Evaluators [60.27164804083752]
  候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。 この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。 この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T07:41:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。