論文の概要: Beyond Accuracy: How Procedural Traces Shift the Decision Criterion of LLM Overseers

• arxiv url: http://arxiv.org/abs/2609.18204v1
• Date: Wed, 16 Sep 2026 06:37:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.674775
• Title: Beyond Accuracy: How Procedural Traces Shift the Decision Criterion of LLM Overseers
• Title（参考訳）: 手続き的トレースがLLM海外の意思決定基準をどう変えるか
• Abstract要約: 手続き的トレースは、監視上の決定を形成するガバナンスアーティファクトとして機能します。 不確定な証拠が常に見えるため、エラー検出は天井付近に留まる。 オプションラベルでは、人間の検証された理由コーディングによって、偽の警報の約60%が、証拠をそのオプションに結びつけることができないことを示唆している。
• 参考スコア（独自算出の注目度）: 6.840573448818894
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Organizations increasingly use oversight loops where one large language model (LLM) audits another's outputs alongside procedural traces of claimed steps. A common concern about such LLM-as-a-judge pipelines is that detailed traces make overseers gullible. Using signal detection theory, we audit five LLM overseers on 19 compliance tasks (4,551 analyzed judgments), varying only trace detail and evidence labeling. With disconfirming evidence always visible, error detection remains near ceiling. Instead, elaborate traces shift the decision criterion toward rejection, increasing false alarms in susceptible overseers. Without option labels, human-validated reason coding shows about 60% of false alarms cite an inability to tie evidence to its option. Labels eliminate this stated reason, yet residual rejection of correct work persists in those overseers and rises with trace detail. Procedural traces thus act as governance artifacts that shape oversight decisions. AI auditors should be evaluated by their decision criterion and false-alarm behavior, alongside accuracy.
• Abstract（参考訳）: 1つの大きな言語モデル(LLM)が、要求されるステップの手続き的トレースと並行して、別のアウトプットを監査する、監視ループの利用が増えている。 LLM-as-a-judgeパイプラインに関する一般的な懸念は、詳細なトレースが監督者を楽しませることである。 信号検出理論を用いて,19のコンプライアンスタスク(4,551件の分析結果)において,5つのLCM監督者を監査した。 不確定な証拠が常に見えるため、エラー検出は天井付近に留まる。 代わりに、精巧なトレースは、決定基準を拒絶にシフトさせ、感受性のある監督者の誤報を増大させる。 オプションラベルがなければ、人間の検証された理由コーディングは、偽の警報の約60%が、証拠をそのオプションに結びつけることができないことを示唆している。 ラベルは、この記述された理由を排除しますが、正しい作業の残留拒絶は、それらの監督者によって継続され、トレースの詳細とともに上昇します。 手続き的トレースは、監視上の決定を形成するガバナンスアーティファクトとして機能する。 AI監査者は、意思決定基準と偽アラーム行動によって、正確さとともに評価されるべきである。

関連論文リスト

• ContractEval: Query-Conditioned Execution Matching for Procedural Instruction Conformance [2.547425976804939]
  手続き的義務を明確にするための診断フレームワークであるConTRACTEVALを紹介する。 これは、手続き的な指示をクエリアクティブな義務として表現し、それらを応答や痕跡証拠と照合する。 ContractEvalはコンプライアンス保証ではない。最終回答の品質を暗黙にするのではなく、手続き順応を監査可能にする。
  論文  参考訳（メタデータ） (2026-09-08T21:21:16Z)
• Two Regimes of Chain-of-Thought Unfaithfulness: Behavioral Detection Fails Where Models Are Wrong [1.2744523252873352]
  ブラックボックス(行動)によるFaithCoT-Benchの人間のアノテーションに対する不誠実なCoTの検出。 答えの正しさはあらゆるレベルで問題を構成する。
  論文  参考訳（メタデータ） (2026-07-26T04:43:53Z)
• Bayesian control for coding agents [63.64172141184361]
  本稿では,コーディングエージェントのためのコスト依存型シーケンシャル仮説テストフレームワークを提案する。 ベイズ管制官は、正確性に対する信念を維持し、より多くの証拠を集め、候補者を精査し、検証し、停止するかを決定する。 本研究では, 信頼状態が, 不確実性定量化のためのトークン確率と生ツール・サクセスベースラインを上回り, 解釈可能な正当性スコアを得ることを示す。
  論文  参考訳（メタデータ） (2026-06-23T11:41:32Z)
• Decoding Hidden Deception in Reasoning LLMs: Activation Explainers for Deception Auditing [22.30404793367838]
  本稿では,騙し監査のためのアクティベーション説明器STATEWITNESSを紹介する。 個別のデコーダはターゲットモデルの隠れた状態を読み、自然言語クエリに答えるか、それらに関する構造化されたレポートを出力する。 本研究では,7つの偽装データセットを対象とする2つのLLMに対するSTATEWITNESSの評価を行った。
  論文  参考訳（メタデータ） (2026-06-16T03:41:29Z)
• REFLECT: Intervention-Supported Error Attribution for Silent Failures in LLM Agent Traces [10.98846592145896]
  大規模言語モデル(LLM)エージェントは、長いプラン・アンド・エグゼクティブトレースを通じて複雑なタスクを解決するが、完了したトレース内のエラーを見つける能力はまだ遅れている。 本稿では,このギャップを解消する手法として,候補となるエラーステップの診断,診断固有のパッチによるリプレイによるテスト,および検証結果のフリップを比較的証拠として用いて最終帰属を洗練させる手法を提案する。
  論文  参考訳（メタデータ） (2026-06-08T06:11:57Z)
• The Hidden Signal of Verifier Strictness: Controlling and Improving Step-Wise Verification via Selective Latent Steering [67.8271652641864]
  我々は,隠蔽状態の介入によって検証の厳密性を制御できるかどうかを検討した。 VerifySteerは、サンプルレベルのルーティングに潜時補正信号を使用し、段落境界に選択的に介入する。
  論文  参考訳（メタデータ） (2026-05-20T05:48:16Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
  大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。 このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。 我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
  論文  参考訳（メタデータ） (2026-01-21T06:07:43Z)
• Unsupervised Hallucination Detection by Inspecting Reasoning Processes [53.15199932086543]
  非教師付き幻覚検出は、ラベル付きデータに頼ることなく、大規模言語モデル(LLM)が生成する幻覚コンテンツを特定することを目的としている。 本稿では,非教師なし幻覚検出フレームワークIRISを提案する。 我々の手法は完全に教師なし、計算コストが低く、訓練データが少ない場合でもうまく機能し、リアルタイム検出に適しています。
  論文  参考訳（メタデータ） (2025-09-12T06:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。