論文の概要: Clean Scores, Buried Evidence, and Confident Wrong: A Receipt-Based Audit of Frontier Agentic QA

• arxiv url: http://arxiv.org/abs/2609.15319v1
• Date: Mon, 14 Sep 2026 10:11:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.260184
• Title: Clean Scores, Buried Evidence, and Confident Wrong: A Receipt-Based Audit of Frontier Agentic QA
• Title（参考訳）: クリーンスコア, 埋蔵証拠, 信頼の誤り:フロンティアエージェントQAの試聴
• Abstract要約: 埋め込み条件に証拠を移動させることで精度が低下し、強制宣言が増加し、ツールコールが増加し、正解当たりのコストが増加した。 信頼性とベンチマークのキャリブレーションは、誤った回答を完全には捉えなかった。 エージェント評価には、クレームレベルのレシート(ステートメントレベルの証明、回答レベルのスコアではない)、条件対応スコア、人間対人検証が必要である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Frontier models score well on shallow document/chart reading tasks. In a controlled data-room audit, moving evidence into buried conditions reduced accuracy, increased forced declarations, increased tool calls, and increased cost per correct answer. Confidence and benchmark calibration did not fully capture wrong answers; a documented production incident shows fabricated structural claims can be mixed with accurate numeric tables. Agentic evaluations need claim-level receipts (statement-level provenance, not answer-level scores), condition-aware scoring, and human-adversarial verification - an auditing discipline, not a leaderboard. The setting we measure is financial due diligence; the setting we are building toward next is defense staff work, where the same buried-evidence shape appears. In both, the model is not a party to the consequences; the person who signs is. In plain terms: in the documented cases we examine, agents can pair accurate numbers with confident fabricated explanations, and the burden of proof must therefore move from the model to the evidence trail.
• Abstract（参考訳）: Frontierモデルは、浅いドキュメント/チャートの読み込みタスクでよく評価される。 制御されたデータルーム監査では、埋め込み条件への証拠の移動が正確さを低減し、強制宣言が増加し、ツールコールが増加し、正解当たりのコストが増加した。 信頼性とベンチマークのキャリブレーションは、間違った答えを正しく捉えていない。 エージェントによる評価には、クレームレベルのレシート(ステートメントレベルの既定値ではなく、回答レベルのスコア)、条件対応スコア、人間対人による検証が必要です。 私たちが次に目指すのは、同じ埋没した証拠が現れる防衛スタッフの仕事です。 どちらの場合も、モデルが結果のパーティーではない。 単純な言い方をすれば、私たちが調査した文書化されたケースでは、エージェントは確証のある説明と正確な数字をペアにでき、したがって証明の重荷はモデルから証拠の軌跡に移らなければならない。

関連論文リスト

• VERA-8B: Evidence-Grounded Audit Risk Reasoning from SEC Filings [0.6445605125467574]
  我々は,新しいエンド・ツー・エンド監査推論システムであるVERA-8Bを開発した。 VERA-8Bは、実施行動が起こる前に監査リスクを特定する。 SFTとGRPOをエビデンス・グラウンド・オーディエンス・アソシエーションで統合した最初の企業です。
  論文  参考訳（メタデータ） (2026-08-28T14:55:49Z)
• From Trajectories to Evidence: Auditable Experimental Records for Industrial Research Agents [47.678562263387214]
  研究エージェントは、産業レコメンデーション設定において、多段階の機械学習実験をますます実施している。 生成されたアーティファクトは、サポートされないか、不完全かもしれないし、実行されたラウンドは無効かもしれないし、あるいは廃止されるかもしれないし、後の修正は、以前の発見を曖昧にするかもしれない。 本稿では,連続的アーティファクトのバウンダリ検証と実行後のクレーム資格を結合するエビデンス・グラウンド・フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-05T13:37:38Z)
• White Box Evidence Packages for Policy Audit Reports [0.0]
  内部的な証拠は、報告書の引用方法や証拠に関する理由を変えるが、内部的な引用自体がレポートをより有効にしないことを示す。 この研究は、透明性の保証ではなく、監査のためのエビデンス設計問題として、内部モデルアクセスを再設計する。
  論文  参考訳（メタデータ） (2026-07-23T16:06:42Z)
• DRNOISE: Benchmarking Deep Research Agents in Misleading Evidence Environments [51.049999642138]
  誤解を招く証拠の下で、回答回復のための100タスクのベンチマークであるDRNOISEを紹介する。 それぞれのタスクは、2つの間接的レコードチェーンが支持する固有の金の答えを持ち、ペアのノイズ条件は競合する答えを直接記述する1つのもっともらしい文書を付加する。 強いクリーンタスク性能を持つエージェント全体で、この単一の介入は66-88ポイントの精度低下を引き起こす。
  論文  参考訳（メタデータ） (2026-07-19T15:20:40Z)
• Auditing the Audit: Five Failure Modes in Benchmark-Validity Audits [0.30586855806896046]
  パイプライン障害を5つのクラスに分類し、安全ベンチマークとオープンウェイトなインストラクションチューニングモデルによる自己監査を行った。 我々は、ゲートを保証グレードの証拠の保持および開示のプロトコルとして位置づけ、古典的な構成正当性証拠を補足する(置き換えるものではない)。
  論文  参考訳（メタデータ） (2026-07-01T05:30:07Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
  ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。 我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。 データセットの精度は6%向上した。
  論文  参考訳（メタデータ） (2024-10-07T00:09:50Z)
• Read it Twice: Towards Faithfully Interpretable Fact Verification by Revisiting Evidence [59.81749318292707]
  本稿では,証拠の検索とクレームの検証を行うためにReReadという名前の事実検証モデルを提案する。 提案システムは,異なる設定下での最良のレポートモデルに対して,大幅な改善を実現することができる。
  論文  参考訳（メタデータ） (2023-05-02T03:23:14Z)
• AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
  実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。 アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。 我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
  論文  参考訳（メタデータ） (2021-04-01T17:40:08Z)
• Factual Error Correction of Claims [18.52583883901634]
  本稿では,事実誤り訂正の課題を紹介する。 誤情報を含む文章を修正するメカニズムを提供します。 これは、すでに証拠によって部分的に支持されている主張に固有の説明として機能する。
  論文  参考訳（メタデータ） (2020-12-31T18:11:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。