論文の概要: When Self-Verification Hurts: Calibrated Answer Repair for Financial Question Answering

• arxiv url: http://arxiv.org/abs/2611.05166v1
• Date: Tue, 03 Nov 2026 16:36:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 13:58:04.529414
• Title: When Self-Verification Hurts: Calibrated Answer Repair for Financial Question Answering
• Title（参考訳）: 自己検証のハート: 財務質問応答に対する校正回答
• Abstract要約: 筆者らはまず, 原案が修復の恩恵を受けるかどうかを推定し, 対象のチェックを選択し, 関連する証拠をローカライズし, 許容された編集を制限するキャリブレーションアンサー修復(CAR)を紹介した。 3つのオープンウェイトモデルを備えたFinRank、Fin-RATE、FinQA全体のCARは、すべてのデータセットモデル設定で一般的な検証よりも優れています。
• 参考スコア（独自算出の注目度）: 48.309275872450065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Financial question answering can fail even when a model extracts a plausible number from the supplied evidence: the answer may attach it to the wrong entity, period, unit, or accounting concept. Asking the model to verify and revise its draft can help, but open-ended revision may alter content that was already correct or inspect the wrong relation and reinforce the original error. We formulate repair as a decision that balances the information it may recover against the correct content it may damage. Based on this trade-off, we introduce Calibrated Answer Repair (CAR), which first estimates whether a draft is likely to benefit from repair, then selects a targeted check, localizes the relevant evidence or draft span, and limits the permitted edit. Across FinRank, Fin-RATE, and FinQA with three open-weight models, CAR outperforms generic verification in all dataset-model settings. At the system level, it recovers 14.6% of initially missed answer requirements while damaging 2.1% of initially correct ones. Its post-draft token cost is over 30 percent lower than the iterative revision alternatives. Ablations on two dataset-model settings show that evidence localization and bounded editing are the main contributors to CAR's gains.
• Abstract（参考訳）: モデルが供給された証拠から妥当な番号を抽出したとしても、財務的な質問応答は失敗することがある:その答えは、間違った実体、期間、単位、会計の概念にそれをアタッチすることができる。 モデルにドラフトの検証と修正を求めることは役立ちますが、オープンな修正は、すでに修正済みのコンテンツを変更したり、間違った関係を検査したり、元のエラーを補強します。 修復は、回復する可能性のある情報のバランスを、損傷する可能性のある正しい内容と整合させる決定として定式化します。 このトレードオフに基づいて、最初にドラフトが修理の恩恵を受けるかどうかを推定し、ターゲットチェックを選択し、関連するエビデンスやドラフトスパンをローカライズし、許容された編集を制限するCalibrated Answer repair (CAR)を導入する。 3つのオープンウェイトモデルを備えたFinRank、Fin-RATE、FinQA全体のCARは、すべてのデータセットモデル設定で一般的な検証よりも優れています。 システムレベルでは、最初の解答要求の14.6%を回復し、最初の正解の2.1%を損傷した。 後引き後のトークンコストは、反復的なリビジョンの代替品よりも30%以上低い。 2つのデータセットモデル設定のアブレーションは、エビデンスローカライゼーションとバウンド編集がCARの利益の主な貢献者であることを示している。

関連論文リスト

• Are You Sure Your LLM Is Sure? Repairing and Auditing Confidence [5.331469232678577]
  信頼性フレームワークであるRADAR(Repair, Adopt, and Diagnose After Recalibration)を紹介します。 RADARは、スカラースコアが表現できることを修復し、エビデンスによってサポートされた場合にのみ修復を採用し、リカバリが残した系統的なエラーを診断する、原則化されたワークフローを提供する。
  論文  参考訳（メタデータ） (2026-10-15T16:12:29Z)
• JevCoder: When Does Decision Delegation Pay Off in Code Repair? [13.491535879221901]
  コーディングエージェントは、コードを修復するときに繰り返し決定を行う。これらの決定は、修復軌跡を形成し、連続するモデル要求のトークンコストに影響を与える。 修理品質を維持しつつトークン使用を減らすため、低コストの確率的審査員にどの修理決定を委譲できるかを問う。 我々は、これらの介入を、裁判官を使わない無誘導修理と、修理モデル自体を裁判官として使用する同じワークフローと比較する。 利益は、判断単独のコストよりも、介入が変化する仕事に依存します。
  論文  参考訳（メタデータ） (2026-10-14T05:11:25Z)
• RAG-Stress: Probing the Limits of Evidence Reliance in Retrieval-Augmented Generation [8.913068656400208]
  RAG-Stress(英語版)は、検索強化世代における証拠依存の限界を調べるための診断プロトコルである。 本研究では,各モデルの質問に対する誤解率(MR)を,検索なしで正確に解答する。 我々は、APIモデル、オープンモデル、強化学習で訓練された検索エージェントにまたがる15のシステムを評価する。
  論文  参考訳（メタデータ） (2026-10-08T03:40:48Z)
• Return or Revise? Learning When Revision Helps Retrieval-Augmented QA [0.0]
  我々は,既存の原案回答を返却するか,回収された証拠を用いて修正するかを判断する。 オフラインのトレーニングと評価では、返却されたドラフトと候補のリビジョンの両方を格付けする。 我々は、このペア効果をその回復可能性と呼び、修正前に予測するようにポリシーを訓練します。
  論文  参考訳（メタデータ） (2026-09-24T16:35:54Z)
• When Should LLMs Trust Their Own Revisions? A Risk-Aware Study of Intrinsic Self-Correction [29.91953104203498]
  内在的な自己訂正は、新たな外部証拠を受け取らずに、言語モデルに自身の回答を改訂するよう要求する。 第2のパスはミスを回復できるが、すでに正しい回答を覆すこともできる。 このトレードオフを,BoolQ,GSM8K,Corr2Cause上で29個のオープンウェイトLLMに対して検討した。
  論文  参考訳（メタデータ） (2026-09-23T21:05:53Z)
• Same Scores, Different Decisions: Evaluating JEV and Language Models for Legal Document Understanding [65.85599131866623]
  私たちはJevとContractNLIの9つの言語モデルを比較します。 制御された比較は、仮説の可視性、要求された出力、および出力順序によって異なる。 Jevは、評価された構成の中で、最低コストと中央値のレスポンス時間を持っています。
  論文  参考訳（メタデータ） (2026-09-23T10:53:01Z)
• HLE-Verified: A Systematic Verification and Structured Revision of Humanity's Last Exam [63.84155758655084]
  HumanityのLast Exam (HLE)は、フロンティアの大規模言語モデルを評価するために広く使われているベンチマークである。 HLE-Verifiedは,透過的検証プロトコルときめ細かい誤り分類法を備えたHLEの検証および改訂版である。 我々は,HLEとHLE-Verifiedの7つの最先端言語モデルを評価し,平均7～10ポイントの絶対精度を観測した。
  論文  参考訳（メタデータ） (2026-02-15T02:50:15Z)
• OpenFactCheck: Building, Benchmarking Customized Fact-Checking Systems and Evaluating the Factuality of Claims and LLMs [59.836774258359945]
  OpenFactCheckは、カスタマイズされたファクトチェックシステムを構築するためのフレームワークである。 ユーザーは自動的にファクトチェッカーをカスタマイズし、文書やクレームの事実的正当性を検証できる。 CheckerEVALは、人間の注釈付きデータセットを使用して、自動ファクトチェッカーの検証結果の信頼性を高めるソリューションである。
  論文  参考訳（メタデータ） (2024-05-09T07:15:19Z)
• Memory-Based Model Editing at Scale [102.28475739907498]
  既存のモデルエディタは、編集対象のスコープを正確にモデル化するのに苦労する。 SERAC(Retrieval-Augmented Counterfactal Model)を用いた半パラメトリック編集を提案する。 SERACは、編集を明示的なメモリに格納し、必要に応じてベースモデルの予測を変更できるように、それらを推論することを学ぶ。
  論文  参考訳（メタデータ） (2022-06-13T23:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。