論文の概要: What Changes When Fact-Verification Scores Improve? Evidence and Answer Accounting Across Trained Verifiers and LLMs

• arxiv url: http://arxiv.org/abs/2609.27064v1
• Date: Tue, 22 Sep 2026 21:02:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.771902
• Title: What Changes When Fact-Verification Scores Improve? Evidence and Answer Accounting Across Trained Verifiers and LLMs
• Title（参考訳）: Fact-Verification Scoresの改善はどのような変化をもたらすか?
• Abstract要約: FEVEROUSでは、厳格なスコアは、提出された証拠の正しい回答と完全な注釈付き証拠グループによるクレームの割合である。 4つの訓練されたDeBERTaチェックポイントと7,890のクレームで、DCUFの証拠をUnifEEの証拠に置き換え、厳格なスコアを9.61ポイント引き上げた。 この効果は、予め規定されたクロスデータセットの基準に満たないが、いくつかの間隔は2点の小さな効果境界を超えて広がる。
• 参考スコア（独自算出の注目度）: 10.720985236309462
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A joint fact-verification score assesses answers and submitted evidence together. When the score improves, how much of the gain remains if the answers are held fixed? On FEVEROUS, strict score is the percentage of claims with a correct answer and a complete annotated evidence group in the submitted evidence. Across four trained DeBERTa checkpoints and 7,890 claims, replacing DCUF evidence with UnifEE evidence raises strict score by 9.61 percentage points, compared with 1.96 percentage points in answer accuracy. The paired 95% interval for the strict-score gain is [8.77, 10.43], conditional on these checkpoints. Replacing only the evidence passed to the scorer accounts for 7.92 or 9.08 percentage points when we retain the answers generated from DCUF or UnifEE evidence, respectively. To examine how this evidence gain depends on evaluation choices, we generate 470,400 responses from two 8B LLMs on FEVER, FEVEROUS, and SciFact under two answer formats and two context budgets. Increasing context from 256 to 2,048 tokens raises the fixed-answer evidence gain on FEVEROUS by 3.84 and 3.10 percentage points for Qwen and Llama, respectively. The effects fall short of the prespecified cross-dataset criterion, while some intervals extend beyond the two-point small-effect bound. Post-hoc analyses quantify changes in answers and submitted evidence, and show when aggregate accuracy and evidence-coverage rates miss the claim-level pattern. The four answer-evidence score combinations reveal changes that endpoint and aggregate metrics leave unresolved.
• Abstract（参考訳）: 共同事実検証スコアは、回答を評価し、一緒に証拠を提出する。 スコアが向上すると、答えが固定された場合、どのくらいの利得が残るのか? FEVEROUSでは、厳格なスコアは、提出された証拠の正しい回答と完全な注釈付き証拠グループによるクレームの割合である。 4つの訓練されたDeBERTaチェックポイントと7,890のクレームで、DCUFの証拠をUnifEEの証拠に置き換えると、厳格なスコアが9.61ポイント上昇する。 厳密なスコアゲインの95%間隔は[8.77, 10.43]であり、これらのチェックポイントの条件付きである。 DCUF または UnifEE のエビデンスから得られた回答を保持する場合、スコアラーに渡された証拠のみを 7.92 または 9.08 のパーセンテージで置き換える。 その結果,FEVER,FEVEROUS,SciFact上の2つの8B LLMから,2つの応答形式と2つのコンテキスト予算で470,400の応答が得られた。 256トークンから2,048トークンへのコンテキストの増加は、それぞれQwenとLlamaの3.84ポイントと3.10ポイントのFEVEROUSに対する固定解答証拠の上昇を引き起こす。 この効果は、予め規定されたクロスデータセットの基準に満たないが、いくつかの間隔は2点の小さな効果境界を超えて広がる。 ポストホック分析は、回答の変化を定量化し、提出された証拠を定量化し、集合的精度と証拠被覆率がクレームレベルのパターンを見逃したことを示す。 4つの回答と証拠のスコアの組み合わせは、エンドポイントと集約メトリクスが未解決のままである、という変化を明らかにします。

関連論文リスト

• Turkish MMLU Pro: Traceable Option Augmentation and Its Validity Limits in Turkish Multiple-Choice Evaluation [0.0]
  回答オプションを追加することで、評価の妥当性を向上することなく、複数の選択のスコアを下げることができる。 トルコのMMLU Proは58のセクションで12,000のトルコ語ソースの質問を用いてこの区別を検証している。
  論文  参考訳（メタデータ） (2026-09-14T12:28:09Z)
• CITECHOICE: A Causal Audit of How Document Presentation Redistributes Citation Credit in Agentic Search [0.0]
  CITECHOICEは、マルチターンエージェントサーチの因果監査である。 同一の既定事実に対して独立に認証されたサポートを持つ113の同呼文書ペアを選択する。 構造化レンダリングは、ソースの入力を明示的に増加させるのではなく、引用クレジットに集中する。
  論文  参考訳（メタデータ） (2026-09-14T07:47:47Z)
• From Scores to Evidence: Auditable Decisions Can Improve Speech Deepfake Detection [12.159476982130286]
  音声のディープフェイクは、聞き手や自動化されたシステムを騙すのに十分な説得力のある話者の声を模倣することができる。 ほとんどの検出器は発話ごとに1点のスコアで終わるが、なぜ境界線アイテムが信頼されるべきなのか、延期されたのか、あるいはレビューされるべきなのかは、ほとんど語っていない。 この疑問に答えるには、4つの整列した手がかりを後期校正ステップに伝達する監査可能な決定記録がある。
  論文  参考訳（メタデータ） (2026-09-08T15:38:57Z)
• When Many Answers Are Valid, Voting Fails: Symbolic Verification for Best-of-K Causal Reasoning in LLMs [42.32694162421078]
  CALVERは、パールの因果基準に対して構造化されたトレースをスコアする訓練不要なシンボル検証器である。 CALVERは、複数のグラフ正解を許容するCLEAR検索1価クエリにおいて、報酬モデル、LLM審査員、モデルの信頼性が30%近く残っている42.1%に達する。
  論文  参考訳（メタデータ） (2026-08-04T11:45:46Z)
• Visual Credit Audit for Multimodal Spatial Reasoning [70.16915309526443]
  Visual Credit Auditは、ベンチマーク画像がテキストのみとブランクコントロールよりもモデルの宣言された決定をもっとサポートするかどうか、モデルが関係性固有の視覚的エビデンスに反応するかどうかの2つの評価を分離する。 ラベルを適用すれば依存性認定正当性(D-CC)が得られる 4つのオープンMLLMと2つの空間ベンチマーク、12.73-26.25%の判定は正確であるが、証明されていない。
  論文  参考訳（メタデータ） (2026-07-29T15:55:31Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
  ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。 我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。 データセットの精度は6%向上した。
  論文  参考訳（メタデータ） (2024-10-07T00:09:50Z)
• From Relevance to Utility: Evidence Retrieval with Feedback for Fact Verification [118.03466985807331]
  我々は、FVの関連性よりも、クレーム検証者が取得した証拠から導出する実用性に焦点を当てる必要があると論じる。 本稿では,エビデンス検索プロセスの最適化に,クレーム検証器からのフィードバックを取り入れたフィードバックベースのエビデンス検索手法(FER)を提案する。
  論文  参考訳（メタデータ） (2023-10-18T02:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。