論文の概要: The Alignment Bottleneck in Decomposition-Based Claim Verification
- arxiv url: http://arxiv.org/abs/2602.10380v1
- Date: Wed, 11 Feb 2026 00:02:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-12 21:44:01.346327
- Title: The Alignment Bottleneck in Decomposition-Based Claim Verification
- Title(参考訳): 分解に基づくクレーム検証におけるアライメント・ボトルネック
- Authors: Mahmud Elahi Akhter, Federico Ruggeri, Iman Munire Bilal, Rob Procter, Maria Liakata,
- Abstract要約: 我々は、時間的拘束力のある証拠と人間による注釈付きサブステートメント証拠を含む、現実世界の複雑なクレームのデータセットを新たに導入する。
サブステートアラインド・アライメント・エビデンス(SAE)と繰り返しクライム・レベル・エビデンス(SRE)という2つのアライメント・アライメント・セットアップの下での分解を評価する。
以上の結果から,エビデンスがきめ細やかで厳密に整合している場合にのみ,分解が大幅な性能向上をもたらすことが明らかとなった。
- 参考スコア(独自算出の注目度): 17.197804072440665
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Structured claim decomposition is often proposed as a solution for verifying complex, multi-faceted claims, yet empirical results have been inconsistent. We argue that these inconsistencies stem from two overlooked bottlenecks: evidence alignment and sub-claim error profiles. To better understand these factors, we introduce a new dataset of real-world complex claims, featuring temporally bounded evidence and human-annotated sub-claim evidence spans. We evaluate decomposition under two evidence alignment setups: Sub-claim Aligned Evidence (SAE) and Repeated Claim-level Evidence (SRE). Our results reveal that decomposition brings significant performance improvement only when evidence is granular and strictly aligned. By contrast, standard setups that rely on repeated claim-level evidence (SRE) fail to improve and often degrade performance as shown across different datasets and domains (PHEMEPlus, MMM-Fact, COVID-Fact). Furthermore, we demonstrate that in the presence of noisy sub-claim labels, the nature of the error ends up determining downstream robustness. We find that conservative "abstention" significantly reduces error propagation compared to aggressive but incorrect predictions. These findings suggest that future claim decomposition frameworks must prioritize precise evidence synthesis and calibrate the label bias of sub-claim verification models.
- Abstract(参考訳): 構造化クレーム分解は、複雑で多面的なクレームを検証するための解決策としてしばしば提案されるが、実証的な結果は矛盾している。
これらの矛盾は、エビデンスアライメントとサブステートエラープロファイルという、見過ごされている2つのボトルネックに起因している、と我々は主張する。
これらの要因をよりよく理解するために、時間的拘束力のある証拠と人間による注釈付きサブステートメントの証拠を特徴とする、現実世界の複雑なクレームの新しいデータセットを導入する。
そこで我々は,2つのアライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント(SAE)とリピート・クライム・レベル・エビデンス・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント・アライメント(SRE)を用いて,分解を評価する。
以上の結果から,エビデンスがきめ細やかで厳密に整合している場合にのみ,分解が大幅な性能向上をもたらすことが明らかとなった。
対照的に、繰り返しクレームレベルエビデンス(SRE)に依存する標準設定は、異なるデータセットやドメイン(PHEMEPlus、MMM-Fact、COVID-Fact)で示されるように、改善に失敗し、しばしばパフォーマンスを低下させる。
さらに、ノイズの多いサブレファレンスラベルが存在する場合、エラーの性質が下流のロバスト性を決定することを実証する。
保守的な「注意」は、攻撃的だが誤った予測に比べてエラーの伝播を著しく減少させる。
これらの結果から, 将来のクレーム分解フレームワークは, 精度の高い証拠合成を優先し, サブフレーム検証モデルのラベルバイアスを校正する必要があることが示唆された。
関連論文リスト
- Retrieve-Refine-Calibrate: A Framework for Complex Claim Fact-Checking [32.6738019397553]
大規模言語モデル(LLM)に基づくRetrieve-Refine-Calibrate(RRC)フレームワークを提案する。
特に、このフレームワークは、まずクレームに記載されたエンティティを特定し、それらに関連する証拠を検索する。
そして、無関係な情報を減らすためのクレームに基づいて、回収された証拠を精査する。
最後に、信頼性の低い予測を再評価することで検証プロセスを校正する。
論文 参考訳(メタデータ) (2026-01-23T08:48:52Z) - Fact in Fragments: Deconstructing Complex Claims via LLM-based Atomic Fact Extraction and Verification [18.20994425756688]
Atomic Fact extract and Verification (AFEV) は、複雑なクレームを原子事実に反復的に分解する新しいフレームワークである。
AFEVは、精度と解釈可能性の両方において最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2025-06-09T05:49:43Z) - SUCEA: Reasoning-Intensive Retrieval for Adversarial Fact-checking through Claim Decomposition and Editing [30.84752573088322]
敵の主張は、人間が事実確認システムに挑戦するために意図的に設計されている。
本稿では,元来の主張を言い換える訓練のない手法を提案する。
提案手法は,検索と包含ラベルの精度を大幅に向上させ,強力なクレーム分割ベースラインを4つ備えた。
論文 参考訳(メタデータ) (2025-06-05T02:58:15Z) - CRAVE: A Conflicting Reasoning Approach for Explainable Claim Verification Using LLMs [15.170312674645535]
CRAVE は、説明可能なクレーム VErification に対する Conflicting Reasoning Approach である。
大規模な言語モデルによって推論される矛盾する理性に基づいて、複雑なクレームを検証することができる。
CRAVEは最先端の手法よりもはるかに優れた性能を実現している。
論文 参考訳(メタデータ) (2025-04-21T07:20:31Z) - Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。
我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。
データセットの精度は6%向上した。
論文 参考訳(メタデータ) (2024-10-07T00:09:50Z) - From Relevance to Utility: Evidence Retrieval with Feedback for Fact Verification [118.03466985807331]
我々は、FVの関連性よりも、クレーム検証者が取得した証拠から導出する実用性に焦点を当てる必要があると論じる。
本稿では,エビデンス検索プロセスの最適化に,クレーム検証器からのフィードバックを取り入れたフィードバックベースのエビデンス検索手法(FER)を提案する。
論文 参考訳(メタデータ) (2023-10-18T02:59:38Z) - WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。
標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。
我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
論文 参考訳(メタデータ) (2023-03-02T17:45:32Z) - AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。
アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。
我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
論文 参考訳(メタデータ) (2021-04-01T17:40:08Z) - Hierarchical Evidence Set Modeling for Automated Fact Extraction and
Verification [5.836068916903788]
階層的エビデンス・セット・モデリング(Heerarchical Evidence Set Modeling, HESM)は、エビデンス・セットを抽出し、サポート対象のクレームを検証するためのフレームワークである。
実験の結果,HESMは事実抽出とクレーム検証の7つの最先端手法より優れていた。
論文 参考訳(メタデータ) (2020-10-10T22:27:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。