論文の概要: Are Rationales Necessary and Sufficient? Tuning LLMs for Explainable Misinformation Detection
- arxiv url: http://arxiv.org/abs/2605.19285v1
- Date: Tue, 19 May 2026 03:03:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-20 15:03:09.090251
- Title: Are Rationales Necessary and Sufficient? Tuning LLMs for Explainable Misinformation Detection
- Title(参考訳): 合理的かつ十分か? 説明可能な誤情報検出のためのチューニングLDM
- Authors: Bing Wang, Rui Miao, Ximing Li, Chen Shen, Shaotian Yan, Changchun Li, Kaiyuan Liu, Xiaosong Yuan, Jieping Ye,
- Abstract要約: LONSREXは、説明可能なMDのための必要十分かつ十分な規則を見つけるための、新しいデータ合成パイプラインである。
具体的には、各検証ステップの最終的な予測への貢献を定量化し、その必要性と十分性を評価する指標を提案する。
- 参考スコア(独自算出の注目度): 47.59320337978696
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The rapid spread of misinformation on social media platforms has become a formidable challenge. To mitigate its proliferation, Misinformation Detection (MD) has emerged as a critical research topic. Traditional MD approaches based on small models typically perform binary classification through a black-box process. Recently, the rise of Large Language Models (LLMs) has enabled explainable MD, where models generate rationales that explain their decisions, thereby enhancing transparency. Existing explainable MD methods primarily focus on crafting sophisticated prompts to elicit rationales from off-the-shelf LLMs. In this work, we propose a pipeline to fine-tune a dedicated LLM specifically for explainable MD. Our pipeline begins by collecting large-scale fact-checked articles, and then uses multiple strong LLMs to produce veracity predictions and rationales. To ensure high-quality training data, we leverage a filtering strategy that selects only the correct instances for fine-tuning. While this pipeline is intuitive and prevalent, our experiments reveal that naive filtering based solely on label correctness is insufficient in practice and suffers from two critical limitations: (1) Coarse-grained labels cause insufficient rationales: Rationales filtered solely based on binary labels are insufficient to adequately support their decisions; (2) Over-verification behavior causes unnecessary rationales: Stronger LLMs tend to exhibit over-verification behavior, producing excessively verbose and unnecessary rationales. To address these issues, we introduce LONSREX, a novel data synthesis pipeline to Locate Necessary and Sufficient Rationales for Explainable MD. Specifically, we propose a metric that quantifies the contribution of each verification step to the final prediction, thereby evaluating its necessity and sufficiency. Experimental results demonstrate the effectiveness of LONSREX.
- Abstract(参考訳): ソーシャルメディアプラットフォーム上での誤報の急速な拡散は、深刻な課題となっている。
増殖を緩和するため、MD (Misinformation Detection) が重要な研究トピックとして浮上している。
小さなモデルに基づく従来のMDアプローチは、ブラックボックスプロセスを通じて二項分類を行うのが一般的である。
近年,Large Language Models (LLMs) の台頭によって説明可能なMDが実現され,モデルが意思決定を説明する合理性を生成することにより,透明性が向上している。
既存の説明可能なMD手法は主に、既製のLCMから有理性を引き出すための洗練されたプロンプトを作成することに焦点を当てている。
本研究では,説明可能なMDに特化して専用LLMを微調整するパイプラインを提案する。
私たちのパイプラインは、大規模なファクトチェックされた記事を収集し、次に複数の強力なLCMを使用して、正確性予測と合理性を生成することから始まります。
高品質なトレーニングデータを保証するため、精密チューニングのための適切なインスタンスのみを選択するフィルタリング戦略を利用する。
このパイプラインは直感的で一般的だが,本実験では,ラベルの正当性のみに基づくナイーブなフィルタリングが不十分で,ひとつは粗いラベルが不十分な論理的根拠を生じていること,もうひとつは,バイナリラベルのみに基づくフィルタリングが不十分であること,もうひとつは過剰な検証動作が不要な論理的根拠を生じていること,もうひとつは,より強いLCMが過剰な検証行動を示し,過度に冗長かつ不必要な論理的根拠を生み出すこと,である。
これらの問題に対処するために、LONSREXは、説明可能なMDのためのLocate NecessaryとSufficient Rationalesのための新しいデータ合成パイプラインである。
具体的には、各検証ステップの最終的な予測への貢献を定量化し、その必要性と十分性を評価する指標を提案する。
実験によりLONSREXの有効性が示された。
関連論文リスト
- Reason2Decide: Rationale-Driven Multi-Task Learning [1.4212625627319098]
本稿では、露出バイアスやタスク分離など、自己合理的化における重要な課題に対処する2段階のトレーニングフレームワークを提案する。
プロプライエタリなトリアージデータセットと公開バイオメディカルQAデータセットを含む,3つの医療データセットに対するReason2Decideの評価を行った。
論文 参考訳(メタデータ) (2025-12-23T05:58:47Z) - Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。
本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
論文 参考訳(メタデータ) (2025-11-09T03:38:29Z) - WakenLLM: Evaluating Reasoning Potential and Stability in LLMs via Fine-Grained Benchmarking [34.350505059394536]
大規模言語モデル(LLM)は、推論タスクにおいて未知のラベルを頻繁に出力する。
我々は、モデル非能力に起因する未知の出力の一部を定量化するフレームワーク、WakenLLMを紹介した。
論文 参考訳(メタデータ) (2025-07-22T03:21:48Z) - Verifying the Verifiers: Unveiling Pitfalls and Potentials in Fact Verifiers [59.168391398830515]
我々は,14のファクトチェックベンチマークのサンプルを用いて,12の事前学習LDMと1つの特殊ファクト検証器を評価した。
データセットにおけるアノテーションエラーとあいまいさに対処することの重要性を強調します。
最上位のパフォーマンスを実現するために、前作でしばしば見落とされがちな、数ショットのインコンテキストの例を持つフロンティアLSM。
論文 参考訳(メタデータ) (2025-06-16T10:32:10Z) - Evaluating Human Alignment and Model Faithfulness of LLM Rationale [66.75309523854476]
大規模言語モデル(LLM)が,その世代を理論的にどのように説明するかを考察する。
提案手法は帰属に基づく説明よりも「偽り」が少ないことを示す。
論文 参考訳(メタデータ) (2024-06-28T20:06:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。