論文の概要: One LLM to Train Them All: Multi-Task Learning Framework for Fact-Checking
- arxiv url: http://arxiv.org/abs/2601.11293v1
- Date: Fri, 16 Jan 2026 13:44:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-19 20:21:50.509207
- Title: One LLM to Train Them All: Multi-Task Learning Framework for Fact-Checking
- Title(参考訳): LLMがすべてを学ぶ:Fact-Checkingのためのマルチタスク学習フレームワーク
- Authors: Malin Astrid Larsson, Harald Fosen Grunnaleite, Vinay Setty,
- Abstract要約: 大規模言語モデル(LLM)は、統合されたエンドツーエンドの検証パイプラインを有効にすることで、自動化されたファクトチェック(AFC)を再構築している。
我々は,主張検出,エビデンスランキング,スタンス検出を共同で行うために,単一のモデルを微調整する,より効率的な代替手段として,textbfmulti-task Learning (MTL)を提案する。
- 参考スコア(独自算出の注目度): 7.856998585396422
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large language models (LLMs) are reshaping automated fact-checking (AFC) by enabling unified, end-to-end verification pipelines rather than isolated components. While large proprietary models achieve strong performance, their closed weights, complexity, and high costs limit sustainability. Fine-tuning smaller open weight models for individual AFC tasks can help but requires multiple specialized models resulting in high costs. We propose \textbf{multi-task learning (MTL)} as a more efficient alternative that fine-tunes a single model to perform claim detection, evidence ranking, and stance detection jointly. Using small decoder-only LLMs (e.g., Qwen3-4b), we explore three MTL strategies: classification heads, causal language modeling heads, and instruction-tuning, and evaluate them across model sizes, task orders, and standard non-LLM baselines. While multitask models do not universally surpass single-task baselines, they yield substantial improvements, achieving up to \textbf{44\%}, \textbf{54\%}, and \textbf{31\%} relative gains for claim detection, evidence re-ranking, and stance detection, respectively, over zero-/few-shot settings. Finally, we also provide practical, empirically grounded guidelines to help practitioners apply MTL with LLMs for automated fact-checking.
- Abstract(参考訳): 大規模言語モデル(LLM)は、独立したコンポーネントではなく、統一されたエンドツーエンドの検証パイプラインを可能にすることで、自動化されたファクトチェック(AFC)を再構築している。
大きなプロプライエタリなモデルは高いパフォーマンスを達成するが、そのクローズドウェイト、複雑さ、高コストは持続可能性を制限する。
個別のAFCタスクのための細調整されたより小さなオープンウェイトモデルは役立つが、高いコストをもたらす複数の特別なモデルを必要とする。
本稿では,単一モデルのクレーム検出,エビデンスランキング,スタンス検出を共同で行うための,より効率的な代替手段として,‘textbf{multi-task learning(MTL)’を提案する。
小型デコーダのみのLCM(例えばQwen3-4b)を用いて、分類ヘッド、因果言語モデリングヘッド、命令チューニングの3つのMTL戦略を探索し、モデルサイズ、タスクオーダー、標準非LLMベースラインで評価する。
マルチタスクモデルはシングルタスクベースラインを普遍的に超えるものではないが、ゼロ/フェーショット設定において、クレーム検出、エビデンス再ランク、スタンス検出の相対的なゲインを \textbf{44\%} 、 \textbf{54\%} 、 \textbf{31\%} まで達成し、大幅な改善をもたらす。
最後に,実践者がMLLをLLMに応用し,ファクトチェックの自動化を支援するための実践的,実証的なガイドラインも提供する。
関連論文リスト
- MetaGPT: Merging Large Language Models Using Model Exclusive Task Arithmetic [6.46176287368784]
textbfGPTスケールモデルをマージするための textbfModel textbfExclusive textbfTask textbfArithmetic を提案する。
提案するMetaGPTは,データに依存しず,検索処理を回避し,低コストで実装が容易なメタGPTである。
論文 参考訳(メタデータ) (2024-06-17T10:12:45Z) - TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [73.29220562541204]
我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。
LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
論文 参考訳(メタデータ) (2024-01-24T04:28:50Z) - LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。
タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。
LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
論文 参考訳(メタデータ) (2023-05-19T12:10:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。