論文の概要: Take It Easy: Label-Adaptive Self-Rationalization for Fact Verification and Explanation Generation
- arxiv url: http://arxiv.org/abs/2410.04002v1
- Date: Sat, 5 Oct 2024 02:19:49 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-02 14:50:11.544576
- Title: Take It Easy: Label-Adaptive Self-Rationalization for Fact Verification and Explanation Generation
- Title（参考訳）: 実践的検証と説明生成のためのラベル適応型自己分類法
- Authors: Jing Yang, Anderson Rocha,
- Abstract要約: 自己合理化法は典型的には自然言語推論タスクで使用される。
注釈付きラベルを用いて精度予測を学習するためのモデルを微調整する。
3つの大きな言語モデルから合成説明を生成する。
- 参考スコア（独自算出の注目度）: 15.94564349084642
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Computational methods to aid journalists in the task often require adapting a model to specific domains and generating explanations. However, most automated fact-checking methods rely on three-class datasets, which do not accurately reflect real-world misinformation. Moreover, fact-checking explanations are often generated based on text summarization of evidence, failing to address the relationship between the claim and the evidence. To address these issues, we extend the self-rationalization method--typically used in natural language inference (NLI) tasks--to fact verification. We propose a label-adaptive learning approach: first, we fine-tune a model to learn veracity prediction with annotated labels (step-1 model). Then, we fine-tune the step-1 model again to learn self-rationalization, using the same data and additional annotated explanations. Our results show that our label-adaptive approach improves veracity prediction by more than ten percentage points (Macro F1) on both the PubHealth and AVeriTec datasets, outperforming the GPT-4 model. Furthermore, to address the high cost of explanation annotation, we generated 64 synthetic explanations from three large language models: GPT-4-turbo, GPT-3.5-turbo, and Llama-3-8B and few-shot fine-tune our step-1 model. The few-shot synthetic explanation fine-tuned model performed comparably to the fully fine-tuned self-rationalization model, demonstrating the potential of low-budget learning with synthetic data. Our label-adaptive self-rationalization approach presents a promising direction for future research on real-world explainable fact-checking with different labeling schemes.
- Abstract（参考訳）: このタスクでジャーナリストを支援する計算手法は、しばしば特定のドメインにモデルを適応させ、説明を生成する必要がある。
しかし、ほとんどの自動化されたファクトチェック手法は、現実世界の誤報を正確に反映しない3種類のデータセットに依存している。
さらに、事実チェックの説明は、しばしば証拠のテキスト要約に基づいて生成され、主張と証拠の関係に対処することができない。
これらの課題に対処するため、自然言語推論(NLI)タスクで典型的に使用される自己合理化手法を事実検証に拡張する。
まず、アノテートされたラベル(ステップ1モデル)を用いて精度予測を学習するためにモデルを微調整する。
次に、ステップ1モデルを再度微調整し、同じデータと追加の注釈付き説明を用いて自己合理化を学ぶ。
我々のラベル適応手法は,PubHealthとAVeriTecの両方のデータセットにおいて10ポイント以上(マクロF1)の精度予測を向上し,GPT-4モデルより優れていることを示す。
さらに,説明アノテーションの高コスト化に対処するため,GPT-4-turbo,GPT-3.5-turbo,Llama-3-8Bの3つの大言語モデルから64個の合成説明文を生成し,ステップ1モデルの微調整を行った。
合成データを用いた低予算学習の可能性を示すために, 完全微調整自己有理化モデルに比較して, 数ショットの合成説明微調整モデルを実行した。
ラベル適応型自己合理化アプローチは,様々なラベル付け方式による実世界説明可能な事実チェックの今後の研究に有望な方向を示す。
関連論文リスト
- Can Language Models Explain Their Own Classification Behavior? [1.8177391253202122]
大規模言語モデル(LLM)は、無数のタスクでうまく機能するが、このパフォーマンスの背後にあるプロセスを説明することは困難である。
本稿では,LLMが内部プロセスの忠実な高レベルな説明を行えるかどうかを考察する。
私たちはデータセットであるArticulateRulesをリリースし、コンテキスト内または微調整によってトレーニングされたLLMの自己説明をテストするために使用します。
論文 参考訳（メタデータ） (2024-05-13T02:31:08Z) - Model Editing with Canonical Examples [75.33218320106585]
標準例を用いたモデル編集について紹介する。
例えば、モーリシャスの首都はポートルイである。
本稿では,各標準例に対して数個の感覚ベクトルを選択し,微調整するセンスファインタニングを提案する。
論文 参考訳（メタデータ） (2024-02-09T03:08:12Z) - Zero-Shot Fact-Checking with Semantic Triples and Knowledge Graphs [13.024338745226462]
クレームとエビデンス文を直接操作する代わりに、外部知識グラフを用いたセマンティックトリプルに分解する。
これにより、特定のトレーニングデータを必要とするモデルを教師する、敵対的なデータセットとドメインに一般化することができる。
提案手法は, FEVER, FEVER-Symmetric, FEVER 2.0, Climate-FEVERにおいて, 従来のゼロショットアプローチよりも優れていた。
論文 参考訳（メタデータ） (2023-12-19T01:48:31Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳（メタデータ） (2023-05-23T12:05:09Z) - Explanation-based Finetuning Makes Models More Robust to Spurious Cues [21.327036110196637]
大きな言語モデル(LLM)は非常に強力で、ラベルとタスクとは無関係な機能の間に相関関係を学習することがある。
本稿では,LLMの素早い相関性への依存を軽減するための一般的なアプローチとして,説明ベースファインタニングを提案する。
我々は、その解答をサポートする自由テキスト説明を新たに生成するように、モデルを微調整する。
論文 参考訳（メタデータ） (2023-05-08T18:53:45Z) - The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。
入力と論理的に整合した説明は、通常より正確な予測を示す。
本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
論文 参考訳（メタデータ） (2022-05-06T17:57:58Z) - Exploring Strategies for Generalizable Commonsense Reasoning with
Pre-trained Models [62.28551903638434]
モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。
2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。
我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
論文 参考訳（メタデータ） (2021-09-07T03:13:06Z) - Beyond Trivial Counterfactual Explanations with Diverse Valuable
Explanations [64.85696493596821]
コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。
本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。
このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
論文 参考訳（メタデータ） (2021-03-18T12:57:34Z) - When Can Models Learn From Explanations? A Formal Framework for
Understanding the Roles of Explanation Data [84.87772675171412]
個々のデータポイントの説明がモデリング性能を向上させる状況について検討する。
e-SNLI、TACRED、SemEvalの3つの既存のデータセットを使って説明します。
論文 参考訳（メタデータ） (2021-02-03T18:57:08Z) - Adversarial Infidelity Learning for Model Interpretation [43.37354056251584]
本稿では,モデル解釈のためのモデル非依存能率直接(MEED)FSフレームワークを提案する。
我々のフレームワークは、正当性、ショートカット、モデルの識別可能性、情報伝達に関する懸念を緩和する。
我々のAILメカニズムは、選択した特徴と目標の間の条件分布を学習するのに役立ちます。
論文 参考訳（メタデータ） (2020-06-09T16:27:17Z) - Beat the AI: Investigating Adversarial Human Annotation for Reading
Comprehension [27.538957000237176]
人間は、モデルが正しい答えに失敗するように、逆さまに質問を作成する。
アノテーションループでは,より強力なモデルで36,000のサンプルを収集する。
その結果,非対向的なサンプルの学習は,非対向的なデータセットに強い一般化をもたらすことがわかった。
より強力なモデルは、より弱いループモデルで収集されたデータセットから学習できることが分かっています。
論文 参考訳（メタデータ） (2020-02-02T00:22:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。