論文の概要: FactLLaMA: Optimizing Instruction-Following Language Models with
External Knowledge for Automated Fact-Checking
- arxiv url: http://arxiv.org/abs/2309.00240v1
- Date: Fri, 1 Sep 2023 04:14:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-04 14:30:44.266081
- Title: FactLLaMA: Optimizing Instruction-Following Language Models with
External Knowledge for Automated Fact-Checking
- Title（参考訳）: FactLLaMA: 自動Fact-Checkingのための外部知識を用いた命令追跡言語モデルの最適化
- Authors: Tsun-Hin Cheung and Kin-Man Lam
- Abstract要約: 本稿では,命令追従言語モデルと外部エビデンス検索を併用して,ファクトチェック性能を向上させることを提案する。
我々のアプローチは、与えられた入力クレームに関する適切な証拠を検索するために検索エンジンを活用することである。
そして、この証拠を用いて、LLaMAと呼ばれるオープンソースの言語モデルを作成し、入力クレームの正確性をより正確に予測できるようにする。
- 参考スコア（独自算出の注目度）: 10.046323978189847
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automatic fact-checking plays a crucial role in combating the spread of
misinformation. Large Language Models (LLMs) and Instruction-Following
variants, such as InstructGPT and Alpaca, have shown remarkable performance in
various natural language processing tasks. However, their knowledge may not
always be up-to-date or sufficient, potentially leading to inaccuracies in
fact-checking. To address this limitation, we propose combining the power of
instruction-following language models with external evidence retrieval to
enhance fact-checking performance. Our approach involves leveraging search
engines to retrieve relevant evidence for a given input claim. This external
evidence serves as valuable supplementary information to augment the knowledge
of the pretrained language model. Then, we instruct-tune an open-sourced
language model, called LLaMA, using this evidence, enabling it to predict the
veracity of the input claim more accurately. To evaluate our method, we
conducted experiments on two widely used fact-checking datasets: RAWFC and
LIAR. The results demonstrate that our approach achieves state-of-the-art
performance in fact-checking tasks. By integrating external evidence, we bridge
the gap between the model's knowledge and the most up-to-date and sufficient
context available, leading to improved fact-checking outcomes. Our findings
have implications for combating misinformation and promoting the dissemination
of accurate information on online platforms. Our released materials are
accessible at: https://thcheung.github.io/factllama.
- Abstract（参考訳）: 偽情報の拡散と戦う上で、自動事実チェックが重要な役割を果たす。
大規模言語モデル(LLM)とインストラクション追従型(InstructGPTやAlpaca)は、様々な自然言語処理タスクにおいて顕著なパフォーマンスを示している。
しかし、その知識が常に最新あるいは十分であるとは限らないため、事実チェックの誤りにつながる可能性がある。
この制限に対処するために,命令追従言語モデルのパワーと外部エビデンス検索を組み合わせ,事実チェック性能を向上させることを提案する。
我々のアプローチは、検索エンジンを利用して特定の入力クレームの適切な証拠を検索する。
この外部証拠は、事前訓練された言語モデルの知識を増強するための貴重な補足情報となる。
そして、この証拠を用いて、LLaMAと呼ばれるオープンソースの言語モデルを作成し、入力クレームの正確性をより正確に予測できるようにする。
提案手法を評価するために, RAWFCとLIARの2つのファクトチェックデータセットを用いて実験を行った。
その結果,本手法はファクトチェックタスクにおける最先端のパフォーマンスを実現する。
外部証拠を統合することで、モデルの知識と、利用可能な最も最新かつ十分なコンテキストとのギャップを橋渡しし、ファクトチェックの結果を改善することができます。
本研究は,誤報に対処し,オンラインプラットフォーム上での正確な情報の拡散を促進することにつながる。
リリース資料はhttps://thcheung.github.io/factllama.com/でアクセスできます。
関連論文リスト
- Fact or Fiction? Improving Fact Verification with Knowledge Graphs through Simplified Subgraph Retrievals [0.0]
本稿では, 証拠が構造化知識グラフの形で存在するデータセット上で, クレームを検証するための効率的な方法を提案する。
また,エビデンス検索プロセスの簡略化により,計算資源の削減とテストセット精度の向上を実現するモデルの構築が可能となる。
論文 参考訳（メタデータ） (2024-08-14T10:46:15Z) - Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。
本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
論文 参考訳（メタデータ） (2024-06-11T15:58:59Z) - Self-Checker: Plug-and-Play Modules for Fact-Checking with Large Language Models [75.75038268227554]
Self-Checkerはファクトチェックを容易にするプラグインとプレイモジュールからなるフレームワークである。
このフレームワークは、低リソース環境でファクトチェックシステムを構築するための、高速で効率的な方法を提供する。
論文 参考訳（メタデータ） (2023-05-24T01:46:07Z) - Context-faithful Prompting for Large Language Models [51.194410884263135]
大言語モデル(LLM)は世界事実に関するパラメトリック知識を符号化する。
パラメトリック知識への依存は、文脈的手がかりを見落とし、文脈に敏感なNLPタスクにおいて誤った予測をもたらす可能性がある。
我々は, LLMの文脈的忠実度を, 知識の衝突と, 棄権による予測の2つの側面で評価し, 向上する。
論文 参考訳（メタデータ） (2023-03-20T17:54:58Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳（メタデータ） (2022-11-09T18:58:29Z) - LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。
LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。
実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
論文 参考訳（メタデータ） (2022-08-12T18:59:37Z) - CHEF: A Pilot Chinese Dataset for Evidence-Based Fact-Checking [55.75590135151682]
CHEFは、10万件の現実世界のクレームに関する最初のChenese EvidenceベースのFact-checkingデータセットである。
このデータセットは、政治から公衆衛生まで、複数のドメインをカバーし、インターネットから取得した注釈付きの証拠を提供する。
論文 参考訳（メタデータ） (2022-06-06T09:11:03Z) - Language Models as Fact Checkers? [39.29607585655352]
言語モデルのみを使用して、効果的なエンドツーエンドのファクトチェッカーを作成します。
我々のゼロショットLMアプローチは、標準のFEVERタスクにおいてランダムなベースラインよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-06-07T09:52:05Z) - Generating Fact Checking Explanations [52.879658637466605]
まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。
本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。
この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
論文 参考訳（メタデータ） (2020-04-13T05:23:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。