論文の概要: Fact-Checking Complex Claims with Program-Guided Reasoning

• arxiv url: http://arxiv.org/abs/2305.12744v1
• Date: Mon, 22 May 2023 06:11:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 18:09:31.291953
• Title: Fact-Checking Complex Claims with Program-Guided Reasoning
• Title（参考訳）: プログラム誘導推論を用いたFact-Checking Complex Claims
• Authors: Liangming Pan, Xiaobao Wu, Xinyuan Lu, Anh Tuan Luu, William Yang Wang, Min-Yen Kan, Preslav Nakov
• Abstract要約: Program-Guided Fact-Checking (ProgramFC)は、複雑なクレームを単純なサブタスクに分解する新しいファクトチェックモデルである。 まず,大規模言語モデルの文脈内学習能力を活用して推論プログラムを生成する。 我々は,各サブタスクを対応するサブタスクハンドラに委譲することでプログラムを実行する。
• 参考スコア（独自算出の注目度）: 99.7212240712869
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fact-checking real-world claims often requires collecting multiple pieces of evidence and applying complex multi-step reasoning. In this paper, we present Program-Guided Fact-Checking (ProgramFC), a novel fact-checking model that decomposes complex claims into simpler sub-tasks that can be solved using a shared library of specialized functions. We first leverage the in-context learning ability of large language models to generate reasoning programs to guide the verification process. Afterward, we execute the program by delegating each sub-task to the corresponding sub-task handler. This process makes our model both explanatory and data-efficient, providing clear explanations of its reasoning process and requiring minimal training data. We evaluate ProgramFC on two challenging fact-checking datasets and show that it outperforms seven fact-checking baselines across different settings of evidence availability, with explicit output programs that benefit human debugging. Our codes and data are publicly available at https://github.com/mbzuai-nlp/ProgramFC.
• Abstract（参考訳）: 実世界の事実チェックには、複数の証拠を集め、複雑な多段階推論を適用する必要がある。 本稿では,プログラムガイドファクトチェッキング(ProgramFC)という,複雑なクレームを単純なサブタスクに分解し,特殊な関数の共有ライブラリを用いて解決可能なファクトチェックモデルを提案する。 まず,大規模言語モデルのコンテキスト内学習能力を活用し,検証プロセスを指導するための推論プログラムを生成する。 その後、各サブタスクを対応するサブタスクハンドラに委譲してプログラムを実行する。 このプロセスによってモデルの説明とデータ効率が向上し、推論プロセスの明確な説明と、最小限のトレーニングデータが必要です。 我々は,ProgramFCを2つの困難な事実チェックデータセットで評価し,人間のデバッグに役立つ明示的な出力プログラムを用いて,さまざまなエビデンス・アベイラビリティーの設定において,事実チェックのベースラインを7つ上回っていることを示す。 私たちのコードとデータはhttps://github.com/mbzuai-nlp/ProgramFC.comで公開されています。

関連論文リスト

• Towards Neural Synthesis for SMT-Assisted Proof-Oriented Programming [8.34623776815378]
  我々は600K行のオープンソースF*プログラムと証明のデータセットをキュレートする。 このデータセットには、Windows、Linux、Python、Firefoxなど、プロダクションシステムで使用されるソフトウェアが含まれている。 我々は,AIを用いてプログラムとその証明をF*で合成し,有望な結果を得る。
  論文  参考訳（メタデータ） (2024-05-03T00:14:33Z)
• Data-CUBE: Data Curriculum for Instruction-based Sentence Representation Learning [85.66907881270785]
  本稿では,学習用マルチタスクデータの順序を列挙するデータカリキュラム,すなわちData-CUBEを提案する。 タスクレベルでは、タスク間の干渉リスクを最小化するために最適なタスクオーダーを見つけることを目的としている。 インスタンスレベルでは、タスク毎のすべてのインスタンスの難易度を測定し、トレーニングのためにそれらを簡単に微分できるミニバッチに分割します。
  論文  参考訳（メタデータ） (2024-01-07T18:12:20Z)
• FactLLaMA: Optimizing Instruction-Following Language Models with External Knowledge for Automated Fact-Checking [10.046323978189847]
  本稿では,命令追従言語モデルと外部エビデンス検索を併用して,ファクトチェック性能を向上させることを提案する。 我々のアプローチは、与えられた入力クレームに関する適切な証拠を検索するために検索エンジンを活用することである。 そして、この証拠を用いて、LLaMAと呼ばれるオープンソースの言語モデルを作成し、入力クレームの正確性をより正確に予測できるようにする。
  論文  参考訳（メタデータ） (2023-09-01T04:14:39Z)
• When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
  本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。 具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。 コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
  論文  参考訳（メタデータ） (2023-08-29T17:22:39Z)
• Better Context Makes Better Code Language Models: A Case Study on Function Call Argument Completion [15.068025336990287]
  既存のコード補完モデルでは、完了タスクに良い結果が得られないことを示します。 与えられた関数呼び出しに関する情報をプログラムアナライザに問い合わせ、推論およびトレーニング中に異なるコード補完モデルに対してアナライザ結果を提供する方法を検討する。 実験の結果,関数の実装と関数の使用量へのアクセスは,引数補完性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2023-06-01T06:25:58Z)
• GPT is becoming a Turing machine: Here are some ways to program it [16.169056235216576]
  GPT-3モデルはループを含むプログラムを実行するために起動可能であることを示す。 1つのタスクの例をカバーすることさえできないプロンプトが、アルゴリズム的な振る舞いをトリガーできることを示します。
  論文  参考訳（メタデータ） (2023-03-25T00:43:41Z)
• Learning from Self-Sampled Correct and Partially-Correct Programs [96.66452896657991]
  そこで本研究では,モデルが学習中にサンプリングを行い,自己サンプリングされた完全正当プログラムと部分正当プログラムの両方から学習することを提案する。 自己サンプリング型プログラムと部分修正型プログラムを併用することで,学習とサンプリングプロセスのガイドに役立てることができることを示す。 提案手法は,MLEを用いた単一の参照プログラムからの学習と比較して,パス@kの性能を3.1%から12.3%向上させる。
  論文  参考訳（メタデータ） (2022-05-28T03:31:07Z)
• Exploring Decomposition for Table-based Fact Verification [18.584226291619217]
  複雑な文を単純なサブプロブレムに分解することで事実検証を改善する。 提案手法は,TabFactベンチマークにおいて,82.7%の精度で最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-09-22T20:15:05Z)
• CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
  本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。 命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。 これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
  論文  参考訳（メタデータ） (2021-09-10T03:23:06Z)
• Generating Fact Checking Explanations [52.879658637466605]
  まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。 本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。 この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-13T05:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。