論文の概要: Zero-Shot Fact Verification via Natural Logic and Large Language Models

• arxiv url: http://arxiv.org/abs/2410.03341v1
• Date: Fri, 4 Oct 2024 11:57:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 22:58:37.978020
• Title: Zero-Shot Fact Verification via Natural Logic and Large Language Models
• Title（参考訳）: 自然論理と大規模言語モデルによるゼロショットファクト検証
• Authors: Marek Strong, Rami Aly, Andreas Vlachos,
• Abstract要約: 命令調整型大規模言語モデルの一般化機能を利用したゼロショット手法を提案する。 提案手法は,最高性能のベースラインに対して平均8.96点の精度向上を実現する。 自然論理データに基づいて訓練された現在のシステムは、他の領域にうまく一般化しない。
• 参考スコア（独自算出の注目度）: 9.789552436902342
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The recent development of fact verification systems with natural logic has enhanced their explainability by aligning claims with evidence through set-theoretic operators, providing faithful justifications. Despite these advancements, such systems often rely on a large amount of training data annotated with natural logic. To address this issue, we propose a zero-shot method that utilizes the generalization capabilities of instruction-tuned large language models. To comprehensively assess the zero-shot capabilities of our method and other fact verification systems, we evaluate all models on both artificial and real-world claims, including multilingual datasets. We also compare our method against other fact verification systems in two setups. First, in the zero-shot generalization setup, we demonstrate that our approach outperforms other systems that were not specifically trained on natural logic data, achieving an average accuracy improvement of 8.96 points over the best-performing baseline. Second, in the zero-shot transfer setup, we show that current systems trained on natural logic data do not generalize well to other domains, and our method outperforms these systems across all datasets with real-world claims.
• Abstract（参考訳）: 近年の自然論理による事実検証システムの発達は、主張を集合論演算子を通して証拠と整合させ、忠実な正当化を提供することによって説明可能性を高めている。 これらの進歩にもかかわらず、このようなシステムは自然論理に注釈付けされた大量のトレーニングデータに依存していることが多い。 そこで本研究では,命令調整型大規模言語モデルの一般化機能を利用したゼロショット手法を提案する。 提案手法と他の事実検証システムのゼロショット能力を総合的に評価するために,多言語データセットを含む,人工的および実世界のクレームに関するすべてのモデルを評価する。 また,本手法を他の事実検証システムと比較する。 まず、ゼロショットの一般化設定において、本手法は、自然論理データに特化して訓練されていない他のシステムよりも優れており、最高性能のベースラインに対して平均8.96ポイントの精度向上を実現していることを示す。 第2に、ゼロショット転送設定において、自然論理データに基づいて訓練された現在のシステムは、他の領域にうまく一般化しないことを示し、本手法は、実世界のクレームを持つ全てのデータセットにおいて、これらのシステムより優れていることを示す。

関連論文リスト

• LLM Critics Help Catch Bugs in Mathematics: Towards a Better Mathematical Verifier with Natural Language Feedback [71.95402654982095]
  本研究では,自然言語フィードバック型検証器Math-Minosを提案する。 実験の結果,少量の自然言語フィードバックが検証器の性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-06-20T06:42:27Z)
• Zero-Shot Fact-Checking with Semantic Triples and Knowledge Graphs [13.024338745226462]
  クレームとエビデンス文を直接操作する代わりに、外部知識グラフを用いたセマンティックトリプルに分解する。 これにより、特定のトレーニングデータを必要とするモデルを教師する、敵対的なデータセットとドメインに一般化することができる。 提案手法は, FEVER, FEVER-Symmetric, FEVER 2.0, Climate-FEVERにおいて, 従来のゼロショットアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2023-12-19T01:48:31Z)
• QA-NatVer: Question Answering for Natural Logic-based Fact Verification [11.002475880349452]
  我々は自然論理演算子を予測するために質問応答を用いることを提案する。 FEVERのいくつかの設定では、我々のアプローチは最高のベースラインを4.3ドルの精度で上回っている。 人間の評価から,本手法は,従来の自然論理に基づくシステムよりも,誤動作の少ない自然論理演算子でより妥当であることが示唆された。
  論文  参考訳（メタデータ） (2023-10-22T06:27:31Z)
• Unsupervised Domain Adaption for Neural Information Retrieval [18.97486314518283]
  本稿では,Large Language Models やルールベースの文字列操作を用いたクエリ生成による合成アノテーションの比較を行う。 大規模言語モデルは,すべてのシナリオにおいて,ルールベースの手法よりも大きなマージンで優れていることがわかった。 さらに、オープンな大規模言語モデルを用いて、合成データを生成し、中規模モデルで十分であることを示す。
  論文  参考訳（メタデータ） (2023-10-13T18:27:33Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• SimSCOOD: Systematic Analysis of Out-of-Distribution Generalization in Fine-tuned Source Code Models [58.78043959556283]
  本研究は,Low-Rank Adaptation (LoRA)ファインチューニング手法を含む,異なる微調整手法によるモデルの挙動について検討する。 解析の結果、LoRAファインチューニングは様々なシナリオにおけるフルファインチューニングよりも、OODの一般化性能が大幅に向上していることが判明した。
  論文  参考訳（メタデータ） (2022-10-10T16:07:24Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason Over Implicit Knowledge [96.92252296244233]
  大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。 本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。 我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
  論文  参考訳（メタデータ） (2020-06-11T17:02:20Z)
• Generating Fact Checking Explanations [52.879658637466605]
  まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。 本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。 この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-13T05:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。