論文の概要: FactGenius: Combining Zero-Shot Prompting and Fuzzy Relation Mining to Improve Fact Verification with Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2406.01311v1
• Date: Mon, 3 Jun 2024 13:24:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 23:09:15.595606
• Title: FactGenius: Combining Zero-Shot Prompting and Fuzzy Relation Mining to Improve Fact Verification with Knowledge Graphs
• Title（参考訳）: FactGenius:知識グラフによるファクト検証を改善するためにゼロショットプロンプトとファジィリレーションマイニングを組み合わせる
• Authors: Sushant Gautam,
• Abstract要約: FactGeniusは,大規模言語モデルのゼロショットプロンプトと知識グラフ上のファジィテキストマッチングを組み合わせることで,ファクトチェックを強化する新しい手法である。 事実検証のベンチマークデータセットであるFactKG上でのFactGeniusの評価は、既存のベースラインを大幅に上回っていることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fact-checking is a crucial natural language processing (NLP) task that verifies the truthfulness of claims by considering reliable evidence. Traditional methods are often limited by labour-intensive data curation and rule-based approaches. In this paper, we present FactGenius, a novel method that enhances fact-checking by combining zero-shot prompting of large language models (LLMs) with fuzzy text matching on knowledge graphs (KGs). Leveraging DBpedia, a structured linked data dataset derived from Wikipedia, FactGenius refines LLM-generated connections using similarity measures to ensure accuracy. The evaluation of FactGenius on the FactKG, a benchmark dataset for fact verification, demonstrates that it significantly outperforms existing baselines, particularly when fine-tuning RoBERTa as a classifier. The two-stage approach of filtering and validating connections proves crucial, achieving superior performance across various reasoning types and establishing FactGenius as a promising tool for robust fact-checking. The code and materials are available at https://github.com/SushantGautam/FactGenius.
• Abstract（参考訳）: ファクトチェック(Fact-checking)は、信頼できる証拠を考慮し、クレームの真正性を検証する重要な自然言語処理(NLP)タスクである。 伝統的な手法は労働集約的なデータキュレーションとルールベースのアプローチによって制限されることが多い。 本稿では,大規模言語モデル(LLM)のゼロショットプロンプトと知識グラフ(KG)のファジィテキストマッチングを組み合わせたファクトチェック手法であるFactGeniusを提案する。 ウィキペディアから派生した構造化リンクデータデータセットであるDBpediaを利用することで、FactGeniusは、類似度測定を使用してLLM生成された接続を洗練し、正確性を保証する。 ファクト検証のベンチマークデータセットであるFactKG上でのFactGeniusの評価は、特に分類器として微調整されたRoBERTaにおいて、既存のベースラインを著しく上回っていることを示している。 コネクションのフィルタリングと検証という2段階のアプローチは、さまざまな推論タイプで優れたパフォーマンスを実現し、堅牢なファクトチェックのための有望なツールとしてFactGeniusを確立する上で、極めて重要である。 コードと資料はhttps://github.com/SushantGautam/FactGeniusで入手できる。

関連論文リスト

• ZeFaV: Boosting Large Language Models for Zero-shot Fact Verification [2.6874004806796523]
  ZeFaVはゼロショットベースのファクトチェック検証フレームワークで、大規模な言語モデルのファクト検証タスクのパフォーマンスを向上させる。 我々は,HoVerとFEVEROUSを含む2つのマルチホップファクトチェックデータセットに対するアプローチを実証実験により評価した。
  論文  参考訳（メタデータ） (2024-11-18T02:35:15Z)
• FactAlign: Long-form Factuality Alignment of Large Language Models [35.067998820937284]
  大規模言語モデルは次世代の情報アクセスエンジンとして大きな可能性を示している。 本稿では,FactAlignを提案する。FactAlignは,長文応答の現実性を高めるために設計された,新しいアライメントフレームワークである。 オープンドメインのプロンプトと情報検索に関する実験により、FactAlignはLLM応答の事実精度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-10-02T16:03:13Z)
• Fact or Fiction? Improving Fact Verification with Knowledge Graphs through Simplified Subgraph Retrievals [0.0]
  本稿では, 証拠が構造化知識グラフの形で存在するデータセット上で, クレームを検証するための効率的な方法を提案する。 また,エビデンス検索プロセスの簡略化により,計算資源の削減とテストセット精度の向上を実現するモデルの構築が可能となる。
  論文  参考訳（メタデータ） (2024-08-14T10:46:15Z)
• Unveiling Imitation Learning: Exploring the Impact of Data Falsity to Large Language Model [6.097530398802087]
  本稿では,音の度合いと言語モデルへの影響の関連性について,指導指導を通して検討する。 具体的には,データセットの事実性と指導調律の相関関係について,複数の興味深い知見を得た。
  論文  参考訳（メタデータ） (2024-04-15T12:20:09Z)
• Heterogeneous Graph Reasoning for Fact Checking over Texts and Tables [22.18384189336634]
  HeterFCは、非構造化情報および構造化情報に対するFact Checkingのための単語レベルの不均一グラフベースのモデルである。 我々は,レーショナルグラフニューラルネットワークによる情報伝達,クレームとエビデンス間の相互作用を行う。 本稿では,エビデンス検索における潜在的な不正確性を考慮したマルチタスク損失関数を提案する。
  論文  参考訳（メタデータ） (2024-02-20T14:10:40Z)
• Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers [121.53749383203792]
  本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。 オープンドメインの文書レベルの事実性ベンチマークを,クレーム,文,文書の3段階の粒度で構築する。 予備実験によると、FacTool、FactScore、Perplexityは虚偽の主張を識別するのに苦労している。
  論文  参考訳（メタデータ） (2023-11-15T14:41:57Z)
• Generating Benchmarks for Factuality Evaluation of Language Models [61.69950787311278]
  FACTOR: Factual Assessment via Corpus Transformation, a scalable approach for LM factuality。 FACTORは、興味のある事実のコーパスをLMの正当性を評価するベンチマークに自動的に変換し、コーパスから真事実を生成する。 その結果, (i) ベンチマークスコアはモデルサイズに応じて増加し, LMが検索によって拡張されたときに向上する; (ii) ベンチマークスコアとパープレキシティは必ずしもモデルランキングに一致しない; (iii) パープレキシティとベンチマークスコアが一致しない場合, 後者はオープンエンド世代における事実性を反映する。
  論文  参考訳（メタデータ） (2023-07-13T17:14:38Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Falsesum: Generating Document-level NLI Examples for Recognizing Factual Inconsistency in Summarization [63.21819285337555]
  高品質なタスク指向の例でトレーニングデータを拡張した場合,NLIモデルがこのタスクに有効であることを示す。 我々は、制御可能なテキスト生成モデルを利用して、人間の注釈付き要約を摂動させるデータ生成パイプラインであるFalsesumを紹介した。 本研究では,Falsesumを付加したNLIデータセットでトレーニングしたモデルにより,4つのベンチマークを用いて,要約における事実整合性を検出することにより,最先端のパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2022-05-12T10:43:42Z)
• FactGraph: Evaluating Factuality in Summarization with Semantic Graph Representations [114.94628499698096]
  文書と要約を構造化された意味表現(MR)に分解するFactGraphを提案する。 MRは、コアセマンティックの概念とその関係を記述し、文書と要約の両方の主要な内容を標準形式で集約し、データの疎結合を減少させる。 事実性を評価するための異なるベンチマークの実験では、FactGraphは以前のアプローチよりも最大15%優れていた。
  論文  参考訳（メタデータ） (2022-04-13T16:45:33Z)
• A Multi-Level Attention Model for Evidence-Based Fact Checking [58.95413968110558]
  シーケンス構造をトレーニング可能な,シンプルなモデルを提案する。 Fact extract and VERification のための大規模データセットの結果、我々のモデルはグラフベースのアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-02T05:40:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。