論文の概要: MAPLE: Micro Analysis of Pairwise Language Evolution for Few-Shot Claim Verification

• arxiv url: http://arxiv.org/abs/2401.16282v1
• Date: Mon, 29 Jan 2024 16:39:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 14:20:20.415415
• Title: MAPLE: Micro Analysis of Pairwise Language Evolution for Few-Shot Claim Verification
• Title（参考訳）: MAPLE:Few-Shot Claim検証のためのペアワイズ言語進化のマイクロ解析
• Authors: Xia Zeng, Arkaitz Zubiaga
• Abstract要約: MAPLEは、請求項とその証拠を小さなSeq2seqモデルと新しい意味尺度で一致させる先駆的なアプローチである。 マイクロ言語進化経路の革新的な利用は、請求の検証を容易にするために、重複しないペアワイズデータを活用する。 MAPLEは、3つのファクトチェックデータセットに対して、SOTAベースラインSEED、PET、LLaMA 2よりも大幅なパフォーマンス向上を示している。
• 参考スコア（独自算出の注目度）: 13.850163346546651
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Claim verification is an essential step in the automated fact-checking pipeline which assesses the veracity of a claim against a piece of evidence. In this work, we explore the potential of few-shot claim verification, where only very limited data is available for supervision. We propose MAPLE (Micro Analysis of Pairwise Language Evolution), a pioneering approach that explores the alignment between a claim and its evidence with a small seq2seq model and a novel semantic measure. Its innovative utilization of micro language evolution path leverages unlabelled pairwise data to facilitate claim verification while imposing low demand on data annotations and computing resources. MAPLE demonstrates significant performance improvements over SOTA baselines SEED, PET and LLaMA 2 across three fact-checking datasets: FEVER, Climate FEVER, and SciFact. Data and code are available here: https://github.com/XiaZeng0223/MAPLE
• Abstract（参考訳）: クレーム検証は、証拠に対するクレームの妥当性を評価する自動ファクトチェックパイプラインにおいて不可欠なステップである。 そこで本研究では,ごく限られたデータのみを監督対象とする,マイナショットクレーム検証の可能性について検討する。 提案手法は,小規模のseq2seqモデルと新しい意味尺度を用いて,クレームとその証拠の整合を探索する先駆的手法である。 マイクロ言語進化パスの革新的な利用は、ラベルなしのペアワイズデータを利用して、データアノテーションや計算リソースの需要を低くしながらクレーム検証を容易にする。 MAPLEは、FEVER、Climate FEVER、SciFactという3つのファクトチェックデータセットに対して、SOTAベースラインのSEED、PET、LLaMA 2に対する大幅なパフォーマンス向上を示している。 データとコードはここで入手できる。 https://github.com/xiazeng0223/maple

関連論文リスト

• Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
  ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。 我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。 データセットの精度は6%向上した。
  論文  参考訳（メタデータ） (2024-10-07T00:09:50Z)
• Robust Claim Verification Through Fact Detection [17.29665711917281]
  我々の新しいアプローチであるFactDetectは、大規模言語モデル(LLM)を利用して、証拠から簡潔な事実文を生成する。 生成された事実は、クレームとエビデンスと組み合わせられる。 提案手法は,F1スコアにおいて,教師付きクレーム検証モデルにおいて,15%の競合結果を示す。
  論文  参考訳（メタデータ） (2024-07-25T20:03:43Z)
• Multimodal Misinformation Detection using Large Vision-Language Models [7.505532091249881]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示している。 誤情報検出の一部として証拠検索を考えるアプローチはほとんどない。 マルチモーダルエビデンス検索のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-19T13:57:11Z)
• Belief Revision: The Adaptability of Large Language Models Reasoning [63.0281286287648]
  本稿では,LMの信念修正能力をテストするための新しいデータセットであるBelief-Rを紹介する。 このタスクは、人間が事前の推論を抑える方法にインスパイアされ、新しく提案されたデルタ推論フレームワーク内のLMを評価する。 様々なプロンプト戦略にまたがる$sim$30 LMを評価した結果,LMは一般的に,新たな情報に反応して信念を適切に修正するのに苦慮していることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T09:09:36Z)
• CaLM: Contrasting Large and Small Language Models to Verify Grounded Generation [76.31621715032558]
  グラウンデッドジェネレーションは、言語モデル(LM)に、より信頼性が高く説明可能な応答を生成する能力を持たせることを目的としている。 本稿では,新しい検証フレームワークであるCaLMを紹介する。 我々のフレームワークは、より少ないパラメトリックメモリに依存する小さなLMを有効活用し、より大きなLMの出力を検証する。
  論文  参考訳（メタデータ） (2024-06-08T06:04:55Z)
• From Chaos to Clarity: Claim Normalization to Empower Fact-Checking [57.024192702939736]
  Claim Normalization(別名 ClaimNorm)は、複雑でノイズの多いソーシャルメディア投稿を、より単純で分かりやすい形式に分解することを目的としている。 本稿では,チェーン・オブ・ソートとクレーム・チェック・バシネス推定を利用した先駆的アプローチであるCACNを提案する。 実験により, CACNは様々な評価尺度において, いくつかの基準値を上回る性能を示した。
  論文  参考訳（メタデータ） (2023-10-22T16:07:06Z)
• EX-FEVER: A Dataset for Multi-hop Explainable Fact Verification [22.785622371421876]
  マルチホップで説明可能な事実検証のための先駆的データセットを提案する。 2ホップと3ホップの推論を含む6万件以上の主張により、それぞれがハイパーリンクされたウィキペディア文書から情報を要約して修正することによって作成される。 提案するEX-FEVERデータセットをベースラインとして,文書検索,説明生成,クレーム検証を行う。
  論文  参考訳（メタデータ） (2023-10-15T06:46:15Z)
• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)
• WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
  We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。 標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。 我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
  論文  参考訳（メタデータ） (2023-03-02T17:45:32Z)
• Mining Fine-grained Semantics via Graph Neural Networks for Evidence-based Fake News Detection [20.282527436527765]
  本稿では,グラフベースのsEmantic sTructureマイニングフレームワークを提案する。 我々は、クレームとエビデンスをグラフ構造化データとしてモデル化し、長距離セマンティック依存関係をキャプチャします。 文脈意味情報を得た後、グラフ構造学習を行うことにより、情報冗長性を低減する。
  論文  参考訳（メタデータ） (2022-01-18T11:28:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。