論文の概要: MAPLE: Micro Analysis of Pairwise Language Evolution for Few-Shot Claim
Verification
- arxiv url: http://arxiv.org/abs/2401.16282v1
- Date: Mon, 29 Jan 2024 16:39:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 14:20:20.415415
- Title: MAPLE: Micro Analysis of Pairwise Language Evolution for Few-Shot Claim
Verification
- Title(参考訳): MAPLE:Few-Shot Claim検証のためのペアワイズ言語進化のマイクロ解析
- Authors: Xia Zeng, Arkaitz Zubiaga
- Abstract要約: MAPLEは、請求項とその証拠を小さなSeq2seqモデルと新しい意味尺度で一致させる先駆的なアプローチである。
マイクロ言語進化経路の革新的な利用は、請求の検証を容易にするために、重複しないペアワイズデータを活用する。
MAPLEは、3つのファクトチェックデータセットに対して、SOTAベースラインSEED、PET、LLaMA 2よりも大幅なパフォーマンス向上を示している。
- 参考スコア(独自算出の注目度): 13.850163346546651
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Claim verification is an essential step in the automated fact-checking
pipeline which assesses the veracity of a claim against a piece of evidence. In
this work, we explore the potential of few-shot claim verification, where only
very limited data is available for supervision. We propose MAPLE (Micro
Analysis of Pairwise Language Evolution), a pioneering approach that explores
the alignment between a claim and its evidence with a small seq2seq model and a
novel semantic measure. Its innovative utilization of micro language evolution
path leverages unlabelled pairwise data to facilitate claim verification while
imposing low demand on data annotations and computing resources. MAPLE
demonstrates significant performance improvements over SOTA baselines SEED, PET
and LLaMA 2 across three fact-checking datasets: FEVER, Climate FEVER, and
SciFact. Data and code are available here: https://github.com/XiaZeng0223/MAPLE
- Abstract(参考訳): クレーム検証は、証拠に対するクレームの妥当性を評価する自動ファクトチェックパイプラインにおいて不可欠なステップである。
そこで本研究では,ごく限られたデータのみを監督対象とする,マイナショットクレーム検証の可能性について検討する。
提案手法は,小規模のseq2seqモデルと新しい意味尺度を用いて,クレームとその証拠の整合を探索する先駆的手法である。
マイクロ言語進化パスの革新的な利用は、ラベルなしのペアワイズデータを利用して、データアノテーションや計算リソースの需要を低くしながらクレーム検証を容易にする。
MAPLEは、FEVER、Climate FEVER、SciFactという3つのファクトチェックデータセットに対して、SOTAベースラインのSEED、PET、LLaMA 2に対する大幅なパフォーマンス向上を示している。
データとコードはここで入手できる。 https://github.com/xiazeng0223/maple
関連論文リスト
- MUSTARD: Mastering Uniform Synthesis of Theorem and Proof Data [88.72298746872396]
MUSTARDは、高品質で多様性のある定理と証明データの均一な合成をマスターするフレームワークである。
5,866個の有効なデータポイントを持つMUSTARDSAUCEベンチマークを示す。
我々は広範囲な解析を行い、MUSTARDが検証された高品質なステップバイステップデータを生成することを示す。
論文 参考訳(メタデータ) (2024-02-14T05:57:58Z) - From Chaos to Clarity: Claim Normalization to Empower Fact-Checking [57.024192702939736]
Claim Normalization(別名 ClaimNorm)は、複雑でノイズの多いソーシャルメディア投稿を、より単純で分かりやすい形式に分解することを目的としている。
本稿では,チェーン・オブ・ソートとクレーム・チェック・バシネス推定を利用した先駆的アプローチであるCACNを提案する。
実験により, CACNは様々な評価尺度において, いくつかの基準値を上回る性能を示した。
論文 参考訳(メタデータ) (2023-10-22T16:07:06Z) - EX-FEVER: A Dataset for Multi-hop Explainable Fact Verification [23.767003824313328]
マルチホップで説明可能な事実検証のための先駆的データセットを提案する。
2ホップと3ホップの推論を含む6万件以上の主張により、それぞれがハイパーリンクされたウィキペディア文書から情報を要約して修正することによって作成される。
提案するEX-FEVERデータセットをベースラインとして,文書検索,説明生成,クレーム検証を行う。
論文 参考訳(メタデータ) (2023-10-15T06:46:15Z) - The Devil is in the Errors: Leveraging Large Language Models for
Fine-grained Machine Translation Evaluation [93.01964988474755]
AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。
テキスト内学習と微調整によるラベル付きデータの影響について検討する。
次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
論文 参考訳(メタデータ) (2023-08-14T17:17:21Z) - WiCE: Real-World Entailment for Claims in Wikipedia [63.234352061821625]
We propose WiCE, a new fine-fine textual entailment dataset built on natural claim and evidence pairs from Wikipedia。
標準クレームレベルのエンターメントに加えて、WiCEはクレームのサブ文単位に対するエンターメント判断を提供する。
我々のデータセットの真のクレームは、既存のモデルで対処できない検証と検索の問題に挑戦することを含んでいる。
論文 参考訳(メタデータ) (2023-03-02T17:45:32Z) - Adversarial Contrastive Learning for Evidence-aware Fake News Detection
with Graph Neural Networks [20.282527436527765]
本稿では,Contrastive Learning,すなわちGETRALを用いたグラフベースのsEmantic構造マイニングフレームワークを提案する。
まず、グラフ構造化データとしてクレームとエビデンスをモデル化し、長距離セマンティック依存関係をキャプチャします。
次に、詳細なセマンティック表現をクレーム-エビデンス相互作用モジュールに入力して予測を行う。
論文 参考訳(メタデータ) (2022-10-11T14:54:37Z) - Aggregating Pairwise Semantic Differences for Few-Shot Claim Veracity
Classification [21.842139093124512]
本稿では,新しいベクトルベース手法であるSEEDを導入する。
クラス内のクレーム-エビデンス対の平均意味的差異を捉えるクラス代表ベクトルをシミュレートできるという仮説に基づいて構築する。
FEVERとSCIFACTデータセットで実施された実験では、数ショット設定で競合するベースラインよりも一貫した改善が見られた。
論文 参考訳(メタデータ) (2022-05-11T17:23:37Z) - A Closer Look at Debiased Temporal Sentence Grounding in Videos:
Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。
最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。
偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文 参考訳(メタデータ) (2022-03-10T08:58:18Z) - Mining Fine-grained Semantics via Graph Neural Networks for
Evidence-based Fake News Detection [20.282527436527765]
本稿では,グラフベースのsEmantic sTructureマイニングフレームワークを提案する。
我々は、クレームとエビデンスをグラフ構造化データとしてモデル化し、長距離セマンティック依存関係をキャプチャします。
文脈意味情報を得た後、グラフ構造学習を行うことにより、情報冗長性を低減する。
論文 参考訳(メタデータ) (2022-01-18T11:28:36Z) - Zero-shot Fact Verification by Claim Generation [85.27523983027471]
我々は,堅牢な事実検証モデルをトレーニングするフレームワークであるQACGを開発した。
われわれは自動的に生成されたクレームを使って、Wikipediaのエビデンスからサポートしたり、反論したり、検証したりできる。
ゼロショットシナリオでは、QACGはRoBERTaモデルのF1を50%から77%に改善し、パフォーマンスは2K以上の手作業による例に相当する。
論文 参考訳(メタデータ) (2021-05-31T03:13:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。