論文の概要: AMREx: AMR for Explainable Fact Verification

• arxiv url: http://arxiv.org/abs/2411.01343v1
• Date: Sat, 02 Nov 2024 19:14:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:48:02.849741
• Title: AMREx: AMR for Explainable Fact Verification
• Title（参考訳）: AMREx: 説明可能なFact VerificationのためのAMR
• Authors: Chathuri Jayaweera, Sangpil Youm, Bonnie Dorr,
• Abstract要約: AMRExは、事実検証のためのAMRベースの精度予測と説明システムである。 2つのコミュニティ標準事実検証データセットを使用して、部分的に説明可能な正当化を生成する。 解釈可能なパイプラインに従って、説明可能なAMRノードマッピングを返して、システムの正確性予測を明確にする。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: With the advent of social media networks and the vast amount of information circulating through them, automatic fact verification is an essential component to prevent the spread of misinformation. It is even more useful to have fact verification systems that provide explanations along with their classifications to ensure accurate predictions. To address both of these requirements, we implement AMREx, an Abstract Meaning Representation (AMR)-based veracity prediction and explanation system for fact verification using a combination of Smatch, an AMR evaluation metric to measure meaning containment and textual similarity, and demonstrate its effectiveness in producing partially explainable justifications using two community standard fact verification datasets, FEVER and AVeriTeC. AMREx surpasses the AVeriTec baseline accuracy showing the effectiveness of our approach for real-world claim verification. It follows an interpretable pipeline and returns an explainable AMR node mapping to clarify the system's veracity predictions when applicable. We further demonstrate that AMREx output can be used to prompt LLMs to generate natural-language explanations using the AMR mappings as a guide to lessen the probability of hallucinations.
• Abstract（参考訳）: ソーシャルメディアネットワークの出現と、それらを通して流れる大量の情報により、自動事実検証は誤情報の拡散を防ぐ重要な要素である。 さらに、正確な予測を保証するために、分類と共に説明を提供する事実検証システムを持つことが有用である。 これら2つの要件に対処するため、我々は、SmatchとAMR評価指標を組み合わせた、抽象的意味表現(AMR)に基づく事実検証のための妥当性予測・説明システムであるAMRExを実装し、コミュニティ標準事実検証データセットであるFEVERとAVeriTeCを用いて、部分的に説明可能な正当性を生成する効果を実証した。 AMRExはAVeriTecベースライン精度を上回り、実世界のクレーム検証におけるアプローチの有効性を示す。 解釈可能なパイプラインに従って、説明可能なAMRノードマッピングを返して、適用時のシステムの正確性予測を明確にする。 さらに, 幻覚の確率を下げるためのガイドとして, AMR マッピングを用いて, LLM に自然言語による説明を生成するために, AMREx 出力を用いることが実証された。

関連論文リスト

• AR-Pro: Counterfactual Explanations for Anomaly Repair with Formal Properties [12.71326587869053]
  異常検出は、重大な誤りや不審な振る舞いを識別するために広く用いられているが、現在の手法には解釈可能性がない。 本稿では,既存手法の共通特性を活用して,異常検出のための対実的説明を導入する。 このアプローチの重要な利点は、ドメインに依存しない説明可能性の形式的な仕様を可能にすることである。
  論文  参考訳（メタデータ） (2024-10-31T17:43:53Z)
• Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
  ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。 我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。 データセットの精度は6%向上した。
  論文  参考訳（メタデータ） (2024-10-07T00:09:50Z)
• Evaluating Evidence Attribution in Generated Fact Checking Explanations [48.776087871960584]
  生成した説明文の属性品質を評価するために,新しい評価プロトコル,引用マスキングとリカバリを導入する。 実験により、最高の性能を持つLSMは、不正確な属性を持つ説明を生成することが明らかとなった。 より良い説明を生み出すには人為的な証拠が不可欠である。
  論文  参考訳（メタデータ） (2024-06-18T14:13:13Z)
• Retrieval Augmented Fact Verification by Synthesizing Contrastive Arguments [23.639378586798884]
  コントラスト引数の合成による検索拡張現実事実検証を提案する。 提案手法は,関連文書を証拠として効果的に検索し,様々な視点から議論を評価する。 RAFTS は GPT 法よりはるかに小さい 7B LLM で優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-06-14T08:13:34Z)
• AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation [57.8363998797433]
  抽象的意味表現(AMR)を用いた摂動要約を生成するフレームワークであるAMRFactを提案する。 提案手法は,AMRグラフに一貫した要約を解析し,制御された事実不整合を注入して負の例を生成し,一貫性のない事実不整合要約を高い誤差型カバレッジで生成する。
  論文  参考訳（メタデータ） (2023-11-16T02:56:29Z)
• Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
  ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。 実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。 我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
  論文  参考訳（メタデータ） (2023-08-28T03:03:03Z)
• An AMR-based Link Prediction Approach for Document-level Event Argument Extraction [51.77733454436013]
  文書レベルのイベント調停抽出(文書レベルEAE)のための抽象的意味表現(AMR)を導入した最近の研究動向 本研究では,AEをAMRグラフ上のリンク予測問題として再検討する。 本稿では,より少ない情報量のサブグラフやエッジタイプを圧縮し,スパン情報を統合し,同じ文書内の事象をハイライトする新たなグラフ構造であるTalored AMR Graph(TAG)を提案する。
  論文  参考訳（メタデータ） (2023-05-30T16:07:48Z)
• Visualizing Classifier Adjacency Relations: A Case Study in Speaker Verification and Voice Anti-Spoofing [72.4445825335561]
  任意のバイナリ分類器によって生成される検出スコアから2次元表現を導出する簡単な方法を提案する。 ランク相関に基づいて,任意のスコアを用いた分類器の視覚的比較を容易にする。 提案手法は完全に汎用的であり,任意の検出タスクに適用可能だが,自動話者検証と音声アンチスプーフィングシステムによるスコアを用いた手法を実証する。
  論文  参考訳（メタデータ） (2021-06-11T13:03:33Z)
• DeSePtion: Dual Sequence Prediction and Adversarial Examples for Improved Fact-Checking [46.13738685855884]
  ファクトチェックの現在のシステムは、ファクトチェックの現実的な課題の3つのカテゴリに脆弱であることを示す。 文書選択に複数のポインタネットワークを用いて,これらの「攻撃」に対して耐性を持つように設計されたシステムを提案する。 その結果,これらの攻撃に対処する際には,証拠検索の改善が主な原因で,FEVERの最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-04-27T15:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。