論文の概要: Zero-shot Faithful Factual Error Correction

• arxiv url: http://arxiv.org/abs/2305.07982v2
• Date: Sat, 27 May 2023 15:38:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 00:20:23.553360
• Title: Zero-shot Faithful Factual Error Correction
• Title（参考訳）: ゼロショットFactual Error Correction
• Authors: Kung-Hsiang Huang, Hou Pong Chan, Heng Ji
• Abstract要約: 事実の誤りを忠実に訂正することは、テキストの知識基盤の整合性を維持し、シーケンス・ツー・シーケンス・モデルにおける幻覚を防ぐために重要である。 提案するゼロショットフレームワークは,入力クレームに関する質問を定式化し,与えられたエビデンスにおける正しい回答を求め,そのエビデンスとの整合性に基づいて各補正の忠実さを評価する。
• 参考スコア（独自算出の注目度）: 53.121642212060536
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Faithfully correcting factual errors is critical for maintaining the integrity of textual knowledge bases and preventing hallucinations in sequence-to-sequence models. Drawing on humans' ability to identify and correct factual errors, we present a zero-shot framework that formulates questions about input claims, looks for correct answers in the given evidence, and assesses the faithfulness of each correction based on its consistency with the evidence. Our zero-shot framework outperforms fully-supervised approaches, as demonstrated by experiments on the FEVER and SciFact datasets, where our outputs are shown to be more faithful. More importantly, the decomposability nature of our framework inherently provides interpretability. Additionally, to reveal the most suitable metrics for evaluating factual error corrections, we analyze the correlation between commonly used metrics with human judgments in terms of three different dimensions regarding intelligibility and faithfulness.
• Abstract（参考訳）: 事実的誤りを忠実に訂正することは、テキスト的知識基盤の完全性を維持し、シーケンスからシーケンスへのモデルの幻覚を防止するために重要である。 人間が事実の誤りを識別し、訂正する能力に基づいて、入力クレームに関する質問を定式化し、与えられた証拠の正しい回答を求め、その証拠と整合性に基づいて各補正の忠実さを評価するゼロショットフレームワークを提案する。 私たちのゼロショットフレームワークは、FEVERとSciFactデータセットの実験で示されたように、完全に教師されたアプローチよりも優れています。 さらに重要なことに、フレームワークの分解性は本質的に解釈可能性を提供します。 さらに,事実的誤り訂正を評価するのに最も適した指標を明らかにするために,一般的に使用される指標と人間の判断との相関を,知性と忠実性に関する3つの異なる次元で分析する。

関連論文リスト

• Binary Classification with Confidence Difference [100.08818204756093]
  本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。 本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。 また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
  論文  参考訳（メタデータ） (2023-10-09T11:44:50Z)
• Interpretable Automatic Fine-grained Inconsistency Detection in Text Summarization [56.94741578760294]
  本研究の目的は, 要約中の事実誤りの微粒化を予測し, 微粒化不整合検出の課題を提案することである。 要約における現実的不整合の検査方法に触発され,解析可能な微粒不整合検出モデルであるFinGrainFactを提案する。
  論文  参考訳（メタデータ） (2023-05-23T22:11:47Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Understanding Factual Errors in Summarization: Errors, Summarizers, Datasets, Error Detectors [105.12462629663757]
  本研究では、既存の9つのデータセットから事実性エラーアノテーションを集約し、基礎となる要約モデルに従ってそれらを階層化する。 本稿では,この階層化ベンチマークにおいて,最近のChatGPTベースの指標を含む最先端の事実性指標の性能を比較し,その性能が様々な種類の要約モデルで大きく異なることを示す。
  論文  参考訳（メタデータ） (2022-05-25T15:26:48Z)
• Factual Consistency Evaluation for Text Summarization via Counterfactual Estimation [42.63902468258758]
  本稿では,テキスト要約における事実整合性を評価するための新しい指標を提案する。 我々は3つの公開抽象テキスト要約データセットについて一連の実験を行った。
  論文  参考訳（メタデータ） (2021-08-30T11:48:41Z)
• Annotating and Modeling Fine-grained Factuality in Summarization [36.88018450067003]
  実際に使用する上での大きな障壁は、入力に忠実ではなく、事実的誤りを含む要約を出力する確率である。 要約の事実的誤りを識別するために,学習モデルのための合成データと人間ラベルデータの両方を探索する。 我々は,学習データ中の非実写トークンを識別することにより,より実写的なXSum要約モデルのトレーニングを可能にすることを示す。
  論文  参考訳（メタデータ） (2021-04-09T11:20:44Z)
• Don't Just Blame Over-parametrization for Over-confidence: Theoretical Analysis of Calibration in Binary Classification [58.03725169462616]
  理論上は、過剰パラメトリゼーションは過剰信頼の唯一の理由ではない。 我々は、ロジスティック回帰は本質的に信頼過剰であり、実現可能で、非パラメータな設定であることを示す。 おそらく驚くことに、過剰な信頼が常にそうであるとは限らないことも示します。
  論文  参考訳（メタデータ） (2021-02-15T21:38:09Z)
• Reliable Post hoc Explanations: Modeling Uncertainty in Explainability [44.9824285459365]
  ブラックボックスの説明は、高レベルの設定でモデルの信頼性を確立するために、ますます採用されている。 先行研究では、最先端の技術が生み出す説明は一貫性がなく不安定であり、その正確性や信頼性についての洞察はほとんど得られないことが示されている。 局所的な説明と関連する不確実性を生成するための新しいベイズ的枠組みを開発する。
  論文  参考訳（メタデータ） (2020-08-11T22:52:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。