論文の概要: Probing Factually Grounded Content Transfer with Factual Ablation
- arxiv url: http://arxiv.org/abs/2203.10133v1
- Date: Fri, 18 Mar 2022 19:18:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-27 04:26:14.813183
- Title: Probing Factually Grounded Content Transfer with Factual Ablation
- Title(参考訳): 事実アブレーションによる事実接地コンテンツ転送の探索
- Authors: Peter West, Chris Quirk, Michel Galley, Yejin Choi
- Abstract要約: グラウンドドジェネレーションは、事実情報の信頼性のある外部文書(グラウンドディング)に描画する。
事実を計測するのも簡単で、すべての事実ではなく、世代が根拠に同意するかどうかをテストする。
本稿では,現実的な根拠からの情報を用いて,世代がプロンプトを拡大するコンテンツ転送問題について検討する。
- 参考スコア(独自算出の注目度): 68.78413677690321
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite recent success, large neural models often generate factually
incorrect text. Compounding this is the lack of a standard automatic evaluation
for factuality--it cannot be meaningfully improved if it cannot be measured.
Grounded generation promises a path to solving both of these problems: models
draw on a reliable external document (grounding) for factual information,
simplifying the challenge of factuality. Measuring factuality is also
simplified--to factual consistency, testing whether the generation agrees with
the grounding, rather than all facts. Yet, without a standard automatic metric
for factual consistency, factually grounded generation remains an open problem.
We study this problem for content transfer, in which generations extend a
prompt, using information from factual grounding. Particularly, this domain
allows us to introduce the notion of factual ablation for automatically
measuring factual consistency: this captures the intuition that the model
should be less likely to produce an output given a less relevant grounding
document. In practice, we measure this by presenting a model with two grounding
documents, and the model should prefer to use the more factually relevant one.
We contribute two evaluation sets to measure this. Applying our new evaluation,
we propose multiple novel methods improving over strong baselines.
- Abstract(参考訳): 最近の成功にもかかわらず、大きなニューラルモデルは、しばしば事実的に誤ったテキストを生成する。
これは、事実性に関する標準的な自動評価が欠如していることであり、もし測定できなければ、意味のある改善はできない。地平線生成は、事実情報の信頼性のある外部文書(接地)にモデルを描画し、事実性の課題を単純化する。また、事実性の測定も単純化され、すべての事実ではなく、根拠に一致するかどうかをテストする。
しかし、事実整合性のための標準的な自動計量がなければ、事実基底生成は未解決の問題である。
本研究は, コンテンツ転送におけるこの問題を, ファウンディングの情報を用いて, 世代がプロンプトを延長する問題である。
特に、この領域では、事実的一貫性を自動的に測定するために事実的アブレーションの概念を導入することができる。
実際には、2つの接地文書でモデルを提示してこれを測定し、モデルがより事実的に関連のある文書を使用することを推奨する。
これを測るために2つの評価セットを貢献する。
新たな評価を応用して,強いベースラインよりも優れた新しい手法を提案する。
関連論文リスト
- Merging Facts, Crafting Fallacies: Evaluating the Contradictory Nature
of Aggregated Factual Claims in Long-Form Generations [75.49360351036773]
FActScoreや引用リコールなどの既存の事実精度指標は,非事実項の事実性を適切に評価できないことを示す。
我々は、曖昧なエンティティを持つコンテンツに特化して設計された拡張メトリックD-FActScoreを導入する。
論文 参考訳(メタデータ) (2024-02-08T12:36:29Z) - "According to ...": Prompting Language Models Improves Quoting from
Pre-Training Data [52.03853726206584]
LLM(Large Language Models)は、実データに基づいて事前訓練されているにもかかわらず、幻覚と偽情報を生成する。
本稿では,従来観察されていたテキストに対してLLMを接地応答に誘導する手法を提案する。
基礎となるテキストコーパスにモデル生成回答が直接現れる範囲を計測する新しい評価指標(QUIP-Score)を提案する。
論文 参考訳(メタデータ) (2023-05-22T17:25:24Z) - Grounded Keys-to-Text Generation: Towards Factual Open-Ended Generation [92.1582872870226]
そこで我々は,新しい接地型キー・ツー・テキスト生成タスクを提案する。
タスクは、ガイドキーと接地パスのセットが与えられたエンティティに関する事実記述を生成することである。
近年のQAに基づく評価手法に着想を得て,生成した記述の事実的正当性を示す自動計量MAFEを提案する。
論文 参考訳(メタデータ) (2022-12-04T23:59:41Z) - FactPEGASUS: Factuality-Aware Pre-training and Fine-tuning for
Abstractive Summarization [91.46015013816083]
本稿では,FactPEGについて述べる。FactPEGは,事前学習と微調整における現実性の問題に対処する抽象的な要約モデルである。
分析の結果,FactPEGはゼロショットやスプリショットの設定において,本来の事前学習目標よりも現実的であることが示唆された。
論文 参考訳(メタデータ) (2022-05-16T17:39:14Z) - Counterfactual Evaluation for Explainable AI [21.055319253405603]
そこで本稿では, 文献的推論の観点から, 説明の忠実さを評価する新しい手法を提案する。
離散シナリオと連続シナリオの両方において適切な反事実を見つけるために2つのアルゴリズムを導入し、取得した反事実を用いて忠実度を測定する。
論文 参考訳(メタデータ) (2021-09-05T01:38:49Z) - Improving Factual Consistency of Abstractive Summarization via Question
Answering [25.725873545789046]
要約における事実整合性に対処するアプローチを提案する。
まず,実体整合性を測定するための効率的な自動評価指標を提案する。
次に,モデル学習時に提案するメトリックを最大化する新しい学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-05-10T19:07:21Z) - $Q^{2}$: Evaluating Factual Consistency in Knowledge-Grounded Dialogues
via Question Generation and Question Answering [38.951535576102906]
ナレッジベース対話モデルにおける事実整合性のための自動評価指標を提案する。
当社のメトリクスは、共参照解像度と自然言語推論機能を利用しています。
We curate a novel dataset of state-of-the-art dialogue system outputs for the Wizard-of-Wikipedia dataset。
論文 参考訳(メタデータ) (2021-04-16T16:21:16Z) - Evaluating Factuality in Generation with Dependency-level Entailment [57.5316011554622]
本稿では,依存弧のレベルで分解するエンテーメントの新たな定式化を提案する。
このデータに基づいて訓練された依存関係弧包含モデルにより,文レベルの手法よりもパラフレーズ化や要約における現実的不整合を識別できることが示されている。
論文 参考訳(メタデータ) (2020-10-12T06:43:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。