論文の概要: Probing Factually Grounded Content Transfer with Factual Ablation

• arxiv url: http://arxiv.org/abs/2203.10133v1
• Date: Fri, 18 Mar 2022 19:18:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-27 04:26:14.813183
• Title: Probing Factually Grounded Content Transfer with Factual Ablation
• Title（参考訳）: 事実アブレーションによる事実接地コンテンツ転送の探索
• Authors: Peter West, Chris Quirk, Michel Galley, Yejin Choi
• Abstract要約: グラウンドドジェネレーションは、事実情報の信頼性のある外部文書(グラウンドディング)に描画する。 事実を計測するのも簡単で、すべての事実ではなく、世代が根拠に同意するかどうかをテストする。 本稿では,現実的な根拠からの情報を用いて,世代がプロンプトを拡大するコンテンツ転送問題について検討する。
• 参考スコア（独自算出の注目度）: 68.78413677690321
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite recent success, large neural models often generate factually incorrect text. Compounding this is the lack of a standard automatic evaluation for factuality--it cannot be meaningfully improved if it cannot be measured. Grounded generation promises a path to solving both of these problems: models draw on a reliable external document (grounding) for factual information, simplifying the challenge of factuality. Measuring factuality is also simplified--to factual consistency, testing whether the generation agrees with the grounding, rather than all facts. Yet, without a standard automatic metric for factual consistency, factually grounded generation remains an open problem. We study this problem for content transfer, in which generations extend a prompt, using information from factual grounding. Particularly, this domain allows us to introduce the notion of factual ablation for automatically measuring factual consistency: this captures the intuition that the model should be less likely to produce an output given a less relevant grounding document. In practice, we measure this by presenting a model with two grounding documents, and the model should prefer to use the more factually relevant one. We contribute two evaluation sets to measure this. Applying our new evaluation, we propose multiple novel methods improving over strong baselines.
• Abstract（参考訳）: 最近の成功にもかかわらず、大きなニューラルモデルは、しばしば事実的に誤ったテキストを生成する。 これは、事実性に関する標準的な自動評価が欠如していることであり、もし測定できなければ、意味のある改善はできない。地平線生成は、事実情報の信頼性のある外部文書(接地)にモデルを描画し、事実性の課題を単純化する。また、事実性の測定も単純化され、すべての事実ではなく、根拠に一致するかどうかをテストする。 しかし、事実整合性のための標準的な自動計量がなければ、事実基底生成は未解決の問題である。 本研究は, コンテンツ転送におけるこの問題を, ファウンディングの情報を用いて, 世代がプロンプトを延長する問題である。 特に、この領域では、事実的一貫性を自動的に測定するために事実的アブレーションの概念を導入することができる。 実際には、2つの接地文書でモデルを提示してこれを測定し、モデルがより事実的に関連のある文書を使用することを推奨する。 これを測るために2つの評価セットを貢献する。 新たな評価を応用して,強いベースラインよりも優れた新しい手法を提案する。

関連論文リスト

• Do Automatic Factuality Metrics Measure Factuality? A Critical Evaluation [21.650619533772232]
  「本研究は、要約文の表層的属性が事実性を予測するのに十分であるか否かを調査する。」 そして, 実測値が矛盾した要約の事実修正にどのように反応するかを評価し, 有意義な改善を示すものはごくわずかであることを確認した。 これらの知見に触発されて、生成した要約に無害な文を付加することにより、(最も)自動的事実性指標、すなわち、確実に事実性スコアをインフレーションすることができることを示す。
  論文  参考訳（メタデータ） (2024-11-25T18:15:15Z)
• Groundedness in Retrieval-augmented Long-form Generation: An Empirical Study [61.74571814707054]
  検索した文書やモデルの事前学習データに生成されたすべての文が接地されているかどうかを評価する。 3つのデータセットと4つのモデルファミリーにまたがって、生成した文のかなりの部分が一貫してアングラウンド化されていることが明らかとなった。 以上の結果から,より大きなモデルではアウトプットをより効果的に基礎づける傾向にあるものの,正解のかなりの部分が幻覚によって損なわれていることが示唆された。
  論文  参考訳（メタデータ） (2024-04-10T14:50:10Z)
• Know When To Stop: A Study of Semantic Drift in Text Generation [9.76171773410722]
  現代のLSMは、まず正しい事実を生成し、次に「引き離し」、後に誤った事実を生成する傾向があることを示す。 この誤生成パターンは、いつ生成を中止すべきかを知ることで、事実精度を向上させることができることを示している。
  論文  参考訳（メタデータ） (2024-04-08T11:25:30Z)
• How Well Do Large Language Models Truly Ground? [39.39062385290276]
  一般的な方法は、知識強化モデルとして知られる入力として与えられる外部コンテキストに基づいて応答を生成することである。 以前の研究は「接地」を単に正しい答えを持つだけと定義しており、応答全体の信頼性を保証していない。 本稿では,(1)提供された文脈から必要な知識を十分に活用し,(2)その知識の限界内に留まっている場合,モデルが真に基礎を成すという,より厳密なグラウンド定義を提案する。
  論文  参考訳（メタデータ） (2023-11-15T16:11:27Z)
• "According to ...": Prompting Language Models Improves Quoting from Pre-Training Data [52.03853726206584]
  LLM(Large Language Models)は、実データに基づいて事前訓練されているにもかかわらず、幻覚と偽情報を生成する。 本稿では,従来観察されていたテキストに対してLLMを接地応答に誘導する手法を提案する。 基礎となるテキストコーパスにモデル生成回答が直接現れる範囲を計測する新しい評価指標(QUIP-Score)を提案する。
  論文  参考訳（メタデータ） (2023-05-22T17:25:24Z)
• Grounded Keys-to-Text Generation: Towards Factual Open-Ended Generation [92.1582872870226]
  そこで我々は,新しい接地型キー・ツー・テキスト生成タスクを提案する。 タスクは、ガイドキーと接地パスのセットが与えられたエンティティに関する事実記述を生成することである。 近年のQAに基づく評価手法に着想を得て,生成した記述の事実的正当性を示す自動計量MAFEを提案する。
  論文  参考訳（メタデータ） (2022-12-04T23:59:41Z)
• FactPEGASUS: Factuality-Aware Pre-training and Fine-tuning for Abstractive Summarization [91.46015013816083]
  本稿では,FactPEGについて述べる。FactPEGは,事前学習と微調整における現実性の問題に対処する抽象的な要約モデルである。 分析の結果,FactPEGはゼロショットやスプリショットの設定において,本来の事前学習目標よりも現実的であることが示唆された。
  論文  参考訳（メタデータ） (2022-05-16T17:39:14Z)
• Evaluating Factuality in Generation with Dependency-level Entailment [57.5316011554622]
  本稿では,依存弧のレベルで分解するエンテーメントの新たな定式化を提案する。 このデータに基づいて訓練された依存関係弧包含モデルにより,文レベルの手法よりもパラフレーズ化や要約における現実的不整合を識別できることが示されている。
  論文  参考訳（メタデータ） (2020-10-12T06:43:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。