論文の概要: Evaluating Factuality in Generation with Dependency-level Entailment

• arxiv url: http://arxiv.org/abs/2010.05478v2
• Date: Thu, 22 Oct 2020 06:35:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 06:42:35.296653
• Title: Evaluating Factuality in Generation with Dependency-level Entailment
• Title（参考訳）: 依存性レベルの包摂による生成のファクタリティ評価
• Authors: Tanya Goyal, Greg Durrett
• Abstract要約: 本稿では,依存弧のレベルで分解するエンテーメントの新たな定式化を提案する。 このデータに基づいて訓練された依存関係弧包含モデルにより,文レベルの手法よりもパラフレーズ化や要約における現実的不整合を識別できることが示されている。
• 参考スコア（独自算出の注目度）: 57.5316011554622
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite significant progress in text generation models, a serious limitation is their tendency to produce text that is factually inconsistent with information in the input. Recent work has studied whether textual entailment systems can be used to identify factual errors; however, these sentence-level entailment models are trained to solve a different problem than generation filtering and they do not localize which part of a generation is non-factual. In this paper, we propose a new formulation of entailment that decomposes it at the level of dependency arcs. Rather than focusing on aggregate decisions, we instead ask whether the semantic relationship manifested by individual dependency arcs in the generated output is supported by the input. Human judgments on this task are difficult to obtain; we therefore propose a method to automatically create data based on existing entailment or paraphrase corpora. Experiments show that our dependency arc entailment model trained on this data can identify factual inconsistencies in paraphrasing and summarization better than sentence-level methods or those based on question generation, while additionally localizing the erroneous parts of the generation.
• Abstract（参考訳）: テキスト生成モデルの大幅な進歩にもかかわらず、深刻な制限は、入力の情報と実際に矛盾するテキストを生成する傾向にある。 近年,テキスト・エンタテインメント・システムを用いて事実の誤りを識別する方法が研究されているが,これらの文レベルのエンタテインメント・モデルは,生成フィルタリングとは異なる問題を解くために訓練されており,どの世代が非実数であるかをローカライズしていない。 本稿では,依存性弧のレベルに分解する包含の新たな定式化を提案する。 集約的な決定に焦点をあてるのではなく、生成した出力の個々の依存弧によって表される意味的関係が、入力によって支持されるかどうかを問う。 そこで,本課題における人間の判断は困難であり,既存の補足や副詞コーパスに基づいてデータを自動的に作成する手法を提案する。 実験により,このデータに基づいて学習した係り受け弧内包モデルにより,文レベルの手法や質問生成に基づく手法よりも,言い換えや要約の現実的矛盾を識別し,生成の誤り部分の局所化を図ることができることがわかった。

関連論文リスト

• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• Enhancing Systematic Decompositional Natural Language Inference Using Informal Logic [51.967603572656266]
  我々は,分解包含を注釈付けするための一貫した理論的なアプローチを導入する。 我々の新しいデータセットRDTEは、前回の分解エンターメントデータセットよりもかなり高い内部整合性(+9%)を持つことがわかった。 また,RDTE による知識蒸留によるエンテーメント分類器の訓練や,エンテーメントツリー推論エンジンへの導入により,精度と検証精度が向上することが確認された。
  論文  参考訳（メタデータ） (2024-02-22T18:55:17Z)
• Learning to Filter Context for Retrieval-Augmented Generation [75.18946584853316]
  生成モデルは、部分的にまたは完全に無関係な経路が与えられた出力を生成するために要求される。 FILCOは、語彙と情報理論のアプローチに基づいて有用なコンテキストを特定する。 テスト時に検索したコンテキストをフィルタリングできるコンテキストフィルタリングモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-14T18:41:54Z)
• An Invariant Learning Characterization of Controlled Text Generation [25.033675230270212]
  制御生成(英語: Controlled generation)とは、興味のある文体や意味的な属性を含むテキストを作成する問題である。 ユーザプロンプトに応答するテキストの分布が、予測器がトレーニングした分布と異なる場合、制御された生成の性能は低下する可能性があることを示す。
  論文  参考訳（メタデータ） (2023-05-31T21:35:08Z)
• Revisiting text decomposition methods for NLI-based factuality scoring of summaries [9.044665059626958]
  細粒度分解が必ずしも事実性スコアの勝利戦略であるとは限らないことを示す。 また,従来提案されていたエンテーメントに基づくスコアリング手法の小さな変更により,性能が向上することを示した。
  論文  参考訳（メタデータ） (2022-11-30T09:54:37Z)
• Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
  複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。 人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
  論文  参考訳（メタデータ） (2021-04-17T21:34:10Z)
• Plot-guided Adversarial Example Construction for Evaluating Open-domain Story Generation [23.646133241521614]
  学習可能な評価指標は、人間の判断との相関性を高めることで、より正確な評価を約束しています。 以前の作品は、可能なシステムの欠点を模倣するために、テキスト理論的に操作可能な実例に依存していた。 本研究では,ストーリー生成に使用する制御可能な要因の構造化された表現であるエムプロットを用いて,より包括的でわかりにくいストーリーの集合を生成することで,これらの課題に対処することを提案する。
  論文  参考訳（メタデータ） (2021-04-12T20:19:24Z)
• Partially-Aligned Data-to-Text Generation with Distant Supervision [69.15410325679635]
  我々はPADTG(Partially-Aligned Data-to-Text Generation)と呼ばれる新しい生成タスクを提案する。 自動的にアノテートされたデータをトレーニングに利用し、アプリケーションドメインを大幅に拡張するため、より実用的です。 我々のフレームワークは、全てのベースラインモデルより優れており、部分整合データの利用の可能性を検証する。
  論文  参考訳（メタデータ） (2020-10-03T03:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。