論文の概要: Tracing and Removing Data Errors in Natural Language Generation Datasets
- arxiv url: http://arxiv.org/abs/2212.10722v1
- Date: Wed, 21 Dec 2022 02:28:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-22 14:37:25.188742
- Title: Tracing and Removing Data Errors in Natural Language Generation Datasets
- Title(参考訳): 自然言語生成データセットにおけるデータエラーの追跡と除去
- Authors: Faisal Ladhak, Esin Durmus, Tatsunori Hashimoto
- Abstract要約: 望ましくないアウトプットにつながる低品質のトレーニングインスタンスを特定し、削除するフレームワークを導入します。
本研究では、勾配に基づく影響尺度のような既存の誤差追跡手法は、要約における忠実度誤差を確実に検出できないことを示す。
提案手法は, 既知基底真理を持つ合成課題において平均0.91の精度を達成でき, 実実体幻覚評価における幻覚の2倍の低減を達成できる。
- 参考スコア(独自算出の注目度): 35.80256755393739
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent work has identified noisy and misannotated data as a core cause of
hallucinations and unfaithful outputs in Natural Language Generation (NLG)
tasks. Consequently, identifying and removing these examples is a key open
challenge in creating reliable NLG systems. In this work, we introduce a
framework to identify and remove low-quality training instances that lead to
undesirable outputs, such as faithfulness errors in text summarization. We show
that existing approaches for error tracing, such as gradient-based influence
measures, do not perform reliably for detecting faithfulness errors in
summarization. We overcome the drawbacks of existing error tracing methods
through a new, contrast-based estimate that compares undesired generations to
human-corrected outputs. Our proposed method can achieve a mean average
precision of 0.91 across synthetic tasks with known ground truth and can
achieve a two-fold reduction in hallucinations on a real entity hallucination
evaluation on the NYT dataset.
- Abstract(参考訳): 最近の研究は、自然言語生成(nlg)タスクにおける幻覚と不適切なアウトプットの中心的な原因として、ノイズと誤記のデータを特定している。
したがって、これらの例を特定して取り除くことは、信頼性の高いNLGシステムを作成する上で重要な課題である。
本研究では,テキスト要約における忠実度エラーなど,望ましくない出力につながる低品質トレーニングインスタンスを識別・削除するフレームワークを提案する。
グラデーションに基づく影響測定などの既存の誤り追跡手法では,要約における忠実性誤りの検出には適さないことを示す。
我々は、望ましくない世代と人間の補正された出力を比較する新しいコントラストに基づく推定によって、既存のエラー追跡手法の欠点を克服した。
提案手法は,合成課題における平均0.91の精度を達成することができ,NYTデータセット上での幻覚評価において,幻覚の2倍の低減を実現することができる。
関連論文リスト
- AMRFact: Enhancing Summarization Factuality Evaluation with AMR-driven
Training Data Generation [63.18211192998151]
本稿では,現実的に一貫性のない要約を生成する新しいフレームワークであるAMRFactを提案する。
提案手法は, 現実的に正しい要約をAMRグラフに解析し, 否定的な例を生成するために制御された事実矛盾を注入する。
提案手法は,AggreFact-SOTAデータセットにおいて,従来のシステムよりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2023-11-16T02:56:29Z) - Distributional Shift-Aware Off-Policy Interval Estimation: A Unified
Error Quantification Framework [8.572441599469597]
本研究では、無限水平マルコフ決定過程の文脈における高信頼オフ政治評価について検討する。
目的は、未知の行動ポリシーから事前に収集されたオフラインデータのみを用いて、対象の政策値に対する信頼区間(CI)を確立することである。
提案アルゴリズムは, 非線形関数近似設定においても, サンプル効率, 誤差ローバスト, 既知収束性を示す。
論文 参考訳(メタデータ) (2023-09-23T06:35:44Z) - Towards Integration of Discriminability and Robustness for
Document-Level Relation Extraction [41.51148745387936]
ドキュメントレベルの関係抽出(DocRE)は、ドキュメント内の長距離コンテキスト依存推論に依存するエンティティペアの関係を予測する。
本研究では,DocRE問題に対する差別性とロバスト性の両方をよりよく統合することを目的としている。
エントロピーの最小化と教師付きコントラスト学習を革新的にカスタマイズする。
論文 参考訳(メタデータ) (2023-04-03T09:11:18Z) - Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。
言語生成に適用するための実践的境界を開発する。
本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
論文 参考訳(メタデータ) (2023-02-26T16:32:52Z) - Detecting Label Errors using Pre-Trained Language Models [37.82128817976385]
学習済みの大規模言語モデルでは,データセットのラベルエラーを識別する能力が非常に高いことを示す。
クラウドソーシングされたデータからリアルで人間指向のラベルノイズを生成するための新しい手法を提案し,この手法の有効性をTweetNLP上で実証する。
論文 参考訳(メタデータ) (2022-05-25T11:59:39Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z) - NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task
Models [54.184609286094044]
補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。
提案手法は,従来の微調整モデルと比較して平均55%改善した。
論文 参考訳(メタデータ) (2021-08-29T06:58:28Z) - Imputation-Free Learning from Incomplete Observations [73.15386629370111]
本稿では,不備な値を含む入力からの推論をインプットなしでトレーニングするIGSGD法の重要性について紹介する。
バックプロパゲーションによるモデルのトレーニングに使用する勾配の調整には強化学習(RL)を用いる。
我々の計算自由予測は、最先端の計算手法を用いて従来の2段階の計算自由予測よりも優れている。
論文 参考訳(メタデータ) (2021-07-05T12:44:39Z) - Annotating and Modeling Fine-grained Factuality in Summarization [36.88018450067003]
実際に使用する上での大きな障壁は、入力に忠実ではなく、事実的誤りを含む要約を出力する確率である。
要約の事実的誤りを識別するために,学習モデルのための合成データと人間ラベルデータの両方を探索する。
我々は,学習データ中の非実写トークンを識別することにより,より実写的なXSum要約モデルのトレーニングを可能にすることを示す。
論文 参考訳(メタデータ) (2021-04-09T11:20:44Z) - A Self-Refinement Strategy for Noise Reduction in Grammatical Error
Correction [54.569707226277735]
既存の文法的誤り訂正(GEC)のアプローチは、手動で作成したGECデータセットによる教師あり学習に依存している。
誤りが不適切に編集されたり、修正されなかったりする「ノイズ」は無視できないほどある。
本稿では,既存のモデルの予測整合性を利用して,これらのデータセットをデノマイズする自己補充手法を提案する。
論文 参考訳(メタデータ) (2020-10-07T04:45:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。