論文の概要: On the Benefits of Fine-Grained Loss Truncation: A Case Study on
Factuality in Summarization
- arxiv url: http://arxiv.org/abs/2403.05788v1
- Date: Sat, 9 Mar 2024 04:20:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 12:20:22.303362
- Title: On the Benefits of Fine-Grained Loss Truncation: A Case Study on
Factuality in Summarization
- Title(参考訳): 細粒度損失解消の利点について--要約における事実性に関する事例研究
- Authors: Lorenzo Jaime Yu Flores, Arman Cohan
- Abstract要約: Loss Truncation (LT) は、トレーニング中にノイズのあるサンプルを適応的に除去するために、標準的なログ損失を変更するアプローチである。
LTだけでは、様々なデータセット上でかなり多くの幻覚的実体が得られることを示す。
本研究では, 微細なNLL損失と微細なデータクリーニング戦略を提案し, いくつかのデータセットにおける幻覚減少の改善を観察する。
- 参考スコア(独自算出の注目度): 25.282499952331094
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Text summarization and simplification are among the most widely used
applications of AI. However, models developed for such tasks are often prone to
hallucination, which can result from training on unaligned data. One efficient
approach to address this issue is Loss Truncation (LT) (Kang and Hashimoto,
2020), an approach to modify the standard log loss to adaptively remove noisy
examples during training. However, we find that LT alone yields a considerable
number of hallucinated entities on various datasets. We study the behavior of
the underlying losses between factual and non-factual examples, to understand
and refine the performance of LT. We demonstrate that LT's performance is
limited when the underlying assumption that noisy targets have higher NLL loss
is not satisfied, and find that word-level NLL among entities provides better
signal for distinguishing factuality. We then leverage this to propose a
fine-grained NLL loss and fine-grained data cleaning strategies, and observe
improvements in hallucination reduction across some datasets. Our work is
available at https://https://github.com/yale-nlp/fine-grained-lt.
- Abstract(参考訳): テキスト要約と単純化は、AIの最も広く使われている応用の1つである。
しかしながら、そのようなタスクのために開発されたモデルは、しばしば幻覚を起こす傾向があり、不整合データのトレーニングの結果生じる。
この問題に対処する効果的なアプローチの1つは、トレーニング中にノイズのあるサンプルを適応的に除去するために標準的なログ損失を変更するアプローチであるLoss Truncation (LT) (Kang and Hashimoto, 2020)である。
しかし、LTだけでは、様々なデータセット上でかなり多くの幻覚的実体が得られる。
我々は,実例と非実例間の損失の基本的な挙動について検討し,実例と実例を比較検討し,雑音目標がNLLの損失率が高いという前提が満たされていない場合に,LTの性能が制限されることを実証し,単語レベルNLLが実例を識別するためのより良い信号を提供することを示した。
次にこれを活用して,nllの細粒度損失と細粒度データクリーニング戦略を提案し,いくつかのデータセットにわたる幻覚低減の改善を観察した。
私たちの仕事はhttps://github.com/yale-nlp/fine-grained-lt.comで公開しています。
関連論文リスト
- Enhancing Unsupervised Sentence Embeddings via Knowledge-Driven Data Augmentation and Gaussian-Decayed Contrastive Learning [37.54523122932728]
大規模言語モデル(LLM)を用いたパイプラインベースのデータ拡張手法を提案する。
データ多様性の低い問題に対処するため、私たちのパイプラインは知識グラフ(KG)を使用してエンティティや量を取り出す。
高いデータノイズに対処するため、GCSEモデルは偽硬陰性サンプルの影響を制限するためにガウス分解関数を使用する。
論文 参考訳(メタデータ) (2024-09-19T16:29:58Z) - Dynamics-Aware Loss for Learning with Label Noise [73.75129479936302]
ディープニューラルネットワーク(DNN)にラベルノイズが深刻な脅威をもたらす
本稿では,この問題を解決するためにDAL(Dynamics-Aware Los)を提案する。
詳細な理論的解析と広範な実験結果の両方が,本手法の優位性を示している。
論文 参考訳(メタデータ) (2023-03-21T03:05:21Z) - Identifying Hard Noise in Long-Tailed Sample Distribution [76.16113794808001]
NLT(Noisy Long-Tailed Classification)を紹介する。
ほとんどのノイズ除去法は、ハードノイズを特定するのに失敗する。
我々はH2E(Hard-to-Easy)と呼ばれる反復的な雑音学習フレームワークを設計する。
論文 参考訳(メタデータ) (2022-07-27T09:03:03Z) - Falsesum: Generating Document-level NLI Examples for Recognizing Factual
Inconsistency in Summarization [63.21819285337555]
高品質なタスク指向の例でトレーニングデータを拡張した場合,NLIモデルがこのタスクに有効であることを示す。
我々は、制御可能なテキスト生成モデルを利用して、人間の注釈付き要約を摂動させるデータ生成パイプラインであるFalsesumを紹介した。
本研究では,Falsesumを付加したNLIデータセットでトレーニングしたモデルにより,4つのベンチマークを用いて,要約における事実整合性を検出することにより,最先端のパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2022-05-12T10:43:42Z) - L2B: Learning to Bootstrap Robust Models for Combating Label Noise [52.02335367411447]
本稿では,Learning to Bootstrap (L2B) という,シンプルで効果的な手法を提案する。
モデルは、誤った擬似ラベルの影響を受けずに、自身の予測を使ってブートストラップを行うことができる。
これは、実際の観測されたラベルと生成されたラベル間の重みを動的に調整し、メタラーニングを通じて異なるサンプル間の重みを動的に調整することで実現される。
論文 参考訳(メタデータ) (2022-02-09T05:57:08Z) - Learning from Noisy Labels via Dynamic Loss Thresholding [69.61904305229446]
我々はDLT(Dynamic Loss Thresholding)という新しい手法を提案する。
トレーニングプロセス中、DLTは各サンプルの損失値を記録し、動的損失閾値を算出する。
CIFAR-10/100 と Clothing1M の実験は、最近の最先端手法よりも大幅に改善されている。
論文 参考訳(メタデータ) (2021-04-01T07:59:03Z) - Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。
しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。
本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
論文 参考訳(メタデータ) (2020-07-01T04:48:49Z) - Improved Natural Language Generation via Loss Truncation [29.676561106319173]
識別性は、無効な参照を扱うための原則的で堅牢な代替手段であることを示す。
学習中に高損失例を適応的に除去する損失トランケーションを提案する。
これは、ログの損失やノイズ下での識別性を厳格に制限するのと同じくらい簡単に最適化できることを示している。
論文 参考訳(メタデータ) (2020-04-30T05:31:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。