論文の概要: Faithfulness in Natural Language Generation: A Systematic Survey of
Analysis, Evaluation and Optimization Methods
- arxiv url: http://arxiv.org/abs/2203.05227v1
- Date: Thu, 10 Mar 2022 08:28:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-11 23:04:10.182472
- Title: Faithfulness in Natural Language Generation: A Systematic Survey of
Analysis, Evaluation and Optimization Methods
- Title（参考訳）: 自然言語生成における忠実性:分析・評価・最適化手法の体系的調査
- Authors: Wei Li, Wenhao Wu, Moye Chen, Jiachen Liu, Xinyan Xiao, Hua Wu
- Abstract要約: 自然言語生成(NLG)は,事前学習型言語モデルなどの深層学習技術の発展により,近年大きく進歩している。
しかし、生成したテキストが通常不信または非実情報を含むという忠実性問題は、最大の課題となっている。
- 参考スコア（独自算出の注目度）: 48.47413103662829
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Natural Language Generation (NLG) has made great progress in recent years due
to the development of deep learning techniques such as pre-trained language
models. This advancement has resulted in more fluent, coherent and even
properties controllable (e.g. stylistic, sentiment, length etc.) generation,
naturally leading to development in downstream tasks such as abstractive
summarization, dialogue generation, machine translation, and data-to-text
generation. However, the faithfulness problem that the generated text usually
contains unfaithful or non-factual information has become the biggest
challenge, which makes the performance of text generation unsatisfactory for
practical applications in many real-world scenarios. Many studies on analysis,
evaluation, and optimization methods for faithfulness problems have been
proposed for various tasks, but have not been organized, compared and discussed
in a combined manner. In this survey, we provide a systematic overview of the
research progress on the faithfulness problem of NLG, including problem
analysis, evaluation metrics and optimization methods. We organize the
evaluation and optimization methods for different tasks into a unified taxonomy
to facilitate comparison and learning across tasks. Several research trends are
discussed further.
- Abstract（参考訳）: 自然言語生成(NLG)は,事前学習型言語モデルなどの深層学習技術の発展により,近年大きく進歩している。
この進歩により、より流動的でコヒーレントな特性(例えば、スタイル、感情、長さなど)の生成が可能となり、自然に抽象要約、対話生成、機械翻訳、データ・ツー・テキスト生成といった下流タスクの開発に繋がる。
しかし、生成したテキストに通常不信または非実情報が含まれているという忠実性問題は最大の課題となり、多くの実世界のシナリオにおける実践的応用においてテキスト生成のパフォーマンスが不満足になっている。
忠実度問題の解析・評価・最適化手法に関する多くの研究が様々な課題に対して提案されているが、総合的に比較・検討されていない。
本調査では,問題解析,評価指標,最適化手法など,NLGの忠実度問題に関する研究の成果を体系的に概観する。
タスク間の比較と学習を容易にするために,異なるタスクに対する評価と最適化手法を統一分類に整理した。
さらにいくつかの研究動向が議論されている。
関連論文リスト
- Systematic Task Exploration with LLMs: A Study in Citation Text Generation [63.50597360948099]
大規模言語モデル(LLM)は、複雑な創造的自然言語生成(NLG)タスクの定義と実行において、前例のない柔軟性をもたらす。
本稿では,系統的な入力操作,参照データ,出力測定からなる3成分研究フレームワークを提案する。
我々はこのフレームワークを用いて引用テキスト生成を探索する。これは一般的なNLPタスクであり、タスク定義と評価基準に関するコンセンサスを欠いている。
論文 参考訳（メタデータ） (2024-07-04T16:41:08Z) - A Survey on Natural Language Counterfactual Generation [7.022371235308068]
自然言語のカウンターファクト生成は、修正されたテキストが別のクラスに分類されるように、与えられたテキストを最小限に修正することを目的としている。
生成手法を4つのグループに体系的に分類し、生成品質を評価するための指標を要約する新しい分類法を提案する。
論文 参考訳（メタデータ） (2024-07-04T15:13:59Z) - Challenges and Opportunities in Text Generation Explainability [12.089513278445704]
本稿では,説明可能性手法の開発と評価において生じる3つのグループに分類される17の課題について概説する。
これらの課題には、トークン化、説明の類似性の定義、トークンの重要性の決定と予測変更メトリクス、人間の介入のレベル、適切なテストデータセットの作成などが含まれる。
この論文は、これらの課題がコミュニティにとっての新たな機会として、どのように絡み合うことができるかを説明している。
論文 参考訳（メタデータ） (2024-05-14T09:44:52Z) - A Systematic Review of Data-to-Text NLG [2.4769539696439677]
高品質なテキストを生成する手法を探索し、テキスト生成における幻覚の課題に対処する。
テキスト品質の進歩にもかかわらず、このレビューは低リソース言語における研究の重要性を強調している。
論文 参考訳（メタデータ） (2024-02-13T14:51:45Z) - Multi-Dimensional Evaluation of Text Summarization with In-Context
Learning [79.02280189976562]
本稿では,テキスト内学習を用いた多次元評価器として,大規模言語モデルの有効性について検討する。
実験の結果,テキスト要約作業において,文脈内学習に基づく評価手法が学習評価フレームワークと競合していることが判明した。
次に、テキスト内サンプルの選択や数などの要因がパフォーマンスに与える影響を分析する。
論文 参考訳（メタデータ） (2023-06-01T23:27:49Z) - Visualizing the Relationship Between Encoded Linguistic Information and
Task Performance [53.223789395577796]
本稿では,Pareto Optimalityの観点から,符号化言語情報とタスクパフォーマンスの動的関係について検討する。
我々は、機械翻訳と言語モデリングという2つの一般的なNLPタスクの実験を行い、様々な言語情報とタスクパフォーマンスの関係について検討する。
実験結果から,NLPタスクには構文情報が有用であるのに対して,より構文情報の符号化が必ずしも優れたパフォーマンスをもたらすとは限らないことが示唆された。
論文 参考訳（メタデータ） (2022-03-29T19:03:10Z) - A Survey on Retrieval-Augmented Text Generation [53.04991859796971]
Retrieval-augmented text generationは顕著な利点があり、多くのNLPタスクで最先端のパフォーマンスを実現している。
まず、検索拡張生成の一般的なパラダイムを強調し、異なるタスクに応じて注目すべきアプローチをレビューする。
論文 参考訳（メタデータ） (2022-02-02T16:18:41Z) - Robust Natural Language Processing: Recent Advances, Challenges, and
Future Directions [4.409836695738517]
文献を様々な次元にわたって体系的に要約することで,NLPロバストネス研究の構造化概要を述べる。
次に、テクニック、メトリクス、埋め込み、ベンチマークなど、堅牢性のさまざまな側面を深く掘り下げます。
論文 参考訳（メタデータ） (2022-01-03T17:17:11Z) - Data Augmentation in Natural Language Processing: A Novel Text
Generation Approach for Long and Short Text Classifiers [8.19984844136462]
本稿では,長文と短文の分類器の性能向上に適したテキスト生成手法を提案し,評価する。
シミュレーションされた低データレギュレーションでは、最大15.53%の加算精度ゲインが達成される。
さまざまな種類のデータセットに対するアプローチを成功に導くための意味とパターンについて議論します。
論文 参考訳（メタデータ） (2021-03-26T13:16:07Z) - Positioning yourself in the maze of Neural Text Generation: A
Task-Agnostic Survey [54.34370423151014]
本稿では, ストーリーテリング, 要約, 翻訳など, 世代ごとのタスクインパクトをリレーする手法の構成要素について検討する。
本稿では,学習パラダイム,事前学習,モデリングアプローチ,復号化,各分野における重要な課題について,命令的手法の抽象化を提案する。
論文 参考訳（メタデータ） (2020-10-14T17:54:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。