論文の概要: Taming Repetition in Dialogue Generation
- arxiv url: http://arxiv.org/abs/2112.08657v1
- Date: Thu, 16 Dec 2021 06:25:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-18 02:32:07.943091
- Title: Taming Repetition in Dialogue Generation
- Title（参考訳）: 対話生成におけるモデリング繰り返し
- Authors: Yadong Xi, Jiashu Pu, Xiaoxi Mao
- Abstract要約: 不適切な単語の繰り返しは、生成されたテキストの品質を著しく低下させる可能性がある。
我々は、繰り返しを許可するタイミングと、ペナル化サンプリングを用いるタイミングを明確に決定するために、文脈認識型分類器を設計する。
我々の手法はより高品質で真正な対話を生成できる。
- 参考スコア（独自算出の注目度）: 1.851321027703742
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The wave of pre-training language models has been continuously improving the
quality of the machine-generated conversations, however, some of the generated
responses still suffer from excessive repetition, sometimes repeating words
from utterance, sometimes repeating words within self-generated responses, or
both. Inappropriate repetition of words can significantly degrade the quality
of the generated texts. Penalized sampling is one popular solution, reducing
the sampling probability of existing words during inference, however, it is
highly vulnerable to the inappropriate setting of the static weight. Setting it
too high can yield strange and unrealistic sentences while setting it too low
makes the task of suppressing repetition trivial. To remedy the shortcomings of
the above methods, we design a context-aware classifier to explicitly decide
when to allow repetition and when to employ penalized sampling. Such a
classifier can be easily integrated with existing decoding methods, reducing
repetitions where appropriate while preserving the diversity of the text.
Experimental results demonstrate that our method can generate higher quality
and more authentic dialogues.
- Abstract（参考訳）: 事前学習言語モデルの波は、機械が生成する会話の品質を継続的に改善してきたが、生成した応答のいくつかは依然として過度な反復、時には発話からの単語の繰り返し、時には自己生成した応答の中で単語を繰り返す、あるいはその両方に苦しんでいる。
不適切な単語の繰り返しは、生成されたテキストの品質を著しく低下させる。
ペナルタライズドサンプリングは一般的なソリューションのひとつであり、推論中の既存の単語のサンプリング確率を減少させるが、静的重み付けの不適切な設定に対して非常に脆弱である。
あまりに高く設定すると、奇妙で非現実的な文が得られ、低すぎると繰り返しを抑える作業が簡単になる。
上記の手法の欠点を補うために,繰り返しを許すタイミングとペナル化サンプリングを用いるタイミングを明確に決定する文脈認識分類器を設計する。
このような分類器は既存の復号法と容易に統合でき、テキストの多様性を保ちながら適切な繰り返しを減らすことができる。
実験の結果,本手法はより高品質で真正な対話を生成できることがわかった。
関連論文リスト
- Detecting, Explaining, and Mitigating Memorization in Diffusion Models [49.438362005962375]
そこで本研究では,テキスト条件予測の大きさを検査することで,暗黙のプロンプトを検出する方法を提案する。
提案手法はサンプリングアルゴリズムを中断することなくシームレスに統合し,第1世代でも高い精度を実現する。
検出戦略に基づいて,個々の単語やトークンの記憶への寄与を示す説明可能なアプローチを提示する。
論文 参考訳（メタデータ） (2024-07-31T16:13:29Z) - Mitigating the Learning Bias towards Repetition by Self-Contrastive
Training for Open-Ended Generation [92.42032403795879]
GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。
トークンレベルの反復確率の過大評価は学習バイアスに起因している。
LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
論文 参考訳（メタデータ） (2023-07-04T07:53:55Z) - Learning with Rejection for Abstractive Text Summarization [42.15551472507393]
本稿では,拒絶学習に基づく抽象的な要約のための学習目標を提案する。
本手法は, 自動評価と人的評価において, 生成した要約の事実性を大幅に向上することを示す。
論文 参考訳（メタデータ） (2023-02-16T19:07:08Z) - Generating Repetitions with Appropriate Repeated Words [30.10429353715689]
他人との信頼を構築するために、コミュニケーションには繰り返しが不可欠です。
私たちの知る限りでは、これは反復生成に対処する最初のニューラルアプローチです。
本稿では,微調整中にどの単語を繰り返すかを明確に学習するための平滑化手法であるWeighted Label Smoothingと,復号時により適切な繰り返しを出力できる繰り返しスコアリング手法を提案する。
論文 参考訳（メタデータ） (2022-07-03T01:21:49Z) - Learning to Break the Loop: Analyzing and Mitigating Repetitions for
Neural Text Generation [41.3948101212288]
本稿では,反復トークンの確率と,その文脈における過去の繰り返しとの関係について検討する。
擬似反復データから文レベルの繰り返しの確率をペナルティ化する訓練手法を提案する。
論文 参考訳（メタデータ） (2022-06-06T05:51:12Z) - Towards Robust Online Dialogue Response Generation [62.99904593650087]
これは、トレーニングと実世界のテストの相違によって引き起こされる可能性がある、と私たちは主張する。
本稿では, 発話レベルサンプリングと半発話レベルサンプリングの両方からなる階層的サンプリング手法を提案する。
論文 参考訳（メタデータ） (2022-03-07T06:51:41Z) - Speaker Embedding-aware Neural Diarization for Flexible Number of
Speakers with Textual Information [55.75018546938499]
本稿では,話者埋め込み認識型ニューラルダイアリゼーション(SEND)手法を提案する。
本手法は,ターゲット話者の音声活動検出よりも低いダイアリゼーション誤差率を実現する。
論文 参考訳（メタデータ） (2021-11-28T12:51:04Z) - Self-Normalized Importance Sampling for Neural Language Modeling [97.96857871187052]
本研究では, 自己正規化重要度サンプリングを提案し, これまでの研究と比較すると, 本研究で考慮された基準は自己正規化されており, さらに修正を行う必要はない。
提案する自己正規化重要度サンプリングは,研究指向と生産指向の両方の自動音声認識タスクにおいて競合することを示す。
論文 参考訳（メタデータ） (2021-11-11T16:57:53Z) - Rewriting Meaningful Sentences via Conditional BERT Sampling and an
application on fooling text classifiers [11.49508308643065]
テキスト分類器を欺くように設計された敵攻撃法は、いくつかの単語や文字を変更することで、テキスト分類器の予測を変更する。
文レベルの言い直しに固有の難しさや、正統な書き直し基準を設定することの難しさから、文全体を書き換えて分類子を攻撃しようとする者はほとんどいない。
本稿では,文レベルの書き換えによる逆例作成の問題について検討する。
我々は文レベルの脅威モデルと呼ばれる新しい修正基準を提案し、この基準は単語レベルの変更と文レベルの変更の両方を可能にし、意味的類似性と2つの次元で独立に調整できる。
論文 参考訳（メタデータ） (2020-10-22T17:03:13Z) - Neural Syntactic Preordering for Controlled Paraphrase Generation [57.5316011554622]
私たちの研究は、構文変換を使用して、ソース文をソフトに"リオーダー"し、神経パラフレージングモデルをガイドします。
まず、入力文が与えられた場合、エンコーダ・デコーダモデルを用いて、実行可能な構文再構成のセットを導出する。
次に、提案した各再構成を用いて位置埋め込みのシーケンスを生成し、最終的なエンコーダ-デコーダパラフレーズモデルが特定の順序でソース語に従属することを奨励する。
論文 参考訳（メタデータ） (2020-05-05T09:02:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。