論文の概要: Generating Repetitions with Appropriate Repeated Words
- arxiv url: http://arxiv.org/abs/2207.00929v1
- Date: Sun, 3 Jul 2022 01:21:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-05 14:46:45.173583
- Title: Generating Repetitions with Appropriate Repeated Words
- Title(参考訳): 適切な繰り返し単語による繰り返し生成
- Authors: Toshiki Kawamoto, Hidetaka Kamigaito, Kotaro Funakoshi, Manabu Okumura
- Abstract要約: 他人との信頼を構築するために、コミュニケーションには繰り返しが不可欠です。
私たちの知る限りでは、これは反復生成に対処する最初のニューラルアプローチです。
本稿では,微調整中にどの単語を繰り返すかを明確に学習するための平滑化手法であるWeighted Label Smoothingと,復号時により適切な繰り返しを出力できる繰り返しスコアリング手法を提案する。
- 参考スコア(独自算出の注目度): 30.10429353715689
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A repetition is a response that repeats words in the previous speaker's
utterance in a dialogue. Repetitions are essential in communication to build
trust with others, as investigated in linguistic studies. In this work, we
focus on repetition generation. To the best of our knowledge, this is the first
neural approach to address repetition generation. We propose Weighted Label
Smoothing, a smoothing method for explicitly learning which words to repeat
during fine-tuning, and a repetition scoring method that can output more
appropriate repetitions during decoding. We conducted automatic and human
evaluations involving applying these methods to the pre-trained language model
T5 for generating repetitions. The experimental results indicate that our
methods outperformed baselines in both evaluations.
- Abstract(参考訳): 繰り返し(repetition)とは、前の話者の発話を対話で繰り返す応答である。
反復は、言語研究で研究されているように、他人との信頼を構築するためのコミュニケーションに不可欠である。
本研究では反復生成に焦点をあてる。
私たちの知る限りでは、これは反復生成に対処する最初のニューラルアプローチです。
重み付きラベル平滑化法,微調整時にどの単語を繰り返すかを明示的に学習する平滑化法,復号時により適切な繰り返しを出力できる繰り返しスコアリング法を提案する。
我々は,これらの手法を訓練済み言語モデルT5に適用して,反復生成のための自動的,人為的評価を行った。
実験の結果,本手法は両評価でベースラインを上回っていた。
関連論文リスト
- Continuously Learning New Words in Automatic Speech Recognition [56.972851337263755]
本稿では,新たな単語認識のための自己教師付き連続学習手法を提案する。
過去の研究から,メモリ拡張型自動音声認識モデルを用いた。
提案手法により,新たな単語の出現頻度が高くなると,新たな単語のパフォーマンスが向上することを示す。
論文 参考訳(メタデータ) (2024-01-09T10:39:17Z) - Lexical Repetitions Lead to Rote Learning: Unveiling the Impact of
Lexical Overlap in Train and Test Reference Summaries [131.80860903537172]
理想的な要約モデルは、roteによる参照トレーニング要約を覚えることなく、新しい要約価値のあるコンテンツに一般化すべきである。
本稿では,参照テストサマリーとトレーニングサマリーの語彙的類似性に基づいて,テストセットを分割し,詳細な評価プロトコルを提案する。
論文 参考訳(メタデータ) (2023-11-15T23:47:53Z) - Repetition In Repetition Out: Towards Understanding Neural Text
Degeneration from the Data Perspective [91.14291142262262]
この研究は、データの観点から、単純で基本的な説明を提示する。
予備調査では, 退化問題とトレーニングデータにおける反復の有無との間には強い相関関係がみられた。
実験の結果,訓練データにおける繰り返しのペナルティ化は,より大きなモデルサイズや命令のチューニングを考慮しても重要な課題であることがわかった。
論文 参考訳(メタデータ) (2023-10-16T09:35:42Z) - Mitigating the Learning Bias towards Repetition by Self-Contrastive
Training for Open-Ended Generation [92.42032403795879]
GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。
トークンレベルの反復確率の過大評価は学習バイアスに起因している。
LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
論文 参考訳(メタデータ) (2023-07-04T07:53:55Z) - Learning to Break the Loop: Analyzing and Mitigating Repetitions for
Neural Text Generation [41.3948101212288]
本稿では,反復トークンの確率と,その文脈における過去の繰り返しとの関係について検討する。
擬似反復データから文レベルの繰り返しの確率をペナルティ化する訓練手法を提案する。
論文 参考訳(メタデータ) (2022-06-06T05:51:12Z) - Towards Robust Online Dialogue Response Generation [62.99904593650087]
これは、トレーニングと実世界のテストの相違によって引き起こされる可能性がある、と私たちは主張する。
本稿では, 発話レベルサンプリングと半発話レベルサンプリングの両方からなる階層的サンプリング手法を提案する。
論文 参考訳(メタデータ) (2022-03-07T06:51:41Z) - Taming Repetition in Dialogue Generation [1.851321027703742]
不適切な単語の繰り返しは、生成されたテキストの品質を著しく低下させる可能性がある。
我々は、繰り返しを許可するタイミングと、ペナル化サンプリングを用いるタイミングを明確に決定するために、文脈認識型分類器を設計する。
我々の手法はより高品質で真正な対話を生成できる。
論文 参考訳(メタデータ) (2021-12-16T06:25:46Z) - Refine and Imitate: Reducing Repetition and Inconsistency in Persuasion
Dialogues via Reinforcement Learning and Human Demonstration [45.14559188965439]
ユーザシミュレータを使わずにmleベースの言語モデルの洗練に強化学習を適用することを提案する。
我々は報酬を通じて繰り返し、矛盾、タスク関連に関する文レベル情報を蒸留する。
実験により,我々のモデルは,自動測定結果と人的評価結果の両方において,従来の最先端対話モデルよりも優れていたことがわかった。
論文 参考訳(メタデータ) (2020-12-31T00:02:51Z) - DialogBERT: Discourse-Aware Response Generation via Learning to Recover
and Rank Utterances [18.199473005335093]
本稿では,従来の PLM に基づく対話モデルを強化した対話応答生成モデルである DialogBERT を提案する。
発話間の談話レベルのコヒーレンスを効果的に把握するために,マスク付き発話回帰を含む2つの訓練目標を提案する。
3つのマルチターン会話データセットの実験により、我々のアプローチがベースラインを著しく上回ることを示した。
論文 参考訳(メタデータ) (2020-12-03T09:06:23Z) - PALM: Pre-training an Autoencoding&Autoregressive Language Model for
Context-conditioned Generation [92.7366819044397]
自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。
本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。
広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
論文 参考訳(メタデータ) (2020-04-14T06:25:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。