論文の概要: Generating Repetitions with Appropriate Repeated Words

• arxiv url: http://arxiv.org/abs/2207.00929v1
• Date: Sun, 3 Jul 2022 01:21:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-05 14:46:45.173583
• Title: Generating Repetitions with Appropriate Repeated Words
• Title（参考訳）: 適切な繰り返し単語による繰り返し生成
• Authors: Toshiki Kawamoto, Hidetaka Kamigaito, Kotaro Funakoshi, Manabu Okumura
• Abstract要約: 他人との信頼を構築するために、コミュニケーションには繰り返しが不可欠です。 私たちの知る限りでは、これは反復生成に対処する最初のニューラルアプローチです。 本稿では,微調整中にどの単語を繰り返すかを明確に学習するための平滑化手法であるWeighted Label Smoothingと,復号時により適切な繰り返しを出力できる繰り返しスコアリング手法を提案する。
• 参考スコア（独自算出の注目度）: 30.10429353715689
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A repetition is a response that repeats words in the previous speaker's utterance in a dialogue. Repetitions are essential in communication to build trust with others, as investigated in linguistic studies. In this work, we focus on repetition generation. To the best of our knowledge, this is the first neural approach to address repetition generation. We propose Weighted Label Smoothing, a smoothing method for explicitly learning which words to repeat during fine-tuning, and a repetition scoring method that can output more appropriate repetitions during decoding. We conducted automatic and human evaluations involving applying these methods to the pre-trained language model T5 for generating repetitions. The experimental results indicate that our methods outperformed baselines in both evaluations.
• Abstract（参考訳）: 繰り返し(repetition)とは、前の話者の発話を対話で繰り返す応答である。 反復は、言語研究で研究されているように、他人との信頼を構築するためのコミュニケーションに不可欠である。 本研究では反復生成に焦点をあてる。 私たちの知る限りでは、これは反復生成に対処する最初のニューラルアプローチです。 重み付きラベル平滑化法,微調整時にどの単語を繰り返すかを明示的に学習する平滑化法,復号時により適切な繰り返しを出力できる繰り返しスコアリング法を提案する。 我々は,これらの手法を訓練済み言語モデルT5に適用して,反復生成のための自動的,人為的評価を行った。 実験の結果,本手法は両評価でベースラインを上回っていた。

関連論文リスト

• Repetition Neurons: How Do Language Models Produce Repetitions? [25.430820735194768]
  本稿では,テキスト生成タスクにおける繰り返し問題の原因となるスキルニューロンとして,反復ニューロンを紹介する。 近年の訓練済み言語モデルにより生成されたテキストの繰り返し開始前後のアクティベーション値を比較することで、これらの繰り返しニューロンを同定する。
  論文  参考訳（メタデータ） (2024-10-17T12:43:47Z)
• Continuously Learning New Words in Automatic Speech Recognition [56.972851337263755]
  本稿では,新たな単語認識のための自己教師付き連続学習手法を提案する。 過去の研究から,メモリ拡張型自動音声認識モデルを用いた。 提案手法により,新たな単語の出現頻度が高くなると,新たな単語のパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-01-09T10:39:17Z)
• Lexical Repetitions Lead to Rote Learning: Unveiling the Impact of Lexical Overlap in Train and Test Reference Summaries [131.80860903537172]
  理想的な要約モデルは、roteによる参照トレーニング要約を覚えることなく、新しい要約価値のあるコンテンツに一般化すべきである。 本稿では,参照テストサマリーとトレーニングサマリーの語彙的類似性に基づいて,テストセットを分割し,詳細な評価プロトコルを提案する。
  論文  参考訳（メタデータ） (2023-11-15T23:47:53Z)
• Repetition In Repetition Out: Towards Understanding Neural Text Degeneration from the Data Perspective [91.14291142262262]
  この研究は、データの観点から、単純で基本的な説明を提示する。 予備調査では, 退化問題とトレーニングデータにおける反復の有無との間には強い相関関係がみられた。 実験の結果,訓練データにおける繰り返しのペナルティ化は,より大きなモデルサイズや命令のチューニングを考慮しても重要な課題であることがわかった。
  論文  参考訳（メタデータ） (2023-10-16T09:35:42Z)
• Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation [92.42032403795879]
  GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。 トークンレベルの反復確率の過大評価は学習バイアスに起因している。 LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
  論文  参考訳（メタデータ） (2023-07-04T07:53:55Z)
• Learning to Break the Loop: Analyzing and Mitigating Repetitions for Neural Text Generation [41.3948101212288]
  本稿では,反復トークンの確率と,その文脈における過去の繰り返しとの関係について検討する。 擬似反復データから文レベルの繰り返しの確率をペナルティ化する訓練手法を提案する。
  論文  参考訳（メタデータ） (2022-06-06T05:51:12Z)
• Towards Robust Online Dialogue Response Generation [62.99904593650087]
  これは、トレーニングと実世界のテストの相違によって引き起こされる可能性がある、と私たちは主張する。 本稿では, 発話レベルサンプリングと半発話レベルサンプリングの両方からなる階層的サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-07T06:51:41Z)
• Taming Repetition in Dialogue Generation [1.851321027703742]
  不適切な単語の繰り返しは、生成されたテキストの品質を著しく低下させる可能性がある。 我々は、繰り返しを許可するタイミングと、ペナル化サンプリングを用いるタイミングを明確に決定するために、文脈認識型分類器を設計する。 我々の手法はより高品質で真正な対話を生成できる。
  論文  参考訳（メタデータ） (2021-12-16T06:25:46Z)
• Refine and Imitate: Reducing Repetition and Inconsistency in Persuasion Dialogues via Reinforcement Learning and Human Demonstration [45.14559188965439]
  ユーザシミュレータを使わずにmleベースの言語モデルの洗練に強化学習を適用することを提案する。 我々は報酬を通じて繰り返し、矛盾、タスク関連に関する文レベル情報を蒸留する。 実験により,我々のモデルは,自動測定結果と人的評価結果の両方において,従来の最先端対話モデルよりも優れていたことがわかった。
  論文  参考訳（メタデータ） (2020-12-31T00:02:51Z)
• PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation [92.7366819044397]
  自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。 本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。 広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
  論文  参考訳（メタデータ） (2020-04-14T06:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。