論文の概要: Bilevel Scheduled Sampling for Dialogue Generation

• arxiv url: http://arxiv.org/abs/2309.01953v1
• Date: Tue, 5 Sep 2023 05:05:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 16:22:48.366408
• Title: Bilevel Scheduled Sampling for Dialogue Generation
• Title（参考訳）: 対話生成のためのバイレベルスケジュールサンプリング
• Authors: Jiawen Liu and Kan Li
• Abstract要約: 文レベル情報を考慮し、単語レベルの品質を組み込んだバイレベルスケジュールサンプリングモデルを提案する。 DailyDialog と PersonaChat のデータセットを用いて実験を行い,提案手法の有効性を実証した。
• 参考スコア（独自算出の注目度）: 6.89978591161039
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Exposure bias poses a common challenge in numerous natural language processing tasks, particularly in the dialog generation. In response to this issue, researchers have devised various techniques, among which scheduled sampling has proven to be an effective method for mitigating exposure bias. However, the existing state-of-the-art scheduled sampling methods solely consider the current sampling words' quality for threshold truncation sampling, which overlooks the importance of sentence-level information and the method of threshold truncation warrants further discussion. In this paper, we propose a bilevel scheduled sampling model that takes the sentence-level information into account and incorporates it with word-level quality. To enhance sampling diversity and improve the model's adaptability, we propose a smooth function that maps the combined result of sentence-level and word-level information to an appropriate range, and employ probabilistic sampling based on the mapped values instead of threshold truncation. Experiments conducted on the DailyDialog and PersonaChat datasets demonstrate the effectiveness of our proposed methods, which significantly alleviate the exposure bias problem and outperform state-of-the-art scheduled sampling methods.
• Abstract（参考訳）: 露光バイアスは多くの自然言語処理タスク、特にダイアログ生成において共通の課題となる。 この問題に対して、研究者らは様々な手法を考案し、定期的なサンプリングが露光バイアスを軽減する効果的な方法であることが証明された。 しかし、既存の最先端のスケジュールサンプリング手法では、文レベルの情報の重要性やしきい値切り出し保証の方法を見落としている閾値切り出しサンプリングにおける現在のサンプリング語の品質のみを考慮している。 本稿では,文レベルの情報を考慮し,単語レベルの品質に組み込む2段階のスケジュールサンプリングモデルを提案する。 サンプリングの多様性を高め,モデルの適応性を向上させるために,文レベルの情報と単語レベルの情報を組み合わせた結果を適切な範囲にマッピングする滑らかな関数を提案し,しきい値切り換えではなく,マッピングされた値に基づく確率的サンプリングを導入する。 dailydialogとペルソナチャットデータセットで行った実験では,提案手法の有効性が示され,露光バイアス問題を大幅に軽減し,最先端のスケジュールサンプリング法を上回っている。

関連論文リスト

• Balancing Diversity and Risk in LLM Sampling: How to Select Your Method and Parameter for Open-Ended Text Generation [60.493180081319785]
  本稿では,各復号工程における多様性とリスクのトレードオフを考慮し,トラクションサンプリング手法の本質的な能力を推定する体系的手法を提案する。 本研究は,既存のトラクションサンプリング手法の総合的な比較と,ユーザのガイドラインとして推奨されるパラメータについて紹介する。
  論文  参考訳（メタデータ） (2024-08-24T14:14:32Z)
• Compress Guidance in Conditional Diffusion Sampling [16.671575782090045]
  この研究は問題を識別し、定量化し、多くのタイミングでガイダンスを減らしたり除いたりすることでこの問題を軽減できることを示した。 画像の質と多様性を著しく向上させながら、必要なガイダンスタイムステップを40%近く削減する。
  論文  参考訳（メタデータ） (2024-08-20T21:02:54Z)
• AdaSelection: Accelerating Deep Learning Training through Data Subsampling [27.46630703428186]
  適応型サブサンプリング手法であるAdaSelectionを導入し,各ミニバッチ内の最も情報性の高いサブサンプルを同定する。 業界標準のベースラインと比較すると、AdaSelectionは一貫して優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-06-19T07:01:28Z)
• Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
  ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。 本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-12-20T19:29:37Z)
• Speaker Embedding-aware Neural Diarization for Flexible Number of Speakers with Textual Information [55.75018546938499]
  本稿では,話者埋め込み認識型ニューラルダイアリゼーション(SEND)手法を提案する。 本手法は,ターゲット話者の音声活動検出よりも低いダイアリゼーション誤差率を実現する。
  論文  参考訳（メタデータ） (2021-11-28T12:51:04Z)
• Self-Normalized Importance Sampling for Neural Language Modeling [97.96857871187052]
  本研究では, 自己正規化重要度サンプリングを提案し, これまでの研究と比較すると, 本研究で考慮された基準は自己正規化されており, さらに修正を行う必要はない。 提案する自己正規化重要度サンプリングは,研究指向と生産指向の両方の自動音声認識タスクにおいて競合することを示す。
  論文  参考訳（メタデータ） (2021-11-11T16:57:53Z)
• AutoSampling: Search for Effective Data Sampling Schedules [118.20014773014671]
  モデル学習のためのサンプリングスケジュールを自動的に学習するAutoSampling法を提案する。 提案手法の有効性を示す様々な画像分類タスクに本手法を適用した。
  論文  参考訳（メタデータ） (2021-05-28T09:39:41Z)
• On Sampling-Based Training Criteria for Neural Language Modeling [97.35284042981675]
  我々はモンテカルロサンプリング、重要サンプリング、補償部分和と呼ばれる新しい方法、およびノイズコントラスト推定を検討する。 対象のクラス後部確率を補正しさえすれば,これらすべてのサンプリング手法が同等に動作可能であることを示す。 Switchboard と LibriSpeech における言語モデリングと音声認識の実験結果が,我々の主張を支持した。
  論文  参考訳（メタデータ） (2021-04-21T12:55:52Z)
• An Effective Contextual Language Modeling Framework for Speech Summarization with Augmented Features [13.97006782398121]
  変換器による双方向表現(BERT)モデルが提案され,多くの自然言語処理タスクにおいて記録破りの成功を収めた。 本研究では,不完全な自動音声認識によるネガティブな影響を軽減するために,信頼度スコアを文表現に組み込むことを検討した。 提案手法の有効性をベンチマークデータセットで検証する。
  論文  参考訳（メタデータ） (2020-06-01T18:27:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。