論文の概要: Dynamic Stochastic Decoding Strategy for Open-Domain Dialogue Generation

• arxiv url: http://arxiv.org/abs/2406.07850v1
• Date: Wed, 12 Jun 2024 03:38:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 18:34:46.504832
• Title: Dynamic Stochastic Decoding Strategy for Open-Domain Dialogue Generation
• Title（参考訳）: オープンドメイン対話生成のための動的確率デコード戦略
• Authors: Yiwei Li, Fei Mi, Yitong Li, Yasheng Wang, Bin Sun, Shaoxiong Feng, Kan Li,
• Abstract要約: オープンドメインチャットシステムとしては,チットチャットとナレッジベースの質問応答という,2つの異なる会話シナリオが存在する。 前者の状況では、対話における一対多の性質のため、応答の多様性が不可欠である。 復号戦略では誤った情報を生成するリスクが伴うため、後者ではランダム性が低い。
• 参考スコア（独自算出の注目度）: 47.109154320905205
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic sampling strategies such as top-k and top-p have been widely used in dialogue generation task. However, as an open-domain chatting system, there will be two different conversation scenarios, i.e. chit-chat and knowledge-based question answering. In the former situation, responses diversity is essential due to the one-to-many nature in dialogue. The latter, on the other hand, requires less randomness given that stochastic decoding strategy entails the risk of generating incorrect information. As a result, an adaptive and flexible decoding strategy is needed to cope with these two scenarios simultaneously. To this end, we propose the dynamic decoding strategy (DDS), which can adjust the decoding space w.r.t. different contexts. In DDS, both sequence-level and token-level adaptive search can be achieved to adjust the decoding process in a unified framework. Besides, our adaptive algorithm can not only be used during model inference, but it can also be applied during the model training stage to further enhance the performance. Comprehensive experiments indicate that the proposed decoding strategy can consistently improve the performance of pre-trained dialogue models when coupled with four well-used stochastic decoding algorithms.
• Abstract（参考訳）: トップkやトップpのような確率的サンプリング戦略は対話生成タスクで広く用いられている。 しかし、オープンドメインチャットシステムとして、チトチャットとナレッジベースの質問応答という2つの異なる会話シナリオが存在する。 前者の状況では、対話における一対多の性質のため、応答の多様性が不可欠である。 一方、確率的復号法では誤った情報を生成するリスクが伴うため、後者ではランダム性が低い。 その結果,これら2つのシナリオを同時に扱うためには,適応的かつ柔軟な復号化戦略が必要である。 そこで本稿では,動的復号化戦略(DDS)を提案する。 DDSでは、シーケンスレベルとトークンレベルのアダプティブ検索の両方を達成でき、統一されたフレームワークでデコードプロセスを調整することができる。 また,適応アルゴリズムはモデル推論時にのみ利用できるだけでなく,モデル学習段階でも適用でき,さらなる性能向上が期待できる。 包括的実験により,提案手法は4つの確率的復号アルゴリズムと組み合わせることで,事前学習した対話モデルの性能を一貫して向上できることが示された。

関連論文リスト

• Fine-grained Conversational Decoding via Isotropic and Proximal Search [17.904421465456814]
  本稿では, テクスティフィケーションと近位探索(IPS)と呼ばれる, きめ細かい会話復号法を提案する。 本手法は,文脈に対する情報伝達と識別を維持しつつ,意味集中型応答を生成するように設計されている。 実験により,本手法は,自動評価指標と人的評価指標の両方において,対話分野における既存の復号化戦略よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-12T08:38:12Z)
• Diverse and Faithful Knowledge-Grounded Dialogue Generation via Sequential Posterior Inference [82.28542500317445]
  本稿では,知識の選択と対話生成が可能な,逐次後推論(Sequential Posterior Inference, SPI)と呼ばれるエンドツーエンド学習フレームワークを提案する。 他の方法とは異なり、SPIは推論ネットワークを必要とせず、後部分布の単純な幾何学を仮定する。
  論文  参考訳（メタデータ） (2023-06-01T21:23:13Z)
• Adaptive Multi-Corpora Language Model Training for Speech Recognition [13.067901680326932]
  本稿では,学習過程に沿って各コーパスのサンプリング確率を動的に学習・調整する適応型多コーパス学習アルゴリズムを提案する。 静的サンプリング戦略のベースラインと比較すると,提案手法は顕著な改善をもたらす。
  論文  参考訳（メタデータ） (2022-11-09T06:54:50Z)
• An Equal-Size Hard EM Algorithm for Diverse Dialogue Generation [27.445562543667357]
  多様な対話生成のためのマルチデコーダモデルを学習するための等サイズハード期待-最大化アルゴリズムを提案する。 提案アルゴリズムでは, サンプルをハードな方法でデコーダに割り当て, また, 全てのデコーダが十分に訓練されていることを保証するために, 均等なアサインメント制約を課す。
  論文  参考訳（メタデータ） (2022-09-29T08:41:32Z)
• Unsupervised Mismatch Localization in Cross-Modal Sequential Data [5.932046800902776]
  我々は、コンテンツミスマッチしたクロスモーダルデータ間の関係を推測できる教師なし学習アルゴリズムを開発した。 本稿では,音声生成過程を階層的に構造化された潜在変数に分解する,ミスマッチ局所化変分自動符号化(ML-VAE)という階層型ベイズディープラーニングモデルを提案する。 実験の結果,ML-VAEは人間のアノテーションを必要とせず,テキストと音声のミスマッチの特定に成功した。
  論文  参考訳（メタデータ） (2022-05-05T14:23:27Z)
• Speaker Embedding-aware Neural Diarization: a Novel Framework for Overlapped Speech Diarization in the Meeting Scenario [51.5031673695118]
  重なり合う音声のダイアリゼーションを単一ラベル予測問題として再構成する。 話者埋め込み認識型ニューラルダイアリゼーション(SEND)システムを提案する。
  論文  参考訳（メタデータ） (2022-03-18T06:40:39Z)
• LAVA: Latent Action Spaces via Variational Auto-encoding for Dialogue Policy Optimization [2.78632567955797]
  強化学習は、タスク指向の対話システムがタスク完了に向けて会話を操ることを可能にする。 エンドツーエンド設定では、システム語彙全体をアクション空間として単語レベルの逐次決定プロセスで応答を構築することができる。 現在のアプローチでは、トレーニングにインフォームド事前を使用し、コンテキストのみに基づいて潜伏分布を最適化している。 したがって、潜在表現が真に異なる行動の特徴を符号化するかどうかは不明である。
  論文  参考訳（メタデータ） (2020-11-18T16:23:30Z)
• Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
  我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。 我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。 実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-09-14T08:44:46Z)
• Video-Grounded Dialogues with Pretrained Generation Language Models [88.15419265622748]
  我々は、ビデオ地上対話を改善するために、事前学習された言語モデルのパワーを利用する。 本稿では,シーケンス・ツー・グラウンドの対話タスクを,シーケンス・トゥ・グラウンドのタスクとして定式化するフレームワークを提案する。 我々のフレームワークは、微調整の言語モデルで複数のモダリティにまたがる依存関係をキャプチャできる。
  論文  参考訳（メタデータ） (2020-06-27T08:24:26Z)
• Meta Dialogue Policy Learning [58.045067703675095]
  我々は、ドメイン間の共有可能な低レベル信号を利用するために、Deep Transferable Q-Network (DTQN)を提案する。 状態と行動表現空間をこれらの低レベル成分に対応する特徴部分空間に分解する。 実験において,本モデルは,成功率と対話効率の両方の観点から,ベースラインモデルより優れている。
  論文  参考訳（メタデータ） (2020-06-03T23:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。