論文の概要: UBARv2: Towards Mitigating Exposure Bias in Task-Oriented Dialogs

• arxiv url: http://arxiv.org/abs/2209.07239v1
• Date: Thu, 15 Sep 2022 12:14:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-16 12:40:44.773638
• Title: UBARv2: Towards Mitigating Exposure Bias in Task-Oriented Dialogs
• Title（参考訳）: UBARv2:タスク指向ダイアログにおける露光バイアスの緩和
• Authors: Yunyi Yang, Hong Ding, Qingyi Liu, Xiaojun Quan
• Abstract要約: トレーニング中にダイアログコンテキストのサンプル生成内容にモデルを明示的に公開するセッションレベルサンプリングを提案する。 我々は,マスク戦略R-Maskを用いたドロップアウト型整合性正規化を用いて,モデルの堅牢性と性能をさらに向上する。 UBARv2は、標準化された評価ベンチマークMultiWOZ上で最先端の性能を実現する。
• 参考スコア（独自算出の注目度）: 28.051423938045843
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper studies the exposure bias problem in task-oriented dialog systems, where the model's generated content over multiple turns drives the dialog context away from the ground-truth distribution at training time, introducing error propagation and damaging the robustness of the TOD system. To bridge the gap between training and inference for multi-turn task-oriented dialogs, we propose session-level sampling which explicitly exposes the model to sampled generated content of dialog context during training. Additionally, we employ a dropout-based consistency regularization with the masking strategy R-Mask to further improve the robustness and performance of the model. The proposed UBARv2 achieves state-of-the-art performance on the standardized evaluation benchmark MultiWOZ and extensive experiments show the effectiveness of the proposed methods.
• Abstract（参考訳）: 本稿では,タスク指向ダイアログシステムにおける露出バイアス問題について検討し,モデルが生成した複数のコンテントが学習時の地中構造分布からダイアログコンテキストを逸脱させ,エラー伝搬を導入し,TODシステムのロバスト性を損なう。 マルチターンタスク指向ダイアログのトレーニングと推論のギャップを埋めるために、トレーニング中に生成されたダイアログコンテキストのサンプルコンテンツにモデルを明示的に公開するセッションレベルサンプリングを提案する。 さらに、マスキング戦略R-Maskによるドロップアウトベースの整合性正規化を用いて、モデルの堅牢性と性能をさらに向上する。 提案するubarv2は標準評価ベンチマークマルチウォズにおいて最先端の性能を達成し,提案手法の有効性を示す広範な実験を行った。

関連論文リスト

• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• TA&AT: Enhancing Task-Oriented Dialog with Turn-Level Auxiliary Tasks and Action-Tree Based Scheduled Sampling [16.77137239284608]
  タスク指向対話システムは,対話型事前学習技術によって大きく進歩している。 エンコーダのターンレベルマルチタスク目的を提案する。 デコーダに対しては,アクションツリーに基づくスケジュールサンプリング手法を導入する。
  論文  参考訳（メタデータ） (2024-01-28T11:02:23Z)
• DialCLIP: Empowering CLIP as Multi-Modal Dialog Retriever [83.33209603041013]
  マルチモーダルダイアログ検索のためのパラメータ効率の高いプロンプトチューニング手法であるDialCLIPを提案する。 提案手法では,事前学習された視覚言語モデルCLIP内のプロンプトに抽出された文脈特徴を学習するためのマルチモーダルコンテキスト生成手法を提案する。 様々なタイプの検索を容易にするために,CLIP出力からマルチモーダル表現空間へのマッピングを学習するために,複数の専門家を設計する。
  論文  参考訳（メタデータ） (2024-01-02T07:40:12Z)
• JoTR: A Joint Transformer and Reinforcement Learning Framework for Dialog Policy Learning [53.83063435640911]
  対話政策学習(DPL)は対話モデリングの重要な構成要素である。 フレキシブルな対話行動を生成するための新しいフレームワークであるJoTRを導入する。 従来の方法とは異なり、JoTRはよりダイナミックで適応可能な対話アクション生成を可能にするワードレベルのポリシーを定式化している。
  論文  参考訳（メタデータ） (2023-09-01T03:19:53Z)
• Multijugate Dual Learning for Low-Resource Task-Oriented Dialogue System [40.072084239764465]
  低リソースシナリオにおけるデータ利用効率は、不確実な発話および決定論的対話状態のマイニングアライメント情報によって向上することができる。 タスク指向対話における二元学習を革新的に実装し、異種データの相関性を利用する。
  論文  参考訳（メタデータ） (2023-05-25T14:38:05Z)
• "Think Before You Speak": Improving Multi-Action Dialog Policy by Planning Single-Action Dialogs [33.78889030078026]
  マルチアクションダイアログポリシー(MADP)は、ターンごとに複数のアトミックダイアログアクションを生成する。 シングルアクションダイアログダイナミクスを学習する新しいマルチタスク学習フレームワークであるPlanning Enhanced Dialog Policy (PEDP)を提案する。 完全教師付き学習ベース手法は, タスク成功率90.6%を達成し, 最先端の手法に比べて3%向上した。
  論文  参考訳（メタデータ） (2022-04-25T07:55:53Z)
• DialAug: Mixing up Dialogue Contexts in Contrastive Learning for Robust Conversational Modeling [3.3578533367912025]
  本稿では,対話コンテキストの拡張バージョンを学習目的に組み込むフレームワークを提案する。 提案手法は,従来のデータ拡張手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-04-15T23:39:41Z)
• Utterance Rewriting with Contrastive Learning in Multi-turn Dialogue [22.103162555263143]
  比較学習とマルチタスク学習を導入し、問題を共同でモデル化する。 提案手法は,複数の公開データセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-22T10:13:27Z)
• Towards Robust Online Dialogue Response Generation [62.99904593650087]
  これは、トレーニングと実世界のテストの相違によって引き起こされる可能性がある、と私たちは主張する。 本稿では, 発話レベルサンプリングと半発話レベルサンプリングの両方からなる階層的サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-07T06:51:41Z)
• Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
  我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。 我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。 実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-09-14T08:44:46Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。