論文の概要: Why Guided Dialog Policy Learning performs well? Understanding the role of adversarial learning and its alternative

• arxiv url: http://arxiv.org/abs/2307.06721v1
• Date: Thu, 13 Jul 2023 12:29:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-14 14:49:06.928294
• Title: Why Guided Dialog Policy Learning performs well? Understanding the role of adversarial learning and its alternative
• Title（参考訳）: なぜガイドダイアログポリシー学習がうまく機能するのか? 敵対的学習の役割とその代替について
• Authors: Sho Shimoyama, Tetsuro Morimura, Kenshi Abe, Toda Takamichi, Yuta Tomomatsu, Masakazu Sugiyama, Asahi Hentona, Yuuki Azuma, Hirotaka Ninomiya
• Abstract要約: 近年では、ダイアログポリシー学習(DPL)のための有望な選択肢として強化学習が登場している。 収集データから報酬を推定する方法の1つは、相手学習(AL)を用いて報酬推定器と対話ポリシーを同時に訓練することである。 本稿では,DPLにおけるALの役割を,ダイアログポリシと報酬推定器の目的関数の詳細な分析を通じて明らかにする。 本稿では,ALを報酬推定から排除し,その利点を保ちながらDPLを除去する手法を提案する。
• 参考スコア（独自算出の注目度）: 0.44267358790081573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dialog policies, which determine a system's action based on the current state at each dialog turn, are crucial to the success of the dialog. In recent years, reinforcement learning (RL) has emerged as a promising option for dialog policy learning (DPL). In RL-based DPL, dialog policies are updated according to rewards. The manual construction of fine-grained rewards, such as state-action-based ones, to effectively guide the dialog policy is challenging in multi-domain task-oriented dialog scenarios with numerous state-action pair combinations. One way to estimate rewards from collected data is to train the reward estimator and dialog policy simultaneously using adversarial learning (AL). Although this method has demonstrated superior performance experimentally, it is fraught with the inherent problems of AL, such as mode collapse. This paper first identifies the role of AL in DPL through detailed analyses of the objective functions of dialog policy and reward estimator. Next, based on these analyses, we propose a method that eliminates AL from reward estimation and DPL while retaining its advantages. We evaluate our method using MultiWOZ, a multi-domain task-oriented dialog corpus.
• Abstract（参考訳）: 各ダイアログターンにおける現在の状態に基づいてシステムの動作を決定するダイアログポリシーは、ダイアログの成功に不可欠である。 近年,ダイアログポリシー学習 (DPL) の選択肢として強化学習 (RL) が登場している。 RLベースのDPLでは、報酬に応じてダイアログポリシーが更新される。 ダイアログポリシーを効果的に導くために、状態-アクションベースのような細かな報酬を手作業で構築することは、多くの状態-アクションペアの組み合わせを持つマルチドメインタスク指向ダイアログシナリオにおいて困難である。 収集したデータから報酬を推定する方法の1つは、相手学習(AL)を用いて報酬推定器とダイアログポリシーを同時に訓練することである。 この手法は実験的に優れた性能を示したが、モード崩壊などのAL固有の問題に悩まされている。 本稿ではまず,DPLにおけるALの役割を,ダイアログポリシと報酬推定器の目的関数の詳細な分析を通じて同定する。 次に、これらの分析に基づいて、ALを報酬推定から排除し、その利点を保ちながらDPLを除去する手法を提案する。 本手法はマルチドメインタスク指向対話コーパスであるmultiwozを用いて評価する。

関連論文リスト

• Plug-and-Play Policy Planner for Large Language Model Powered Dialogue Agents [121.46051697742608]
  そこで本稿では,PDPPという言語モデルプラグインを用いて対話問題を整理するための新たな対話ポリシー計画パラダイムを提案する。 具体的には、利用可能な人間の注釈付きデータに対する教師付き微調整を容易にするための新しいトレーニングフレームワークを開発する。 PPDPPは3つの異なるプロアクティブな対話アプリケーションにおいて、既存のアプローチを一貫して、実質的に上回っている。
  論文  参考訳（メタデータ） (2023-11-01T03:20:16Z)
• JoTR: A Joint Transformer and Reinforcement Learning Framework for Dialog Policy Learning [53.83063435640911]
  対話政策学習(DPL)は対話モデリングの重要な構成要素である。 フレキシブルな対話行動を生成するための新しいフレームワークであるJoTRを導入する。 従来の方法とは異なり、JoTRはよりダイナミックで適応可能な対話アクション生成を可能にするワードレベルのポリシーを定式化している。
  論文  参考訳（メタデータ） (2023-09-01T03:19:53Z)
• "Think Before You Speak": Improving Multi-Action Dialog Policy by Planning Single-Action Dialogs [33.78889030078026]
  マルチアクションダイアログポリシー(MADP)は、ターンごとに複数のアトミックダイアログアクションを生成する。 シングルアクションダイアログダイナミクスを学習する新しいマルチタスク学習フレームワークであるPlanning Enhanced Dialog Policy (PEDP)を提案する。 完全教師付き学習ベース手法は, タスク成功率90.6%を達成し, 最先端の手法に比べて3%向上した。
  論文  参考訳（メタデータ） (2022-04-25T07:55:53Z)
• In-Context Learning for Few-Shot Dialogue State Tracking [55.91832381893181]
  In-context (IC) Learning framework for few-shot dialogue state tracking (DST)を提案する。 大規模な事前訓練言語モデル(LM)は、テストインスタンスといくつかの注釈付き例を入力として取り、パラメータの更新なしに直接対話状態をデコードする。 これにより、LMは、新しいドメインやシナリオに適応する際の、以前の数ショットのDST作業と比べて、より柔軟でスケーラブルになります。
  論文  参考訳（メタデータ） (2022-03-16T11:58:24Z)
• Causal-aware Safe Policy Improvement for Task-oriented dialogue [45.88777832381149]
  我々はタスク指向対話政策学習のためのバッチrlフレームワークを提案する:causal safe policy improvement (caspi) Multiwoz2.0データセットの対話対テキスト生成およびエンドツーエンド対話タスクにおけるこのフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2021-03-10T22:34:28Z)
• Distributed Structured Actor-Critic Reinforcement Learning for Universal Dialogue Management [29.57382819573169]
  我々は,ユーザに対応する対話行動を選択するポリシーの策定に重点を置いている。 逐次的なシステム決定プロセスは、部分的に観察可能なマルコフ決定プロセスに抽象化することができる。 過去数年間、ニューラルネットワーク(NN)を関数近似器として利用するディープ強化学習(DRL)アルゴリズムが数多く存在する。
  論文  参考訳（メタデータ） (2020-09-22T05:39:31Z)
• Rethinking Dialogue State Tracking with Reasoning [76.0991910623001]
  本稿では, 対話状態の段階的追跡を, バックエンドデータの助けを借りて行うことを提案する。 実験の結果,MultiWOZ 2.1の連立信条精度は38.6%向上した。
  論文  参考訳（メタデータ） (2020-05-27T02:05:33Z)
• Semi-Supervised Dialogue Policy Learning via Stochastic Reward Estimation [33.688270031454095]
  我々は、ターンバイターンの報酬を提供するための最適なポリシーのステートアクションペアから学ぶために報酬学習を導入する。 このアプローチには、人間対人間対話の完全なステートアクションアノテーションが必要である。 半教師付き政策学習のための新たな報酬学習手法を提案する。
  論文  参考訳（メタデータ） (2020-05-09T06:28:44Z)
• Guided Dialog Policy Learning without Adversarial Learning in the Loop [103.20723982440788]
  対話政策とともに報酬関数を学習するために,多くの逆学習法が提案されている。 敵の訓練を2つの段階に分割することを提案する。 まず,識別器を補助対話生成器で訓練し,得られた報酬モデルを共通RL法に組み込んで対話ポリシー学習を指導する。
  論文  参考訳（メタデータ） (2020-04-07T11:03:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。