論文の概要: Dialog Action-Aware Transformer for Dialog Policy Learning

• arxiv url: http://arxiv.org/abs/2309.02240v1
• Date: Tue, 5 Sep 2023 13:47:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-06 14:21:20.608220
• Title: Dialog Action-Aware Transformer for Dialog Policy Learning
• Title（参考訳）: ダイアログポリシ学習のためのダイアログアクションアウェアトランスフォーマ
• Authors: Huimin Wang, Wai-Chung Kwan, Kam-Fai Wong
• Abstract要約: 本稿では,RLエージェントの学習速度を高速化するために,事前学習言語モデルからプレーンテキスト知識をフル活用することを提案する。 具体的には,ダイアログアクション対応トランスフォーマーエンコーダ(DaTrans)を設計し,マスクされた最後のアクションタスクと呼ばれる新しい微調整手順を統合する。 DaTransはさらに、継続的な相互作用を伴うRL環境で最適化され、長期蓄積された報酬を最大化するためにダイアログアクション空間での探索を通じて進化する。
• 参考スコア（独自算出の注目度）: 22.262659702998892
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent works usually address Dialog policy learning DPL by training a reinforcement learning (RL) agent to determine the best dialog action. However, existing works on deep RL require a large volume of agent-user interactions to achieve acceptable performance. In this paper, we propose to make full use of the plain text knowledge from the pre-trained language model to accelerate the RL agent's learning speed. Specifically, we design a dialog action-aware transformer encoder (DaTrans), which integrates a new fine-tuning procedure named masked last action task to encourage DaTrans to be dialog-aware and distils action-specific features. Then, DaTrans is further optimized in an RL setting with ongoing interactions and evolves through exploration in the dialog action space toward maximizing long-term accumulated rewards. The effectiveness and efficiency of the proposed model are demonstrated with both simulator evaluation and human evaluation.
• Abstract（参考訳）: 最近の研究は通常、最高の対話行動を決定するために強化学習(RL)エージェントを訓練することでダイアログポリシー学習DPLに対処する。 しかし、既存の深層RLの研究は、許容可能な性能を達成するために大量のエージェント-ユーザインタラクションを必要とする。 本稿では,RLエージェントの学習速度を高速化するために,事前学習言語モデルからプレーンテキスト知識をフル活用することを提案する。 具体的には、ダイアログ対応のダイアログ対応トランスフォーマーエンコーダ(DaTrans)を設計し、マスクされた最後のアクションタスクと呼ばれる新しい微調整手順を統合し、DaTransをダイアログ対応にし、アクション固有の特徴を消耗させる。 次に、DATransは継続する相互作用を伴うRL設定でさらに最適化され、長期蓄積された報酬を最大化するためにダイアログアクション空間での探索を通じて進化する。 シミュレーション評価と人的評価の両面から,提案モデルの有効性と効率を実証した。

関連論文リスト

• DialCLIP: Empowering CLIP as Multi-Modal Dialog Retriever [83.33209603041013]
  マルチモーダルダイアログ検索のためのパラメータ効率の高いプロンプトチューニング手法であるDialCLIPを提案する。 提案手法では,事前学習された視覚言語モデルCLIP内のプロンプトに抽出された文脈特徴を学習するためのマルチモーダルコンテキスト生成手法を提案する。 様々なタイプの検索を容易にするために,CLIP出力からマルチモーダル表現空間へのマッピングを学習するために,複数の専門家を設計する。
  論文  参考訳（メタデータ） (2024-01-02T07:40:12Z)
• Zero-Shot Goal-Directed Dialogue via RL on Imagined Conversations [70.7884839812069]
  大規模言語モデル(LLM)は、多くの自然言語タスクに対する強力で一般的な解決策として登場した。 しかしながら、言語生成の最も重要なアプリケーションの多くは対話的であり、エージェントは望ましい結果に達するために相手と話し合わなければならない。 本研究では,そのような目標指向対話に対して,RLでLLMを適応させる新しい手法について検討する。
  論文  参考訳（メタデータ） (2023-11-09T18:45:16Z)
• JoTR: A Joint Transformer and Reinforcement Learning Framework for Dialog Policy Learning [53.83063435640911]
  対話政策学習(DPL)は対話モデリングの重要な構成要素である。 フレキシブルな対話行動を生成するための新しいフレームワークであるJoTRを導入する。 従来の方法とは異なり、JoTRはよりダイナミックで適応可能な対話アクション生成を可能にするワードレベルのポリシーを定式化している。
  論文  参考訳（メタデータ） (2023-09-01T03:19:53Z)
• Unlocking the Potential of User Feedback: Leveraging Large Language Model as User Simulator to Enhance Dialogue System [65.93577256431125]
  本稿では,ユーザガイド応答最適化 (UGRO) という代替手法を提案し,タスク指向の対話モデルと組み合わせる。 このアプローチでは、アノテーションのないユーザシミュレータとしてLLMを使用して対話応答を評価し、より小型のエンドツーエンドTODモデルと組み合わせる。 提案手法は従来のSOTA(State-of-the-art)よりも優れている。
  論文  参考訳（メタデータ） (2023-06-16T13:04:56Z)
• GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
  ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。 GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。 評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
  論文  参考訳（メタデータ） (2022-06-22T18:19:32Z)
• "Think Before You Speak": Improving Multi-Action Dialog Policy by Planning Single-Action Dialogs [33.78889030078026]
  マルチアクションダイアログポリシー(MADP)は、ターンごとに複数のアトミックダイアログアクションを生成する。 シングルアクションダイアログダイナミクスを学習する新しいマルチタスク学習フレームワークであるPlanning Enhanced Dialog Policy (PEDP)を提案する。 完全教師付き学習ベース手法は, タスク成功率90.6%を達成し, 最先端の手法に比べて3%向上した。
  論文  参考訳（メタデータ） (2022-04-25T07:55:53Z)
• GALAXY: A Generative Pre-trained Model for Task-Oriented Dialog with Semi-Supervised Learning and Explicit Policy Injection [36.77204909711832]
  本稿では,限定ラベル付きダイアログと大規模未ラベルダイアログコーパスから,対話ポリシーを明示的に学習する,事前学習型ダイアログモデルを提案する。 具体的には、事前学習中にポリシー最適化のためのダイアログアクト予測タスクを導入し、一貫性の規則化項を用いて、学習した表現を洗練させる。 その結果,GALAXYはタスク指向対話システムの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2021-11-29T15:24:36Z)
• High-Quality Diversification for Task-Oriented Dialogue Systems [18.455916009255485]
  多様な対話路を持つDRLエージェントの訓練は、稀なユーザ要求や目に見えない状況に備える。 1つの効果的な多様化方法は、エージェントが多様な学習されたユーザーモデルと対話できるようにすることである。 シミュレータで訓練されたタスク指向対話システムのための新しい対話多様化手法を提案する。
  論文  参考訳（メタデータ） (2021-06-02T02:10:07Z)
• LAVA: Latent Action Spaces via Variational Auto-encoding for Dialogue Policy Optimization [2.78632567955797]
  強化学習は、タスク指向の対話システムがタスク完了に向けて会話を操ることを可能にする。 エンドツーエンド設定では、システム語彙全体をアクション空間として単語レベルの逐次決定プロセスで応答を構築することができる。 現在のアプローチでは、トレーニングにインフォームド事前を使用し、コンテキストのみに基づいて潜伏分布を最適化している。 したがって、潜在表現が真に異なる行動の特徴を符号化するかどうかは不明である。
  論文  参考訳（メタデータ） (2020-11-18T16:23:30Z)
• Multi-Agent Task-Oriented Dialog Policy Learning with Role-Aware Reward Decomposition [64.06167416127386]
  本稿では,システムとユーザの両方をダイアログエージェントとみなすマルチエージェントダイアログポリシー学習を提案する。 2人のエージェントが互いに相互作用し、同時に一緒に学習されます。 その結果,本手法がシステムポリシとユーザポリシを同時に構築できることが示唆された。
  論文  参考訳（メタデータ） (2020-04-08T04:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。