論文の概要: GenTUS: Simulating User Behaviour and Language in Task-oriented Dialogues with Generative Transformers

• arxiv url: http://arxiv.org/abs/2208.10817v1
• Date: Tue, 23 Aug 2022 09:01:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-24 12:59:35.382430
• Title: GenTUS: Simulating User Behaviour and Language in Task-oriented Dialogues with Generative Transformers
• Title（参考訳）: GenTUS: 生成変換器を用いたタスク指向対話におけるユーザ行動と言語シミュレーション
• Authors: Hsien-Chin Lin, Christian Geishauser, Shutong Feng, Nurul Lubis, Carel van Niekerk, Michael Heck, and Milica Ga\v{s}i\'c
• Abstract要約: GenTUSはエンコーダ・デコーダ構造で構成されており、ユーザポリシーと自然言語生成を同時に最適化することができる。 GenTUSは、意味的行動と自然言語の発話の両方を生成し、解釈可能性を保持し、言語の変化を高める。 以上の結果から,GenTUSはより自然言語を生成でき,ゼロショット方式で未知のオントロジーに移行できることがわかった。
• 参考スコア（独自算出の注目度）: 2.456957408490494
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: User simulators (USs) are commonly used to train task-oriented dialogue systems (DSs) via reinforcement learning. The interactions often take place on semantic level for efficiency, but there is still a gap from semantic actions to natural language, which causes a mismatch between training and deployment environment. Incorporating a natural language generation (NLG) module with USs during training can partly deal with this problem. However, since the policy and NLG of USs are optimised separately, these simulated user utterances may not be natural enough in a given context. In this work, we propose a generative transformer-based user simulator (GenTUS). GenTUS consists of an encoder-decoder structure, which means it can optimise both the user policy and natural language generation jointly. GenTUS generates both semantic actions and natural language utterances, preserving interpretability and enhancing language variation. In addition, by representing the inputs and outputs as word sequences and by using a large pre-trained language model we can achieve generalisability in feature representation. We evaluate GenTUS with automatic metrics and human evaluation. Our results show that GenTUS generates more natural language and is able to transfer to an unseen ontology in a zero-shot fashion. In addition, its behaviour can be further shaped with reinforcement learning opening the door to training specialised user simulators.
• Abstract（参考訳）: ユーザシミュレータ(US)は、強化学習を通じてタスク指向対話システム(DS)を訓練するために一般的に使用される。 相互作用は効率的に意味レベルで行われることが多いが、セマンティックアクションから自然言語へのギャップがまだ残っているため、トレーニングとデプロイメント環境のミスマッチが発生している。 自然言語生成(NLG)モジュールをトレーニング中にUSに組み込むことは、この問題に部分的に対処できる。 しかし、米国の政策とNLGは別々に最適化されているため、これらのシミュレートされたユーザ発話は、与えられた文脈で十分自然なものではないかもしれない。 本研究では,生成型トランスフォーマーベースユーザシミュレータ(GenTUS)を提案する。 GenTUSはエンコーダ・デコーダ構造で構成されており、ユーザポリシーと自然言語生成を同時に最適化することができる。 GenTUSは、意味的行動と自然言語の発話の両方を生成し、解釈可能性を保持し、言語の変化を高める。 さらに、入力と出力を単語シーケンスとして表現し、大きな事前学習言語モデルを使用することで、特徴表現の一般性を実現することができる。 我々はGenTUSを自動測定と人的評価で評価する。 以上の結果から,GenTUSはより自然言語を生成でき,ゼロショット方式で未知のオントロジーに移行できることがわかった。 さらに、特別なユーザシミュレータをトレーニングするためのドアを開くことで、さらにその振る舞いを形作ることができる。

関連論文リスト

• Symbolic Learning Enables Self-Evolving Agents [55.625275970720374]
  エージェントシンボリックラーニング(エージェントシンボリックラーニング)(エージェントシンボリックラーニング)は、言語エージェントが自分自身で最適化できるための体系的なフレームワークである。 エージェント記号学習は、コネクショナリズム学習における2つの基本的なアルゴリズムを模倣することにより、言語エージェント内のシンボルネットワークを最適化するように設計されている。 我々は、標準ベンチマークと複雑な実世界のタスクの両方で概念実証実験を行う。
  論文  参考訳（メタデータ） (2024-06-26T17:59:18Z)
• Text-to-Code Generation with Modality-relative Pre-training [6.546893206010636]
  シーケンストークンがどのモダリティに属するかによってどのように適応できるかを検討する。 2つのバックボーンモデルと2つのテストセットにまたがる一貫した改善を観察する。
  論文  参考訳（メタデータ） (2024-02-08T16:17:24Z)
• LaTTe: Language Trajectory TransformEr [33.7939079214046]
  本研究は、汎用的な3次元ロボット軌道を修正するための柔軟な言語ベースのフレームワークを提案する。 自然言語入力と文脈イメージを3次元軌跡の変化にマッピングするために,自動回帰変換器を用いる。 シミュレーションや実生活実験を通じて、モデルが人間の意図に従うことができることを示す。
  論文  参考訳（メタデータ） (2022-08-04T22:43:21Z)
• Is neural language acquisition similar to natural? A chronological probing study [0.0515648410037406]
  本稿では,MultiBERTやT5といったトランスフォーマー英語モデルの時系列探索について述べる。 コーパスの学習過程において,モデルが学習した言語に関する情報を比較した。 その結果,1)訓練の初期段階に言語情報を取得すること,2)両言語モデルが様々な言語レベルから様々な特徴を捉える能力を示した。
  論文  参考訳（メタデータ） (2022-07-01T17:24:11Z)
• Reshaping Robot Trajectories Using Natural Language Commands: A Study of Multi-Modal Data Alignment Using Transformers [33.7939079214046]
  我々は、人間とロボットのコラボレーションのための柔軟な言語ベースのインタフェースを提供する。 我々は、ユーザコマンドをエンコードする大規模言語モデルの分野における最近の進歩を生かしている。 言語コマンドによって修正されたロボット軌跡を含むデータセット上で、模倣学習を用いてモデルを訓練する。
  論文  参考訳（メタデータ） (2022-03-25T01:36:56Z)
• Linking Emergent and Natural Languages via Corpus Transfer [98.98724497178247]
  創発言語と自然言語のコーパス転送によるリンクを確立する新しい方法を提案する。 このアプローチでは,言語モデリングとイメージキャプションという,2つの異なるタスクに対して,非自明な転送メリットを示す。 また,同一画像に基づく自然言語キャプションに創発的メッセージを翻訳することで,創発的言語の伝達可能性を予測する新しい指標を提案する。
  論文  参考訳（メタデータ） (2022-03-24T21:24:54Z)
• Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
  目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。 このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。 新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
  論文  参考訳（メタデータ） (2022-02-03T18:55:52Z)
• Neural Abstructions: Abstractions that Support Construction for Grounded Language Learning [69.1137074774244]
  言語の相互作用を効果的に活用するには、言語基底に対する2つの最も一般的なアプローチの制限に対処する必要がある。 本稿では,ラベル条件付き生成モデルの推論手順に対する制約のセットであるニューラル・アブストラクションの考え方を紹介する。 この手法により,マインクラフトにおけるオープンエンドハウスタスクのセマンティックな変更をユーザ人口が構築できることが示される。
  論文  参考訳（メタデータ） (2021-07-20T07:01:15Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• Optimus: Organizing Sentences via Pre-trained Modeling of a Latent Space [109.79957125584252]
  変分オートエンコーダ(VAE)は、強力な生成モデルであり、自然言語の効果的な表現学習フレームワークである。 本稿では,最初の大規模言語VAEモデルであるOptimusを提案する。
  論文  参考訳（メタデータ） (2020-04-05T06:20:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。