論文の概要: Context-Aware Language Modeling for Goal-Oriented Dialogue Systems

• arxiv url: http://arxiv.org/abs/2204.10198v1
• Date: Mon, 18 Apr 2022 17:23:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-23 09:16:46.281558
• Title: Context-Aware Language Modeling for Goal-Oriented Dialogue Systems
• Title（参考訳）: 目標指向対話システムのための文脈認識言語モデリング
• Authors: Charlie Snell, Sherry Yang, Justin Fu, Yi Su, Sergey Levine
• Abstract要約: 我々は、部分的に観察されたマルコフ決定過程としてゴール指向対話を定式化する。 目的を意識して言語モデルを微調整する,シンプルで効果的な手法を考案する。 本研究では,AirDialogue を用いた実践的なフライト予約タスクについて評価する。
• 参考スコア（独自算出の注目度）: 84.65707332816353
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Goal-oriented dialogue systems face a trade-off between fluent language generation and task-specific control. While supervised learning with large language models is capable of producing realistic text, how to steer such responses towards completing a specific task without sacrificing language quality remains an open question. In this work, we formulate goal-oriented dialogue as a partially observed Markov decision process, interpreting the language model as a representation of both the dynamics and the policy. This view allows us to extend techniques from learning-based control, such as task relabeling, to derive a simple and effective method to finetune language models in a goal-aware way, leading to significantly improved task performance. We additionally introduce a number of training strategies that serve to better focus the model on the task at hand. We evaluate our method, Context-Aware Language Models (CALM), on a practical flight-booking task using AirDialogue. Empirically, CALM outperforms the state-of-the-art method by 7% in terms of task success, matching human-level task performance.
• Abstract（参考訳）: ゴール指向の対話システムは、フルーレント言語生成とタスク固有の制御のトレードオフに直面します。 大規模言語モデルによる教師付き学習は、現実的なテキストを生成することができるが、言語品質を犠牲にすることなく、特定のタスクを完了するための対応をいかに行うかは、未解決の問題である。 本研究では,目標指向対話を部分的に観察されたマルコフ決定プロセスとして定式化し,言語モデルをダイナミクスとポリシーの表現として解釈する。 この視点は,タスク・レバーベリングのような学習に基づく制御から,目標を意識して言語モデルを微調整するためのシンプルで効果的な手法へと拡張し,タスク性能を著しく向上させる。 さらに,タスクにモデルをより集中させるための,数多くのトレーニング戦略も導入しています。 本研究では,AirDialogue を用いた実践的なフライト予約作業における文脈認識言語モデル (CALM) の評価を行った。 実証的に、CALMはタスク成功の点で最先端の手法を7%上回り、人間レベルのタスクパフォーマンスと一致する。

関連論文リスト

• Speech-Copilot: Leveraging Large Language Models for Speech Processing via Task Decomposition, Modularization, and Program Generation [42.55462692822432]
  Speech-Copilotは、命令指向の音声処理タスクのためのモジュラーフレームワークである。 事前にコンパイルされたタスク命令を分析することで、音声処理固有のツールセットを構築する。 プログラム生成を通じてタスクを実行する大きな言語モデルに基づく柔軟なエージェントを備えている。
  論文  参考訳（メタデータ） (2024-07-13T13:26:43Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• Integrating Self-supervised Speech Model with Pseudo Word-level Targets from Visually-grounded Speech Model [57.78191634042409]
  擬似単語レベルのターゲットを学習プロセスに統合するフレームワークであるPseudo-Word HuBERT(PW-HuBERT)を提案する。 4つの音声言語理解(SLU)ベンチマークによる実験結果から,意味情報の収集におけるモデルの有用性が示唆された。
  論文  参考訳（メタデータ） (2024-02-08T16:55:21Z)
• Solving Dialogue Grounding Embodied Task in a Simulated Environment using Further Masked Language Modeling [0.0]
  提案手法は,言語モデルを用いたSOTA(State-of-the-art)手法によるタスク理解を強化するために,言語モデリングを用いる。 実験の結果,提案手法が優れていることを示す証拠が得られた。
  論文  参考訳（メタデータ） (2023-06-21T17:17:09Z)
• Towards Generalized Models for Task-oriented Dialogue Modeling on Spoken Conversations [22.894541507068933]
  本稿では,DSTC-10の音声対話課題における知識ベースタスク指向対話モデリングのための一般化モデルの構築について述べる。 我々は,人工誤り注入やラウンドトリップ音声変換など,手書きデータに対する広範なデータ拡張戦略を採用している。 本手法は, 客観的評価では3位, 最終公式評価では2位である。
  論文  参考訳（メタデータ） (2022-03-08T12:26:57Z)
• Analyzing the Limits of Self-Supervision in Handling Bias in Language [52.26068057260399]
  我々は、言語モデルが、認識、識別、抽出、言い換えの4つのタスクのセマンティクスをいかにうまく捉えているかを評価する。 分析の結果,言語モデルでは,ジェンダーや政治的アフィリエイトなど,様々なバイアス次元にまたがって,これらのタスクを広範囲にわたって実行することが可能であることが示唆された。
  論文  参考訳（メタデータ） (2021-12-16T05:36:08Z)
• Cross-lingual Spoken Language Understanding with Regularized Representation Alignment [71.53159402053392]
  外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。 言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-09-30T08:56:53Z)
• DialoGLUE: A Natural Language Understanding Benchmark for Task-Oriented Dialogue [17.729711165119472]
  本研究では,4つの自然言語理解タスクをカバーする7つのタスク指向対話データセットからなる公開ベンチマークであるDialoGLUE(Dialogue Language Understanding Evaluation)を紹介する。 我々は、いくつかの強力なベースラインモデルをリリースし、バニラBERTアーキテクチャの性能改善と、7つのタスクのうち5つの最先端の結果を示します。 DialoGLUEベンチマーク、ベースライン手法、評価スクリプトを通じて、我々はより汎用的なタスク指向対話モデルを開発する目標に向けて前進したいと考えている。
  論文  参考訳（メタデータ） (2020-09-28T18:36:23Z)
• TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
  本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
  論文  参考訳（メタデータ） (2020-04-15T04:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。