論文の概要: AUTODIAL: Efficient Asynchronous Task-Oriented Dialogue Model

• arxiv url: http://arxiv.org/abs/2303.06245v2
• Date: Tue, 2 May 2023 00:24:51 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-03 17:06:18.105630
• Title: AUTODIAL: Efficient Asynchronous Task-Oriented Dialogue Model
• Title（参考訳）: AUTODIAL:効率的な非同期タスク指向対話モデル
• Authors: Prajjwal Bhargava, Pooyan Amini, Shahin Shayandeh, Chinnadhurai Sankar
• Abstract要約: 本稿では,対話モデルをデプロイする際の課題に対処するマルチタスク対話モデルであるAUTODIALを提案する。 この結果から,現在の対話モデルを並列デコーダに拡張することは,リソース制約のある環境にデプロイする上で,有効な選択肢となる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 7.685382063011564
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large dialogue models become commonplace in practice, the problems surrounding high compute requirements for training, inference and larger memory footprint still persists. In this work, we present AUTODIAL, a multi-task dialogue model that addresses the challenges of deploying dialogue model. AUTODIAL utilizes parallel decoders to perform tasks such as dialogue act prediction, domain prediction, intent prediction, and dialogue state tracking. Using classification decoders over generative decoders allows AUTODIAL to significantly reduce memory footprint and achieve faster inference times compared to existing generative approach namely SimpleTOD. We demonstrate that AUTODIAL provides 3-6x speedups during inference while having 11x fewer parameters on three dialogue tasks compared to SimpleTOD. Our results show that extending current dialogue models to have parallel decoders can be a viable alternative for deploying them in resource-constrained environments.
• Abstract（参考訳）: 大規模な対話モデルが実際に一般的になるにつれて、トレーニング、推論、より大きなメモリフットプリントに対する高い計算要求を取り巻く問題が続いている。 本稿では,対話モデルの展開における課題を解決するマルチタスク対話モデルであるautodialを提案する。 AUTODIALは並列デコーダを使用して対話行動予測、ドメイン予測、意図予測、対話状態追跡などのタスクを実行する。 生成デコーダ上の分類デコーダを使用することで、AUTODIALは既存の生成的アプローチであるSimpleTODと比較してメモリフットプリントを大幅に削減し、推論時間を短縮できる。 AUTODIALは3つの対話タスクに対して,SimpleTODに比べて11倍少ないパラメータで,推論中に3～6倍の高速化を実現する。 以上の結果から,並列デコーダを持つ現在の対話モデルを拡張することは,リソース制約のある環境にデプロイする上で有効な代替手段となる可能性が示唆された。

関連論文リスト

• Are LLMs Robust for Spoken Dialogues? [10.855403629160921]
  大規模な事前学習型言語モデルでは、さまざまな下流タスクで最先端のパフォーマンスが実証されている。 タスク指向対話に関する公開データセットとベンチマークのほとんどは、書かれた会話に重点を置いている。 DSTC11テストセットにおける音声タスク指向対話におけるLLMの性能評価を行った。
  論文  参考訳（メタデータ） (2024-01-04T14:36:38Z)
• Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking [57.92608483099916]
  大規模事前学習言語モデル(PLM)は、多くのNLPタスクにまたがる優れた性能を示している。 対話状態追跡(DST)のようなより複雑なタスクでは、望ましい意図を確実に伝達するプロンプトを設計するのは簡単ではない。 対話文の長さを制限するためのサリエンシモデルを導入し、クエリ毎に多くの例を含めることができます。
  論文  参考訳（メタデータ） (2023-02-12T15:05:10Z)
• Stateful Memory-Augmented Transformers for Efficient Dialogue Modeling [69.31802246621963]
  本稿では、既存のトレーニング済みエンコーダデコーダモデルと互換性のある新しいメモリ拡張トランスを提案する。 事前訓練された変換器と共に別々のメモリモジュールを組み込むことで、モデルはメモリ状態と現在の入力コンテキストの間で情報を効果的に交換することができる。
  論文  参考訳（メタデータ） (2022-09-15T22:37:22Z)
• OPAL: Ontology-Aware Pretrained Language Model for End-to-End Task-Oriented Dialogue [40.62090743056549]
  本稿では、エンドツーエンドタスク指向対話(TOD)のためのオントロジー対応事前学習言語モデル(OPAL)を提案する。 チャット型対話モデルとは異なり、タスク指向対話モデルは少なくとも2つのタスク固有モジュールを満たす:対話状態トラッカー(DST)と応答生成器(RG)。
  論文  参考訳（メタデータ） (2022-09-10T04:38:27Z)
• GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
  ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。 GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。 評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
  論文  参考訳（メタデータ） (2022-06-22T18:19:32Z)
• GALAXY: A Generative Pre-trained Model for Task-Oriented Dialog with Semi-Supervised Learning and Explicit Policy Injection [36.77204909711832]
  本稿では,限定ラベル付きダイアログと大規模未ラベルダイアログコーパスから,対話ポリシーを明示的に学習する,事前学習型ダイアログモデルを提案する。 具体的には、事前学習中にポリシー最適化のためのダイアログアクト予測タスクを導入し、一貫性の規則化項を用いて、学習した表現を洗練させる。 その結果,GALAXYはタスク指向対話システムの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2021-11-29T15:24:36Z)
• Multi-turn Response Selection using Dialogue Dependency Relations [39.99448321736736]
  マルチターン応答選択は対話エージェントを開発するために設計されたタスクである。 本稿では,対話履歴を依存関係に基づいてスレッドに変換する対話抽出アルゴリズムを提案する。 我々のモデルは、D7とDSTC8*の両方で最先端のベースラインを上回り、Ubuntu上での競合的な結果です。
  論文  参考訳（メタデータ） (2020-10-04T08:00:19Z)
• Modeling Long Context for Task-Oriented Dialogue State Generation [51.044300192906995]
  本稿では,シンプルで効果的な発話タグ付け手法と双方向言語モデルを用いたマルチタスク学習モデルを提案する。 提案手法は,入力対話コンテキストシーケンスが長い場合に,ベースラインの性能が著しく低下する,という問題を解決する。 本実験では,MultiWOZ 2.0データセットにおいて,ベースラインに対して7.03%の相対的改善を実現し,新しい最先端のジョイントゴール精度を52.04%に設定した。
  論文  参考訳（メタデータ） (2020-04-29T11:02:25Z)
• Paraphrase Augmented Task-Oriented Dialog Generation [68.1790912977053]
  本稿では,パラフレーズモデルと応答生成モデルを協調訓練するパラフレーズ拡張応答生成(PARG)フレームワークを提案する。 また、ダイアログ状態とダイアログアクトラベルに基づいて、パラフレーズトレーニングデータセットを自動構築する手法も設計する。
  論文  参考訳（メタデータ） (2020-04-16T05:12:36Z)
• Non-Autoregressive Dialog State Tracking [122.2328875457225]
  非自己回帰的対話状態追跡(NADST)の新しい枠組みを提案する。 NADSTはドメインとスロット間の潜在的な依存関係を分解し、分離されたスロットではなく完全なセットとして対話状態の予測を改善するためにモデルを最適化する。 以上の結果から,MultiWOZ 2.1コーパス上の全領域にわたる最先端の接合精度が得られた。
  論文  参考訳（メタデータ） (2020-02-19T06:39:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。