論文の概要: Advancing Semi-Supervised Task Oriented Dialog Systems by JSA Learning of Discrete Latent Variable Models

• arxiv url: http://arxiv.org/abs/2207.12235v1
• Date: Mon, 25 Jul 2022 14:36:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-26 14:05:46.307858
• Title: Advancing Semi-Supervised Task Oriented Dialog Systems by JSA Learning of Discrete Latent Variable Models
• Title（参考訳）: 離散潜在変数モデルのJSA学習による半監督タスク指向対話システムの改善
• Authors: Yucheng Cai, Hong Liu, Zhijian Ou, Yi Huang and Junlan Feng
• Abstract要約: JSA-TODは、離散潜在変数条件モデルの半教師付き学習を開発するための最初の成果である。 実験の結果、JSA-TODは変分学習よりもかなり優れていた。
• 参考スコア（独自算出の注目度）: 22.249113574918034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Developing semi-supervised task-oriented dialog (TOD) systems by leveraging unlabeled dialog data has attracted increasing interests. For semi-supervised learning of latent state TOD models, variational learning is often used, but suffers from the annoying high-variance of the gradients propagated through discrete latent variables and the drawback of indirectly optimizing the target log-likelihood. Recently, an alternative algorithm, called joint stochastic approximation (JSA), has emerged for learning discrete latent variable models with impressive performances. In this paper, we propose to apply JSA to semi-supervised learning of the latent state TOD models, which is referred to as JSA-TOD. To our knowledge, JSA-TOD represents the first work in developing JSA based semi-supervised learning of discrete latent variable conditional models for such long sequential generation problems like in TOD systems. Extensive experiments show that JSA-TOD significantly outperforms its variational learning counterpart. Remarkably, semi-supervised JSA-TOD using 20% labels performs close to the full-supervised baseline on MultiWOZ2.1.
• Abstract（参考訳）: ラベルなしダイアログデータを利用した半教師付きタスク指向ダイアログ(TOD)システムの開発が注目されている。 潜在状態todモデルの半教師あり学習では、変分学習がしばしば用いられるが、離散的潜在変数を通じて伝播する勾配の厄介な高分散と、ターゲットログを間接的に最適化することの欠点に苦しむ。 近年,有意な性能を持つ離散的潜在変数モデルを学ぶための統合確率近似(jsa)と呼ばれる代替アルゴリズムが登場している。 本稿では,JSA-TODと呼ばれる潜在状態TODモデルの半教師付き学習にJSAを適用することを提案する。 我々の知る限り、JSA-TODは、TODシステムのような長い逐次生成問題に対する離散潜在変数条件モデルの半教師付き学習を開発するための最初の成果である。 大規模な実験により、JSA-TODは変分学習よりも優れていた。 注目すべきは、20%のラベルを用いた半教師付きJSA-TODは、MultiWOZ2.1の完全な教師付きベースラインに近いパフォーマンスである。

関連論文リスト

• Overcoming Catastrophic Forgetting by Exemplar Selection in Task-oriented Dialogue System [34.1424535903384]
  知的タスク指向対話システム(ToD)における忘れ課題の克服を目指す。 本稿では, 周期的再学習に有効な経験則を抽出する手法(HESIT)を提案する。 実験結果から,HESITは異常な選択によって破滅的な忘れを効果的に軽減し,ToDsの最大のCLベンチマークで最先端の性能を達成することが示された。
  論文  参考訳（メタデータ） (2024-05-16T10:54:46Z)
• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• ESimCSE Unsupervised Contrastive Learning Jointly with UDA Semi-Supervised Learning for Large Label System Text Classification Mode [4.708633772366381]
  ESimCSEモデルは、ラベルのないデータを用いてテキストベクトル表現を効率よく学習し、より良い分類結果を得る。 UDAは、モデルと安定性の予測性能を改善するために、半教師付き学習手法を通じてラベルのないデータを用いて訓練される。 FGMとPGDは、モデルの堅牢性と信頼性を向上させるために、モデルトレーニングプロセスで使用される。
  論文  参考訳（メタデータ） (2023-04-19T03:44:23Z)
• How to Train Your DRAGON: Diverse Augmentation Towards Generalizable Dense Retrieval [80.54532535622988]
  教師付き検索とゼロショット検索の両方において高い精度を達成するために、一般化可能な高密度検索を訓練できることが示される。 多様な拡張で訓練された高密度レトリバーであるDRAGONは、教師付きおよびゼロショット評価の両方において最先端の有効性を実現する最初のBERTベースサイズのDRである。
  論文  参考訳（メタデータ） (2023-02-15T03:53:26Z)
• A Multi-Task BERT Model for Schema-Guided Dialogue State Tracking [78.2700757742992]
  タスク指向対話システムは対話状態追跡器(DST)を用いて会話を完了させる。 最近の最先端のDST実装は、モデルの堅牢性を改善するために様々なサービスのスキーマに依存している。 本稿では,意図予測,要求スロット予測,スロットフィリングの3つのDSTタスクを協調的に解決する単一マルチタスクBERTモデルを提案する。
  論文  参考訳（メタデータ） (2022-07-02T13:27:59Z)
• SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark for Semantic and Generative Capabilities [76.97949110580703]
  各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。 データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。 また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
  論文  参考訳（メタデータ） (2022-03-14T04:26:40Z)
• Learning Mixtures of Linear Dynamical Systems [94.49754087817931]
  そこで我々は,2段階のメタアルゴリズムを開発し,各基底構造LPSモデルを誤り$tildeO(sqrtd/T)$.sqrtd/T)まで効率的に復元する。 提案手法の有効性を検証し,数値実験による理論的研究を検証する。
  論文  参考訳（メタデータ） (2022-01-26T22:26:01Z)
• Variational Latent-State GPT for Semi-supervised Task-Oriented Dialog Systems [24.667353107453824]
  変分潜在状態GPTモデル(VLS-GPT)は2つのアプローチの強みを組み合わせた最初のモデルである。 我々は,GPTを変分学習に使用する際のメモリ爆発問題を克服する,サンプリング-then-forward-computationの戦略を開発した。 VLS-GPTは、教師のみのベースラインと半教師付きベースラインの両方で著しく優れていた。
  論文  参考訳（メタデータ） (2021-09-09T14:42:29Z)
• Joint Stochastic Approximation and Its Application to Learning Discrete Latent Variable Models [19.07718284287928]
  推定モデルに対する信頼度勾配を得るのが困難であることや、間接的にターゲットのログを最適化することの欠点を優雅に解決できることが示される。 本稿では,対象の対数類似度を直接最大化し,後部モデルと推論モデルとの包摂的ばらつきを同時に最小化することを提案する。 結果の学習アルゴリズムは、ジョイントSA(JSA)と呼ばれる。
  論文  参考訳（メタデータ） (2020-05-28T13:50:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。