論文の概要: State Value Generation with Prompt Learning and Self-Training for Low-Resource Dialogue State Tracking

• arxiv url: http://arxiv.org/abs/2401.16862v1
• Date: Tue, 30 Jan 2024 10:05:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-31 15:30:15.332799
• Title: State Value Generation with Prompt Learning and Self-Training for Low-Resource Dialogue State Tracking
• Title（参考訳）: 低リソース対話状態追跡のためのプロンプト学習と自己学習による状態値生成
• Authors: Ming Gu, Yan Yang, Chengcai Chen, Zhou Yu
• Abstract要約: 低リソース対話状態追跡(DST)が注目されている。 本稿では、DSTを状態値生成とドメインスロット生成に分解する、新しい状態VAlue生成ベースフレームワーク(SVAG)を提案する。 具体的には、状態値を生成し、自己学習を用いて状態値の生成をさらに改善することを提案する。
• 参考スコア（独自算出の注目度）: 21.748402446951076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, low-resource dialogue state tracking (DST) has received increasing attention. First obtaining state values then based on values to generate slot types has made great progress in this task. However, obtaining state values is still an under-studied problem. Existing extraction-based approaches cannot capture values that require the understanding of context and are not generalizable either. To address these issues, we propose a novel State VAlue Generation based framework (SVAG), decomposing DST into state value generation and domain slot generation. Specifically, we propose to generate state values and use self-training to further improve state value generation. Moreover, we design an estimator aiming at detecting incomplete generation and incorrect generation for pseudo-labeled data selection during self-training. Experimental results on the MultiWOZ 2.1 dataset show that our method which has only less than 1 billion parameters achieves state-of-the-art performance under the data ratio settings of 5%, 10%, and 25% when limited to models under 100 billion parameters. Compared to models with more than 100 billion parameters, SVAG still reaches competitive results.
• Abstract（参考訳）: 近年,低リソース対話状態追跡(DST)が注目されている。 まず、スロットタイプを生成するために値に基づいて状態値を取得することが、このタスクに大きな進歩をもたらした。 しかし、状態値の取得は未熟な問題である。 既存の抽出ベースのアプローチでは、コンテキストの理解を必要とし、一般化できない値をキャプチャできない。 これらの問題に対処するため、我々は、DSTを状態値生成とドメインスロット生成に分解する新しいステートVAlue Generation based framework (SVAG)を提案する。 具体的には,状態値の生成と自己学習による状態値生成のさらなる改善を提案する。 さらに,自己学習中の擬似ラベルデータ選択における不完全生成と誤生成を検出するための推定器を設計する。 マルチウォズ2.1データセットにおける実験結果から,1000億パラメータ以下のモデルに制限された場合,データ比設定では5%,10%,25%で最先端の性能が得られることがわかった。 1000億以上のパラメータを持つモデルと比較して、SVAGは依然として競合する結果に達している。

関連論文リスト

• Generating the Traces You Need: A Conditional Generative Model for Process Mining Data [10.914597458295248]
  条件付き変分オートエンコーダ(CVAE)に基づくプロセスデータ生成のための条件付きモデルを提案する。 プロセスマイニングのためのCVAEは、データの多面的性質と制御フロールールに従う必要性のために、特定の課題に直面している。
  論文  参考訳（メタデータ） (2024-11-04T14:44:20Z)
• Failing Forward: Improving Generative Error Correction for ASR with Synthetic Data and Retrieval Augmentation [73.9145653659403]
  生成誤差補正モデルは、トレーニング中に発生する特定の種類のエラーを超えて一般化することが困難であることを示す。 DARAGは、ドメイン内(ID)およびOODシナリオにおけるASRのためのGCCを改善するために設計された新しいアプローチである。 私たちのアプローチはシンプルでスケーラブルで、ドメインと言語に依存しません。
  論文  参考訳（メタデータ） (2024-10-17T04:00:29Z)
• Controllable Data Generation Via Iterative Data-Property Mutual Mappings [13.282793266390316]
  本稿では,VAEベースのデータジェネレータを特性制御性で拡張し,乱れを確実にするフレームワークを提案する。 提案フレームワークは, 特性誤差, ゆがみ, 生成品質, トレーニング時間に関する性能評価を行うために, VAEベースの4つの制御可能ジェネレータ上に実装されている。
  論文  参考訳（メタデータ） (2023-10-11T17:34:56Z)
• OpenPI-C: A Better Benchmark and Stronger Baseline for Open-Vocabulary State Tracking [55.62705574507595]
  OpenPIは、オープン語彙状態トラッキング用に注釈付けされた唯一のデータセットである。 手順レベル,ステップレベル,状態変化レベルの3つの問題を分類する。 評価指標として,クラスタベースの計量法を提案する。
  論文  参考訳（メタデータ） (2023-06-01T16:48:20Z)
• Value-Consistent Representation Learning for Data-Efficient Reinforcement Learning [105.70602423944148]
  本稿では,意思決定に直接関連のある表現を学習するための,VCR(Value-Consistent Expression Learning)という新しい手法を提案する。 この想像された状態と環境によって返される実状態とを一致させる代わりに、VCRは両方の状態に$Q$-valueヘッドを適用し、2つのアクション値の分布を得る。 検索不要なRLアルゴリズムに対して,提案手法が新たな最先端性能を実現することが実証された。
  論文  参考訳（メタデータ） (2022-06-25T03:02:25Z)
• State estimation with limited sensors -- A deep learning based approach [0.0]
  本稿では,シーケンシャルデータから学習する新しいディープラーニングに基づく状態推定フレームワークを提案する。 逐次データを利用することで,1～2つのセンサのみの状態回復が可能になることを示す。
  論文  参考訳（メタデータ） (2021-01-27T16:14:59Z)
• Improving Limited Labeled Dialogue State Tracking with Self-Supervision [91.68515201803986]
  既存の対話状態追跡(DST)モデルには多くのラベル付きデータが必要である。 本稿では,潜在的一貫性の維持と対話行動のモデル化という,自己指導型の2つの目的について検討する。 提案する自己教師型信号は,1%のラベル付きデータのみを使用する場合,関節ゴール精度を8.95%向上させることができる。
  論文  参考訳（メタデータ） (2020-10-26T21:57:42Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• TraDE: Transformers for Density Estimation [101.20137732920718]
  TraDEは自己回帰密度推定のための自己アテンションに基づくアーキテクチャである。 本稿では, 生成したサンプルを用いた回帰, 分布外検出, トレーニングデータにおける雑音に対する頑健性などのタスクについて述べる。
  論文  参考訳（メタデータ） (2020-04-06T07:32:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。