論文の概要: CSS: Combining Self-training and Self-supervised Learning for Few-shot Dialogue State Tracking

• arxiv url: http://arxiv.org/abs/2210.05146v1
• Date: Tue, 11 Oct 2022 04:55:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 15:37:28.111198
• Title: CSS: Combining Self-training and Self-supervised Learning for Few-shot Dialogue State Tracking
• Title（参考訳）: CSS: 対話状態追跡のための自己学習と自己指導型学習を組み合わせる
• Authors: Haoning Zhang, Junwei Bao, Haipeng Sun, Huaishao Luo, Wenye Li, Shuguang Cui
• Abstract要約: DST(Few-shot dialogue state tracking)は、ラベル付きデータでDSTモデルを訓練する現実的な問題である。 自己学習と自己教師型学習を組み合わせたDSTフレームワークCSSを提案する。 また,MultiWOZデータセットを用いた実験結果から,提案したCSSはいくつかのシナリオで競合性能を達成できた。
• 参考スコア（独自算出の注目度）: 36.18207750352937
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Few-shot dialogue state tracking (DST) is a realistic problem that trains the DST model with limited labeled data. Existing few-shot methods mainly transfer knowledge learned from external labeled dialogue data (e.g., from question answering, dialogue summarization, machine reading comprehension tasks, etc.) into DST, whereas collecting a large amount of external labeled data is laborious, and the external data may not effectively contribute to the DST-specific task. In this paper, we propose a few-shot DST framework called CSS, which Combines Self-training and Self-supervised learning methods. The unlabeled data of the DST task is incorporated into the self-training iterations, where the pseudo labels are predicted by a DST model trained on limited labeled data in advance. Besides, a contrastive self-supervised method is used to learn better representations, where the data is augmented by the dropout operation to train the model. Experimental results on the MultiWOZ dataset show that our proposed CSS achieves competitive performance in several few-shot scenarios.
• Abstract（参考訳）: DST(Few-shot dialogue state tracking)は、ラベル付きデータでDSTモデルを訓練する現実的な問題である。 既存のマイナショット手法では,外部ラベル付き対話データ(質問応答,対話要約,機械読解タスクなど)から学習した知識をdstに転送するが,大量の外部ラベル付きデータの収集には手間がかかり,外部データはdst特有のタスクに効果的に寄与することができない。 本稿では,自己学習と自己教師型学習を組み合わせたCSSと呼ばれるDSTフレームワークを提案する。 DSTタスクのラベルなしデータは自己学習イテレーションに組み込まれ、擬似ラベルは予め限定ラベル付きデータに基づいてトレーニングされたDSTモデルにより予測される。 さらに、より優れた表現を学ぶために、対照的な自己教師付きメソッドが使われ、そこではモデルをトレーニングするためにドロップアウト操作によってデータが強化される。 また,MultiWOZデータセットを用いた実験結果から,提案したCSSはいくつかのシナリオで競合性能を達成できた。

関連論文リスト

• Incremental Self-training for Semi-supervised Learning [56.57057576885672]
  ISTは単純だが有効であり、既存の自己学習に基づく半教師あり学習手法に適合する。 提案したISTを5つのデータセットと2種類のバックボーンで検証し,認識精度と学習速度を効果的に向上させる。
  論文  参考訳（メタデータ） (2024-04-14T05:02:00Z)
• UNO-DST: Leveraging Unlabelled Data in Zero-Shot Dialogue State Tracking [54.51316566989655]
  従来のゼロショット対話状態追跡(DST)手法は、対象領域における非競合データを無視して、転送学習のみを適用した。 我々は,ゼロショットDSTを,ジョイントおよび自己学習手法による非ラベルデータを利用して,少数ショットDSTに変換する。 ゼロショットシナリオにおける汎用言語モデルに対する本手法の有効性を実証し、MultiWOZの全ドメインで平均的な共同ゴール精度を8%向上する。
  論文  参考訳（メタデータ） (2023-10-16T15:16:16Z)
• PromptAttack: Probing Dialogue State Trackers with Adversarial Prompts [25.467840115593784]
  現代の会話システムの主要なコンポーネントは、対話状態追跡器(DST)である。 そこで本稿では,DSTモデルを探索する効果的な逆例を自動生成する,プロンプトベースの学習手法を提案する。 生成した相手のサンプルが、相手のトレーニングを通じてDSTをどの程度強化できるかを示す。
  論文  参考訳（メタデータ） (2023-06-07T15:41:40Z)
• Prompt Learning for Few-Shot Dialogue State Tracking [75.50701890035154]
  本稿では,限られたラベル付きデータを用いて,対話状態追跡(DST)モデルを効率的に学習する方法に焦点を当てる。 本稿では,2つの主要なコンポーネントである値ベースプロンプトと逆プロンプト機構からなる,数ショットDSTのためのプロンプト学習フレームワークを設計する。 実験により、我々のモデルは未確認のスロットを生成し、既存の最先端の数ショット法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-01-15T07:37:33Z)
• Improving Limited Labeled Dialogue State Tracking with Self-Supervision [91.68515201803986]
  既存の対話状態追跡(DST)モデルには多くのラベル付きデータが必要である。 本稿では,潜在的一貫性の維持と対話行動のモデル化という,自己指導型の2つの目的について検討する。 提案する自己教師型信号は,1%のラベル付きデータのみを使用する場合,関節ゴール精度を8.95%向上させることができる。
  論文  参考訳（メタデータ） (2020-10-26T21:57:42Z)
• Dual Learning for Dialogue State Tracking [44.679185483585364]
  対話状態追跡(DST)とは、各ターンの対話状態を推定することである。 複雑な対話履歴のコンテキストに依存するため、DSTデータアノテーションは単文言語理解よりも高価である。 ラベルのないデータを完全に活用するための新しい二元学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-22T10:15:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。