論文の概要: Prompter: Zero-shot Adaptive Prefixes for Dialogue State Tracking Domain Adaptation

• arxiv url: http://arxiv.org/abs/2306.04724v1
• Date: Wed, 7 Jun 2023 18:39:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-09 18:03:53.865014
• Title: Prompter: Zero-shot Adaptive Prefixes for Dialogue State Tracking Domain Adaptation
• Title（参考訳）: Prompter: 対話状態追跡ドメイン適応のためのゼロショット適応プレフィックス
• Authors: Taha Aksu, Min-Yen Kan, Nancy F. Chen
• Abstract要約: PETLは、その堅牢性のためにこの問題に対処する可能性がある。 PETLはまだゼロショットのシナリオには適用されていない。 提案手法であるPrompterでは,各レイヤの自己保持機構のキーと値に調整された動的プレフィックスを生成するために,ターゲットドメインスロットの記述を用いる。
• 参考スコア（独自算出の注目度）: 39.19725943585533
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A challenge in the Dialogue State Tracking (DST) field is adapting models to new domains without using any supervised data, zero-shot domain adaptation. Parameter-Efficient Transfer Learning (PETL) has the potential to address this problem due to its robustness. However, it has yet to be applied to the zero-shot scenarios, as it is not clear how to apply it unsupervisedly. Our method, Prompter, uses descriptions of target domain slots to generate dynamic prefixes that are concatenated to the key and values at each layer's self-attention mechanism. This allows for the use of prefix-tuning in zero-shot. Prompter outperforms previous methods on both the MultiWOZ and SGD benchmarks. In generating prefixes, our analyses find that Prompter not only utilizes the semantics of slot descriptions but also how often the slots appear together in conversation. Moreover, Prompter's gains are due to its improved ability to distinguish "none"-valued dialogue slots, compared against baselines.
• Abstract（参考訳）: 対話状態追跡(DST)分野における課題は、教師付きデータ、ゼロショットドメイン適応を使わずにモデルを新しいドメインに適応させることである。 パラメータ効率変換学習(PETL)はその堅牢性からこの問題に対処する可能性がある。 しかしながら、ゼロショットシナリオにはまだ適用されていない。 提案手法であるPrompterでは,各レイヤの自己保持機構のキーと値に結合した動的プレフィックスを生成するために,ターゲットドメインスロットの記述を用いる。 これにより、ゼロショットでプレフィックスチューニングを使用できる。 Prompterは、MultiWOZベンチマークとSGDベンチマークの両方で、以前の方法より優れている。 分析の結果,prompterはスロット記述のセマンティクスを利用するだけでなく,会話中にスロットがどれだけ頻繁に現れるかが分かる。 さらに、プロンプターの利得は、ベースラインと比較して「無」値の対話スロットを区別する能力の改善による。

関連論文リスト

• Schema Augmentation for Zero-Shot Domain Adaptation in Dialogue State Tracking [16.67185296899117]
  ゼロショットドメイン適応のための現在の大規模言語モデルアプローチは、ターゲットドメインに関連する知識の導入を促すことに依存している。 本研究では,言語モデルのゼロショット領域適応を微調整により改善する新しいデータ拡張手法であるAugmentationを考案する。 MultiWOZ と SpokenWOZ の実験により,提案手法はベースラインよりも大幅に改善された。
  論文  参考訳（メタデータ） (2024-10-31T18:57:59Z)
• Generative Zero-Shot Prompt Learning for Cross-Domain Slot Filling with Inverse Prompting [27.186526104248696]
  クロスドメインスロットフィリングは、ラベル付きドメインからラベルなしのターゲットドメインに知識を転送することを目的としている。 クロスドメインスロットフィリングのための生成ゼロショットプロンプト学習フレームワークを提案する。 実験と分析により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-07-06T07:53:46Z)
• Prompt Consistency for Zero-Shot Task Generalization [118.81196556175797]
  本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。 具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。 我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
  論文  参考訳（メタデータ） (2022-04-29T19:18:37Z)
• Zero-Shot Dialogue State Tracking via Cross-Task Transfer [69.70718906395182]
  我々は,ゼロショット対話状態追跡タスクに対して,一般質問応答(QA)コーパスからテキストクロスタスク知識を転送することを提案する。 具体的には,抽出QAと複数選択QAをシームレスに組み合わせた転送可能な生成QAモデルであるTransferQAを提案する。 さらに,否定的質問サンプリングと文脈トランケーションという,解決不可能な質問を構築するための2つの効果的な方法を紹介した。
  論文  参考訳（メタデータ） (2021-09-10T03:57:56Z)
• Tune it the Right Way: Unsupervised Validation of Domain Adaptation via Soft Neighborhood Density [125.64297244986552]
  本稿では,点間の類似度分布のエントロピーを計算し,ソフト近傍の密度を測定する教師なし検証基準を提案する。 私たちの基準は、競合する検証方法よりもシンプルですが、より効果的です。
  論文  参考訳（メタデータ） (2021-08-24T17:41:45Z)
• Leveraging Slot Descriptions for Zero-Shot Cross-Domain Dialogue State Tracking [50.04597636485369]
  ゼロショットクロスドメイン状態追跡(DST)により、ドメイン内のデータを収集することなく、未確認領域でのタスク指向対話を処理できる。 ゼロショットクロスドメインDSTのためのスロット記述拡張生成手法を提案する。
  論文  参考訳（メタデータ） (2021-05-10T09:34:01Z)
• Zero-shot Generalization in Dialog State Tracking through Generative Question Answering [10.81203437307028]
  本稿では,タスク指向ダイアログの制約やスロットに対する自然言語クエリをサポートする新しいフレームワークを提案する。 本手法は,英語文に事前学習した条件付きドメインモデルを用いた生成的質問応答に基づく。
  論文  参考訳（メタデータ） (2021-01-20T21:47:20Z)
• Linguistically-Enriched and Context-Aware Zero-shot Slot Filling [6.06746295810681]
  スロット充填は、現代のタスク指向ダイアログシステムの最も重要な課題の1つです。 新たなドメイン(すなわち、トレーニングの見当たらない)がデプロイ後に出現する可能性がある。 モデルがシームレスに適応し、見えないドメインと見えないドメインの両方からスロットを埋めることは必須である。
  論文  参考訳（メタデータ） (2021-01-16T20:18:16Z)
• Domain Adversarial Fine-Tuning as an Effective Regularizer [80.14528207465412]
  自然言語処理(NLP)では、下流タスクに転送される事前訓練された言語モデル(LM)が、最先端の結果を得るために最近示されている。 標準的な微調整は、事前トレーニング中にキャプチャされた汎用ドメイン表現を分解することができる。 本稿では,新しい正規化手法である After; 有効正規化器としてのドメイン・アダクショナル・ファイン・チューニングを提案する。
  論文  参考訳（メタデータ） (2020-09-28T14:35:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。