論文の概要: Zero-Shot Cross-Domain Dialogue State Tracking via Dual Low-Rank Adaptation
- arxiv url: http://arxiv.org/abs/2407.21633v1
- Date: Wed, 31 Jul 2024 14:26:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-01 17:52:02.745181
- Title: Zero-Shot Cross-Domain Dialogue State Tracking via Dual Low-Rank Adaptation
- Title（参考訳）: デュアルローランク適応によるゼロショットクロスドメイン対話状態追跡
- Authors: Xiang Luo, Zhiwen Tang, Jin Wang, Xuejie Zhang,
- Abstract要約: ゼロショット対話状態追跡(Zero-shot dialogue state tracking, DST)は、対話システムが手動のアノテーションや広範囲なリトレーニングなしに、馴染みの無いドメインに移行できるようにすることを目的としている。
一般的な手法としては、入力層にプロンプトを統合することや、各トランス層に学習可能な変数を導入することが挙げられる。
本稿では,DSTのためのDual Low-Rank Adaptation (DualLoRA)を提案する。
- 参考スコア（独自算出の注目度）: 7.765092134290888
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Zero-shot dialogue state tracking (DST) seeks to enable dialogue systems to transition to unfamiliar domains without manual annotation or extensive retraining. Prior research has approached this objective by embedding prompts into language models (LMs). Common methodologies include integrating prompts at the input layer or introducing learnable variables at each transformer layer. Nonetheless, each strategy exhibits inherent limitations. Prompts integrated at the input layer risk underutilization, with their impact potentially diminishing across successive transformer layers. Conversely, the addition of learnable variables to each layer can complicate the training process and increase inference latency. To tackle the issues mentioned above, this paper proposes Dual Low-Rank Adaptation (DualLoRA), a plug-and-play architecture designed for zero-shot DST. DualLoRA incorporates two distinct Low-Rank Adaptation (LoRA) components, targeting both dialogue context processing and prompt optimization, to ensure the comprehensive influence of prompts throughout the transformer model layers. This is achieved without incurring additional inference latency, showcasing an efficient integration into existing architectures. Through rigorous evaluation on the MultiWOZ and SGD datasets, DualLoRA demonstrates notable improvements across multiple domains, outperforming traditional baseline methods in zero-shot settings. Our code is accessible at: \url{https://github.com/suntea233/DualLoRA}.
- Abstract（参考訳）: ゼロショット対話状態追跡(Zero-shot dialogue state tracking, DST)は、対話システムが手動のアノテーションや広範囲なリトレーニングなしに、馴染みのないドメインに移行できるようにする。
これまでの研究では、プロンプトを言語モデル(LM)に埋め込むことで、この目標にアプローチしている。
一般的な手法としては、入力層にプロンプトを統合することや、各トランス層に学習可能な変数を導入することが挙げられる。
それでも、それぞれの戦略には固有の制限がある。
入力層に統合されたプロンプトは、連続するトランスフォーマー層にまたがる影響を減少させる可能性がある。
逆に、各レイヤに学習可能な変数を追加することで、トレーニングプロセスが複雑になり、推論遅延が増加する。
上記の問題に対処するため, ゼロショットDST用に設計されたDual Low-Rank Adaptation (DualLoRA)を提案する。
DualLoRAは2つの異なるローランク適応(LoRA)コンポーネントを組み込んでおり、対話コンテキスト処理とプロンプト最適化の両方をターゲットにしており、トランスフォーマーモデル層全体のプロンプトの包括的な影響を保証する。
これは、追加の推論遅延を発生させることなく達成され、既存のアーキテクチャへの効率的な統合を示す。
MultiWOZデータセットとSGDデータセットの厳密な評価を通じて、DualLoRAは、ゼロショット設定における従来のベースラインメソッドよりも優れた、複数のドメインにわたる顕著な改善を示している。
私たちのコードは、次の通りアクセスできます。
関連論文リスト
- Efficient Transfer Learning for Video-language Foundation Models [13.166348605993292]
テキストと視覚分岐における表現のアライメントを改善するため,MSTA(Multi-modal Spatio-supervised)を提案する。
提案手法の有効性は,ゼロショット転送,少数ショット学習,ベース・ツー・ヴァリアント,完全言語学習の4つの課題にまたがる。
論文 参考訳（メタデータ） (2024-11-18T01:25:58Z) - LayeredDoc: Domain Adaptive Document Restoration with a Layer Separation Approach [9.643486775455841]
本稿では,文書画像復元システムにおける領域適応性を向上するテキスト・グラフィック・レイヤ分離手法を提案する。
本稿では,2つのレイヤ情報を利用するLayeredDocを提案する。第1のターゲットは粗粒のグラフィックコンポーネントであり,第2のレイヤは機械印刷されたテキストコンテンツを洗練する。
本研究では,本研究のために開発された新しい実世界のデータセットであるLayeredDocDBを用いて,定性的かつ定量的にアプローチを評価する。
論文 参考訳（メタデータ） (2024-06-12T19:41:01Z) - Dual DETRs for Multi-Label Temporal Action Detection [46.05173000284639]
時間的行動検出(TAD)は、ビデオ内のアクション境界と対応するカテゴリを特定することを目的としている。
我々は、インスタンスレベルとバウンダリレベルの両方からのアクションを検出するために、新しいDualレベルクエリベースのTADフレームワーク、すなわちDualDETRを提案する。
我々はDualDETRを3つの挑戦的マルチラベルTADベンチマークで評価した。
論文 参考訳（メタデータ） (2024-03-31T11:43:39Z) - Infusing Hierarchical Guidance into Prompt Tuning: A Parameter-Efficient
Framework for Multi-level Implicit Discourse Relation Recognition [16.647413058592125]
マルチレベル暗黙的談話関係認識(MIDRR)は,議論間の階層的談話関係の同定を目的とする。
本稿では,プロンプトベースを提案する。
上記の問題を解決するための多レベルIDRR(PEMI)フレームワーク。
論文 参考訳（メタデータ） (2024-02-23T03:53:39Z) - PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。
8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
論文 参考訳（メタデータ） (2024-01-20T20:25:17Z) - Dual Adversarial Alignment for Realistic Support-Query Shift Few-shot
Learning [15.828113109152069]
Support-Query Shift Few-shot Learningは、低次元空間に埋め込まれた学習結果に基づいて、未確認例(クエリセット)をラベル付きデータ(サポートセット)に分類することを目的としている。
本稿では,現実的なサポートクエリシフト (Realistic Support-Query Shift) という,新しい難題を提案する。
さらに,DuaL(dual adversarial alignment framework)と呼ばれる一貫した対角的特徴アライメント手法を提案し,RSQSをドメイン間バイアスとドメイン内分散の2つの側面から緩和する。
論文 参考訳（メタデータ） (2023-09-05T09:50:31Z) - Hierarchical Local-Global Transformer for Temporal Sentence Grounding [58.247592985849124]
本稿では,時間文グラウンドリングのマルチメディア問題について検討する。
与えられた文問合せに従って、トリミングされていないビデオ内の特定のビデオセグメントを正確に決定することを目的としている。
論文 参考訳（メタデータ） (2022-08-31T14:16:56Z) - Multi-Stage Progressive Image Restoration [167.6852235432918]
本稿では、これらの競合する目標を最適にバランスできる新しい相乗的設計を提案する。
本提案では, 劣化した入力の復元関数を段階的に学習する多段階アーキテクチャを提案する。
MPRNetという名前の密接な相互接続型マルチステージアーキテクチャは、10のデータセットに対して強力なパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2021-02-04T18:57:07Z) - Meta Dialogue Policy Learning [58.045067703675095]
我々は、ドメイン間の共有可能な低レベル信号を利用するために、Deep Transferable Q-Network (DTQN)を提案する。
状態と行動表現空間をこれらの低レベル成分に対応する特徴部分空間に分解する。
実験において,本モデルは,成功率と対話効率の両方の観点から,ベースラインモデルより優れている。
論文 参考訳（メタデータ） (2020-06-03T23:53:06Z) - Hybrid Generative-Retrieval Transformers for Dialogue Domain Adaptation [77.62366712130196]
マルチドメイン MetaLWOz データセットに微調整した GPT-2 に基づくハイブリッド生成・検索モデル DSTC8 の高速領域適応タスクにおける入賞条件について述べる。
提案モデルでは,MetaLWOz上の解析論理をフォールバックとして使用し,人間の評価におけるSoTA(第2位システムよりも4%向上)と,未知のMultiWOZデータセットに適応した競合一般化性能を実現する。
論文 参考訳（メタデータ） (2020-03-03T18:07:42Z) - Non-Autoregressive Dialog State Tracking [122.2328875457225]
非自己回帰的対話状態追跡(NADST)の新しい枠組みを提案する。
NADSTはドメインとスロット間の潜在的な依存関係を分解し、分離されたスロットではなく完全なセットとして対話状態の予測を改善するためにモデルを最適化する。
以上の結果から,MultiWOZ 2.1コーパス上の全領域にわたる最先端の接合精度が得られた。
論文 参考訳（メタデータ） (2020-02-19T06:39:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。