論文の概要: Parameter-Efficient Low-Resource Dialogue State Tracking by Prompt Tuning

• arxiv url: http://arxiv.org/abs/2301.10915v1
• Date: Thu, 26 Jan 2023 03:01:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-27 14:28:06.702484
• Title: Parameter-Efficient Low-Resource Dialogue State Tracking by Prompt Tuning
• Title（参考訳）: プロンプトチューニングによるパラメータ効率の低リソース対話状態追跡
• Authors: Mingyu Derek Ma, Jiun-Yu Kao, Shuyang Gao, Arpit Gupta, Di Jin, Tagyoung Chung, Nanyun Peng
• Abstract要約: 対話状態追跡(DST)は,ユーザの信念を追跡するための対話管理において重要なステップである。 既存の処理は、DSTタスクに取り組むために、すべての言語モデル(LM)パラメータを微調整する。 本稿では,ソフトプロンプトトークンの埋め込みによるタスク特性の学習を提案する。
• 参考スコア（独自算出の注目度）: 57.01260458860375
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dialogue state tracking (DST) is an important step in dialogue management to keep track of users' beliefs. Existing works fine-tune all language model (LM) parameters to tackle the DST task, which requires significant data and computing resources for training and hosting. The cost grows exponentially in the real-world deployment where dozens of fine-tuned LM are used for different domains and tasks. To reduce parameter size and better utilize cross-task shared information, we propose to use soft prompt token embeddings to learn task properties. Without tuning LM parameters, our method drastically reduces the number of parameters needed to less than 0.5% of prior works while achieves better low-resource DST performance.
• Abstract（参考訳）: 対話状態追跡(dst)は、ユーザの信念を追跡するための対話管理の重要なステップである。 既存の作業では、トレーニングとホスティングのために重要なデータと計算リソースを必要とするdstタスクに取り組むために、すべての言語モデル(lm)パラメータを微調整している。 さまざまなドメインやタスクに数十の微調整lmが使用される現実のデプロイメントでは、コストが指数関数的に増加する。 パラメータサイズを小さくし,クロスタスク共有情報を活用するために,ソフトプロンプトトークン埋め込みを用いたタスク特性の学習を提案する。 LMパラメータをチューニングせずに、従来の作業の0.5%未満に必要なパラメータ数を劇的に削減し、低リソースDST性能を向上する。

関連論文リスト

• Beyond Task Vectors: Selective Task Arithmetic Based on Importance Metrics [0.0]
  本稿では,タスク固有パラメータ融合によるマルチタスク性能向上を目的としたトレーニングフリーフレームワークであるtextbfunderlineSelective textbfunderlineTask textbfunderlineArithmetic underlinetextbf(STA)を紹介する。 実験により,STAはベンチマーク間で優れたマルチタスク性能を実現し,タスクを忘れる際の優れた性能を示した。
  論文  参考訳（メタデータ） (2024-11-25T06:59:16Z)
• ScaLearn: Simple and Highly Parameter-Efficient Task Transfer by Learning to Scale [18.396897413970965]
  ScaLearnは単純かつパラメータ効率の高い2段階MTL法である。 我々はScaLearnが少数の転送パラメータを持つ強いベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2023-10-02T14:01:36Z)
• Scaled Prompt-Tuning for Few-Shot Natural Language Generation [9.399840807973545]
  大きな言語モデル(LLM)は、より強力な言語理解と生成能力を示す。 下流タスクにおける微調整LDMのメモリ需要と計算コストは無視できない。 本稿では,従来のPTよりも優れた性能と一般化能力を持つスケールド・プロンプト・チューニング(SPT)手法を提案する。
  論文  参考訳（メタデータ） (2023-09-13T07:12:31Z)
• Task-Optimized Adapters for an End-to-End Task-Oriented Dialogue System [0.0]
  本稿では,タスク毎に個別に学習し,事前学習したネットワークの固定層に少数のパラメータを追加するタスク・ド・アダプタを用いたエンドツーエンドTODシステムを提案する。 提案手法はモデルに依存しない手法であり,プロンプトを使わずに入力データのみをプロンプトチューニングする必要がない。
  論文  参考訳（メタデータ） (2023-05-04T00:17:49Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• Good Intentions: Adaptive Parameter Management via Intent Signaling [50.01012642343155]
  そこで本研究では,既存の機械学習スタックに自然に統合された新たなインテントシグナリング機構を提案する。 次に、このメカニズムに基づいて、完全に適応的でゼロチューニングのパラメータマネージャであるAdaPMについて説明する。 私たちの評価では、AdaPMは、最先端のパラメータマネージャにマッチするか、あるいはパフォーマンスが良くなりました。
  論文  参考訳（メタデータ） (2022-06-01T13:02:19Z)
• Parameter-Efficient Sparsity for Large Language Models Fine-Tuning [63.321205487234074]
  私たちはaを提案します。 Sparse- efficient Sparse Training (PST) は、スパース・アウェア・トレーニング中にトレーニング可能なパラメータの数を減少させる手法である。 多様なネットワーク(BERT、RoBERTa、GPT-2)を用いた実験では、PSTは従来のスパーシリティ法よりも同等以上の性能を示した。
  論文  参考訳（メタデータ） (2022-05-23T02:43:45Z)
• Dynamic Parameter Allocation in Parameter Servers [74.250687861348]
  本稿では,パラメータサーバに動的パラメータ割り当てを組み込んで,Lapse と呼ばれるパラメータサーバの効率的な実装を提案する。 Lapseはニアリニアなスケーリングを提供しており、既存のパラメータサーバよりも桁違いに高速であることがわかった。
  論文  参考訳（メタデータ） (2020-02-03T11:37:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。