論文の概要: Soft Prompt Tuning for Cross-Lingual Transfer: When Less is More

• arxiv url: http://arxiv.org/abs/2402.03782v1
• Date: Tue, 6 Feb 2024 07:52:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 15:54:34.601295
• Title: Soft Prompt Tuning for Cross-Lingual Transfer: When Less is More
• Title（参考訳）: 言語間伝達のためのソフトプロンプトチューニング: 少ない方が多い場合
• Authors: Fred Philippy, Siwen Guo, Shohreh Haddadan, Cedric Lothritz, Jacques Klein, Tegawend\'e F. Bissyand\'e
• Abstract要約: SPT(Soft Prompt Tuning)は、事前訓練された言語モデルを特定のタスクに適応するためのパラメータ効率のよい手法である。 本稿では,言語間移動におけるSPTの可能性について検討する。
• 参考スコア（独自算出の注目度）: 9.230338573494622
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Soft Prompt Tuning (SPT) is a parameter-efficient method for adapting pre-trained language models (PLMs) to specific tasks by inserting learnable embeddings, or soft prompts, at the input layer of the PLM, without modifying its parameters. This paper investigates the potential of SPT for cross-lingual transfer. Unlike previous studies on SPT for cross-lingual transfer that often fine-tune both the soft prompt and the model parameters, we adhere to the original intent of SPT by keeping the model parameters frozen and only training the soft prompt. This does not only reduce the computational cost and storage overhead of full-model fine-tuning, but we also demonstrate that this very parameter efficiency intrinsic to SPT can enhance cross-lingual transfer performance to linguistically distant languages. Moreover, we explore how different factors related to the prompt, such as the length or its reparameterization, affect cross-lingual transfer performance.
• Abstract（参考訳）: SPT(Soft Prompt Tuning)は、学習可能な埋め込みやソフトプロンプトをPLMの入力層に挿入することで、学習済み言語モデル(PLM)を特定のタスクに適応させるパラメータ効率のよい手法である。 本稿では,言語間移動におけるSPTの可能性について検討する。 ソフトプロンプトとモデルパラメータの両方を微調整する言語間伝達に関する以前の研究とは異なり、モデルパラメータを凍結させ、ソフトプロンプトのみをトレーニングすることで、sptの本来の意図に固執する。 これは、フルモデルファインチューニングの計算コストとストレージオーバーヘッドを低減させるだけでなく、SPTに固有のこのパラメータ効率が言語的に離れた言語への言語間転送性能を向上させることを実証する。 さらに,プロンプトに関連する要因(長さやパラメータ化など)が言語間移動性能に与える影響についても検討する。

関連論文リスト

• Effectively Prompting Small-sized Language Models for Cross-lingual Tasks via Winning Tickets [2.803947848713182]
  現在のソフトプロンプト法は、小型モデルに適用した場合、限られた性能が得られる。 ディーププロンプトチューニングでは、各プロンプトの予測パラメータが有効性を高める。 本稿では,優勝チケットとソフトプロンプトを統合したLottery Ticket Prompt-learningフレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-04-01T17:03:16Z)
• DePT: Decomposed Prompt Tuning for Parameter-Efficient Fine-tuning [14.975436239088312]
  ソフトプロンプトを短いソフトプロンプトと2つの異なる学習率で最適化された低ランク行列に分解するDePTを提案する。 DePTは、いくつかのシナリオにおいて、完全な微調整ベースラインを含む最先端のPEFTアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-11T00:02:05Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
  私たちは新しいビジュアルを提案します。 Sensuous-Aware Fine-Tuning (SPT) スキーム。 SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。 ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
  論文  参考訳（メタデータ） (2023-03-15T12:34:24Z)
• Evaluating Parameter-Efficient Transfer Learning Approaches on SURE Benchmark for Speech Understanding [40.27182770995891]
  ファインチューニングは、事前訓練されたモデルからのトランスファー学習のデフォルトアルゴリズムとして広く使われている。 本稿では,様々な音声処理タスクに対するパラメータ効率学習のための音声不確定評価(SURE)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-03-02T08:57:33Z)
• How Does In-Context Learning Help Prompt Tuning? [55.78535874154915]
  微調整された大きな言語モデルは、急速に拡大するスケールのために、ますます実用的ではないものになりつつある。 これはプロンプトチューニング(PT)のようなパラメータ効率のよい適応手法の使用を動機付け、凍ったモデルに少数のチューナブルな埋め込みを追加する。 近年,Singhalら (2022) はPTとICLを組み合わせた命令プロンプトチューニング (IPT) を提案している。
  論文  参考訳（メタデータ） (2023-02-22T17:45:12Z)
• FPT: Improving Prompt Tuning Efficiency via Progressive Training [84.25195519945215]
  本稿では,即時チューニングの訓練効率を向上させるために,Fast Prompt Tuningを提案する。 我々は、FPTが30%以上のトレーニング計算を節約し、同等のパフォーマンスを実現することを示した。
  論文  参考訳（メタデータ） (2022-11-13T08:00:29Z)
• Parameter-Efficient Neural Reranking for Cross-Lingual and Multilingual Retrieval [66.69799641522133]
  最先端のニューラルランカーは、お腹が空いていることで悪名高い。 現在のアプローチでは、英語データに基づいて訓練されたローダを、多言語エンコーダを用いて他の言語や言語間設定に転送するのが一般的である。 本研究では,Sparse Fine-Tuning Masks (SFTMs) とAdapters (Adapters) の2つのパラメータ効率のアプローチにより,より軽量で効果的なゼロショット転送が可能となることを示す。
  論文  参考訳（メタデータ） (2022-04-05T15:44:27Z)
• On Transferability of Prompt Tuning for Natural Language Understanding [63.29235426932978]
  タスクやモデル間でのソフトプロンプトの転送可能性について検討する。 訓練されたソフトプロンプトは、同様のタスクにうまく移行し、PTを初期化してトレーニングを加速し、パフォーマンスを向上させることができる。 以上の結果から,知識伝達によるPTの改善は可能で有望であり,プロンプトのクロスタスク転送性はクロスモデル転送性よりも良好であることが示唆された。
  論文  参考訳（メタデータ） (2021-11-12T13:39:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。