論文の概要: Efficient and Effective Prompt Tuning via Prompt Decomposition and Compressed Outer Product

• arxiv url: http://arxiv.org/abs/2502.12200v1
• Date: Sun, 16 Feb 2025 05:50:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:08:52.342059
• Title: Efficient and Effective Prompt Tuning via Prompt Decomposition and Compressed Outer Product
• Title（参考訳）: プロンプト分解と圧縮外積による効率的かつ効果的なプロンプトチューニング
• Authors: Pengxiang Lan, Haoyu Xu, Enneng Yang, Yuliang Liang, Guibing Guo, Jianzhe Zhao, Xingwei Wang,
• Abstract要約: 低パラメータプロンプトチューニング法は、PT法とLoRA法で性能と効率を向上する。 6つのアーキテクチャと8つのデータセットにわたる実験により、LAMPはパフォーマンスと効率において、最先端のPTベースのメソッドとLoRAベースのメソッドより優れていることが示された。
• 参考スコア（独自算出の注目度）: 8.014705094248589
• License:
• Abstract: Prompt tuning (PT) offers a cost-effective alternative to fine-tuning large-scale pre-trained language models (PLMs), requiring only a few parameters in soft prompt tokens added before the input text. However, existing PT approaches face two significant issues: (i) They overlook intrinsic semantic associations between soft prompt tokens, leading to high discreteness and limited interactions, thus reducing the model's comprehension and effectiveness in complex tasks. (ii) Due to the complexity of downstream tasks, long soft prompt is necessitated to improve performance, but prompt length correlates positively with memory usage and computational costs. Achieving high efficiency and performance remains an ongoing challenge. To address these issues, we propose a novel Low-parameters prompt tuning (LAMP) method, which leverages prompt decomposition and compressed outer product. Specifically, the prompt decomposition module employs Truncated SVD to reduce training parameters and significantly lower the dimensionality of the soft prompt parameter space. It then utilizes a compressed outer product module to facilitate multiple interactions among prompt tokens, exploring their intrinsic associations to enhance knowledge representation. Finally, LAMP uses average pooling to reduce memory usage and training/inference time. Extensive experiments across six architectures and eight datasets demonstrate that LAMP outperforms state-of-the-art PT-based and LoRA-based methods in performance and efficiency.
• Abstract（参考訳）: プロンプトチューニング(PT)は、大規模事前訓練言語モデル(PLM)の微調整に代わる費用対効果を提供し、入力テキストに付加されるソフトプロンプトトークンには数パラメータしか必要としない。 しかし、既存のPTアプローチには2つの重大な問題がある。 (i)ソフトプロンプトトークン間の本質的な意味的関連を見落とし、高い離散性と限定的な相互作用をもたらし、複雑なタスクにおけるモデルの理解と有効性を低下させる。 (II) ダウンストリームタスクの複雑さのため、性能向上には長いソフトプロンプトが必要であるが、プロンプト長はメモリ使用量や計算コストと正の相関がある。 高い効率とパフォーマンスを達成することは、今も進行中の課題です。 これらの問題に対処するために, プロンプト分解と圧縮外積を利用した新しい低パラメータプロンプトチューニング法(LAMP)を提案する。 具体的には、プロンプト分解モジュールはTrncated SVDを使用して、トレーニングパラメータを減らし、ソフトプロンプトパラメータ空間の次元を著しく小さくする。 その後、圧縮された外積モジュールを使用して、プロンプトトークン間の複数の相互作用を促進し、固有の関連性を探り、知識表現を強化する。 最後に、LAMPは平均プールを使用してメモリ使用量とトレーニング/推論時間を短縮する。 6つのアーキテクチャと8つのデータセットにわたる大規模な実験により、LAMPはパフォーマンスと効率において、最先端のPTベースのメソッドとLoRAベースのメソッドより優れていることが示された。

関連論文リスト

• Robustness-aware Automatic Prompt Optimization [45.43458098928881]
  本稿では,入力摂動に耐えられる新しいプロンプト生成法であるBATpromptを提案する。 敵の訓練技術に触発されて、BATpromptは様々な摂動タスクで強いパフォーマンスを示す。 言語理解タスクと生成タスクの両方にわたる複数のデータセット上で,BATpromptを評価する。
  論文  参考訳（メタデータ） (2024-12-24T06:05:08Z)
• EPE-P: Evidence-based Parameter-efficient Prompting for Multimodal Learning with Missing Modalities [20.991711160707755]
  モダリティの欠如は、実世界のマルチモーダル学習シナリオにおいて、トレーニングとテストの両方で発生する一般的な課題である。 欠落したモダリティを管理する既存の方法は、しばしば各モダリティや欠落したケースに対して別々のプロンプトを設計する必要がある。 我々はエビデンスに基づくエビデンスを提案する。 事前学習型マルチモーダルネットワークのための新規かつパラメータ効率の高い手法EPE-P。
  論文  参考訳（メタデータ） (2024-12-23T16:01:12Z)
• PAR: Prompt-Aware Token Reduction Method for Efficient Large Multimodal Models [32.33892531885448]
  MLLM(Multimodal large language model)は、視覚的タスクにまたがる強力なパフォーマンスを示す。 しかし、それらの効率は、マルチモーダル入力で長いコンテキストを処理することによる計算とメモリの要求によって妨げられている。 PAR(Prompt-Aware Token Reduction)は,モデルの性能を損なうことなく,視覚トークンを効率よく削減する新しい,プラグアンドプレイ方式である。
  論文  参考訳（メタデータ） (2024-10-09T07:13:22Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Attention Prompt Tuning: Parameter-efficient Adaptation of Pre-trained Models for Spatiotemporal Modeling [32.603558214472265]
  本稿では,アクション認識などのビデオベースアプリケーションに対して,Attention Prompt Tuning(APT)を導入する。 APTは、バックボーンを凍結させながら微調整中にデータトークンとともに学習可能なプロンプトのセットを注入する。 提案手法は,FLOPとレイテンシを著しく低減するとともに,大幅な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-03-11T17:59:41Z)
• Learning to Compress Prompt in Natural Language Formats [54.06967020905763]
  大規模言語モデル(LLM)は、複数の自然言語処理タスクを処理するのに優れている。 LLMは、長いコンテキスト、遅い推論速度、高い計算コストによる性能の低下によって制約される。 本研究の目的は、LLM転送性を備えた自然言語形式で長いプロンプトを圧縮することである。
  論文  参考訳（メタデータ） (2024-02-28T20:41:21Z)
• DePT: Decomposed Prompt Tuning for Parameter-Efficient Fine-tuning [14.975436239088312]
  ソフトプロンプトを短いソフトプロンプトと2つの異なる学習率で最適化された低ランク行列に分解するDePTを提案する。 DePTは、いくつかのシナリオにおいて、完全な微調整ベースラインを含む最先端のPEFTアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-11T00:02:05Z)
• Compress, Then Prompt: Improving Accuracy-Efficiency Trade-off of LLM Inference with Transferable Prompt [96.24800696597707]
  圧縮モデルにより,このトレードオフを最適化する新たな視点を導入する。 本稿では,圧縮されたモデルを学習プロセスに公開するソフトプロンプト学習法を提案する。 我々のソフトプロンプト戦略は8x圧縮LLaMA-7Bモデルの性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-17T20:45:13Z)
• Instance-wise Prompt Tuning for Pretrained Language Models [72.74916121511662]
  インスタンスワイドのPrompt Tuning(IPT)は、入力データインスタンスからプロンプトに知識を注入する最初のプロンプト学習パラダイムである。 IPTはタスクベースのプロンプト学習法を著しく上回り、調律パラメータのわずか0.5%から1.5%で従来の微調整に匹敵する性能を達成している。
  論文  参考訳（メタデータ） (2022-06-04T10:08:50Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。