論文の概要: PEDRO: Parameter-Efficient Fine-tuning with Prompt DEpenDent Representation MOdification
- arxiv url: http://arxiv.org/abs/2409.17834v1
- Date: Thu, 26 Sep 2024 13:36:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-28 18:44:57.020786
- Title: PEDRO: Parameter-Efficient Fine-tuning with Prompt DEpenDent Representation MOdification
- Title（参考訳）: PEDRO: Prompt Dependent Representation Modification を用いたパラメータ効率の良いファインチューニング
- Authors: Tianfang Xie, Tianjing Li, Wei Zhu, Wei Han, Yi Zhao,
- Abstract要約: 我々は、アンダーラインDunderlineEpenunderlineDent UnderlineRepresentation MunderlineOdification (PEDRO)という、新しい単純で簡単なPEFT手法を導入する。
- 参考スコア（独自算出の注目度）: 8.312232079766076
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Due to their substantial sizes, large language models (LLMs) are typically deployed within a single-backbone multi-tenant framework. In this setup, a single instance of an LLM backbone must cater to multiple users or tasks through the application of various parameter-efficient fine-tuning (PEFT) models. Despite the availability of numerous effective PEFT techniques such as LoRA, there remains a need for a PEFT approach that achieves both high efficiency during inference and competitive performance on downstream tasks. In this research, we introduce a new and straightforward PEFT methodology named \underline{P}rompt D\underline{E}pen\underline{D}ent \underline{R}epresentation M\underline{O}dification (PEDRO). The proposed method involves integrating a lightweight vector generator into each Transformer layer, which generates vectors contingent upon the input prompts. These vectors then modify the hidden representations created by the LLM through a dot product operation, thereby influencing the semantic output and generated content of the model. Extensive experimentation across a variety of tasks indicates that: (a) PEDRO surpasses recent PEFT benchmarks when using a similar number of tunable parameters. (b) Under the single-backbone multi-tenant deployment model, PEDRO exhibits superior efficiency compared to LoRA, indicating significant industrial potential.
- Abstract（参考訳）: かなりのサイズであるため、大きな言語モデル(LLM)は通常、単一バックボーンのマルチテナントフレームワークにデプロイされる。
このセットアップでは、LPMバックボーンの単一のインスタンスは、様々なパラメータ効率の微調整(PEFT)モデルを適用することで、複数のユーザやタスクに対応しなければならない。
LoRAのような多数の効果的なPEFT技術が利用可能であるにもかかわらず、推論時の高効率と下流タスクでの競合性能の両方を達成するPEFTアプローチは依然として必要である。
本研究では,新しいPEFT手法である \underline{P}rompt D\underline{E}pen\underline{D}ent \underline{R}epresentation M\underline{O}dification (PEDRO)を紹介する。
提案手法では,各トランスフォーマー層に軽量なベクトル発生器を組み込むことで,入力プロンプトに付随するベクトルを生成する。
これらのベクトルは、ドット積演算によってLLMが生成した隠された表現を修正し、それによってモデルのセマンティックな出力と生成された内容に影響を与える。
さまざまなタスクにわたる大規模な実験は、次のように示している。
(a) PEDROは、同じ数のチューナブルパラメータを使用する場合、最近のPEFTベンチマークを上回ります。
b) 単一バックボーン型マルチテナント配置モデルでは, PEDROはLoRAに比べて効率が優れ, 工業的可能性も高い。
関連論文リスト
- PARA: Parameter-Efficient Fine-tuning with Prompt Aware Representation Adjustment [11.34564365247007]
本稿では,アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン
論文 参考訳（メタデータ） (2025-02-03T04:06:03Z) - ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。
巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文 参考訳（メタデータ） (2024-12-11T12:31:30Z) - Preserving Pre-trained Representation Space: On Effectiveness of Prefix-tuning for Large Multi-modal Models [24.62337386603331]
大規模マルチモーダルモデル(LMM)は、機械が世界と対話する方法に革命をもたらしている。
下流タスクにLMMを適用するために,パラメータ効率細調整(PEFT)が普及している。
本稿では,各チューニング戦略の長所と短所に着目し,これらのアプローチに典型的な効率性から焦点を移す。
論文 参考訳（メタデータ） (2024-10-29T07:55:50Z) - LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。
よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。
本手法は,比較性能を維持しつつパラメータ数を削減できる。
論文 参考訳（メタデータ） (2024-10-05T06:59:50Z) - Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。
In-Context Learning (ICL) など。
効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。
下流タスクへのLLM。
我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
論文 参考訳（メタデータ） (2024-09-30T10:48:20Z) - Unleashing the Power of Task-Specific Directions in Parameter Efficient Fine-tuning [65.31677646659895]
本稿では,タスク固有の方向性 (TSD) の概念に着目し,大規模モデルを事前学習状態からPEFTにおけるタスク固有の拡張へ移行させる。
本稿では,微調整過程におけるTSDの影響を最大化し,目標タスクにおけるモデル性能を向上させることを目的とした新しいアプローチであるLoRA-Dashを紹介する。
論文 参考訳（メタデータ） (2024-09-02T08:10:51Z) - MoDE: Effective Multi-task Parameter Efficient Fine-Tuning with a Mixture of Dyadic Experts [6.245113492272563]
Mixture of Dyadic Experts (MoDE) は効率的なマルチタスク適応のための新しい設計である。
我々の設計はよりきめ細かい混合を可能にし、それによってモデルの複数のタスクを共同で処理する能力を高めます。
論文 参考訳（メタデータ） (2024-08-02T18:05:10Z) - LoRETTA: Low-Rank Economic Tensor-Train Adaptation for
Ultra-Low-Parameter Fine-Tuning of Large Language Models [20.5908375260123]
モデル性能を維持しながら計算効率のよい微調整を実現するために,様々なパラメータ効率の微調整技術が提案されている。
テンソル-トレイン分解によりトレーニング可能なパラメータを大幅に削減するフレームワークであるLoRETTAを提案する。
LoRETTAは、LLaMA-2-7Bモデルで最大100倍のパラメータで、最も広く使われているPEFT法よりも同等または優れた性能を実現している。
論文 参考訳（メタデータ） (2024-02-18T01:20:00Z) - Context-PEFT: Efficient Multi-Modal, Multi-Task Fine-Tuning [12.648711621637663]
この論文は小説を紹介します。
COCO-Efficient Fine-Tuning (PEFT) framework for multi-modal, multi-task transfer learning with pre-trained language model。
トークンのドメインに基づいて異なる適応パラメータ群を学習するContext-PEFTを提案する。
提案手法はキャプションタスクで評価され、類似したデータ制約下での完全な微調整よりも優れる。
論文 参考訳（メタデータ） (2023-12-14T13:00:24Z) - Parameter Efficient Fine-tuning via Cross Block Orchestration for Segment Anything Model [81.55141188169621]
PEFTにクロスブロックオーケストレーション機構を組み、SAM(Segment Anything Model)の様々な下流シナリオへの適応を可能にする。
本稿では,超複素層から重みが生じる線形射影ヘッドを導入するブロック内拡張モジュールを提案する。
提案手法は,約1Kのパラメータのみを付加した新規シナリオにおいて,セグメンテーション性能を大幅に向上させる。
論文 参考訳（メタデータ） (2023-11-28T11:23:34Z) - UniPELT: A Unified Framework for Parameter-Efficient Language Model
Tuning [64.638804236566]
本稿では,異なるPELTメソッドをサブモジュールとして組み込んだ統一フレームワークUniPELTを提案する。
注目すべきは、GLUEベンチマークにおいて、UniPELTは、異なる設定で微調整を組み込んだり、性能を上回る、最高のPELTメソッドと比較して、一貫して13パーセントのゲインを達成していることだ。
論文 参考訳（メタデータ） (2021-10-14T17:40:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。