論文の概要: PARA: Parameter-Efficient Fine-tuning with Prompt Aware Representation Adjustment
- arxiv url: http://arxiv.org/abs/2502.01033v1
- Date: Mon, 03 Feb 2025 04:06:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-05 15:00:23.276569
- Title: PARA: Parameter-Efficient Fine-tuning with Prompt Aware Representation Adjustment
- Title（参考訳）: PARA: Prompt Aware Representation Adjustment を用いたパラメータ効率の良いファインチューニング
- Authors: Zequan Liu, Yi Zhao, Ming Tan, Wei Zhu, Aaron Xuxiang Tian,
- Abstract要約: 本稿では,アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン・アンダーライン
- 参考スコア（独自算出の注目度）: 11.34564365247007
- License:
- Abstract: In the realm of parameter-efficient fine-tuning (PEFT) methods, while options like LoRA are available, there is a persistent demand in the industry for a PEFT approach that excels in both efficiency and performance within the context of single-backbone multi-tenant applications. This paper introduces a new and straightforward PEFT technique, termed \underline{P}rompt \underline{A}ware \underline{R}epresentation \underline{A}djustment (PARA). The core of our proposal is to integrate a lightweight vector generator within each Transformer layer. This generator produces vectors that are responsive to input prompts, thereby adjusting the hidden representations accordingly. Our extensive experimentation across diverse tasks has yielded promising results. Firstly, the PARA method has been shown to surpass current PEFT benchmarks in terms of performance, despite having a similar number of adjustable parameters. Secondly, it has proven to be more efficient than LoRA in the single-backbone multi-tenant scenario, highlighting its significant potential for industrial adoption.
- Abstract（参考訳）: パラメータ効率の細かいチューニング(PEFT)の分野では、LoRAのようなオプションが利用可能だが、シングルバックのマルチテナントアプリケーションのコンテキストにおいて、効率性とパフォーマンスの両面で優れているPEFTアプローチは、業界において永続的な需要がある。
本稿では,新しい簡単なPEFT手法,すなわち \underline{P}rompt \underline{A}ware \underline{R}epresentation \underline{A}djustment (PARA)を紹介する。
我々の提案の中核は、トランスフォーマー層に軽量なベクトルジェネレータを統合することである。
このジェネレータは入力プロンプトに応答するベクトルを生成し、それに応じて隠れた表現を調整する。
多様なタスクにわたる広範な実験により、有望な結果が得られました。
第一に、PARA法は、同じ数の調整可能なパラメータを持つにもかかわらず、現在のPEFTベンチマークを超えることが示されている。
第二に、単一バックボーンのマルチテナントシナリオでは、LoRAよりも効率的であることが証明されており、産業的採用の大きな可能性を強調している。
関連論文リスト
- ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。
巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
論文 参考訳（メタデータ） (2024-12-11T12:31:30Z) - Preserving Pre-trained Representation Space: On Effectiveness of Prefix-tuning for Large Multi-modal Models [24.62337386603331]
大規模マルチモーダルモデル(LMM)は、機械が世界と対話する方法に革命をもたらしている。
下流タスクにLMMを適用するために,パラメータ効率細調整(PEFT)が普及している。
本稿では,各チューニング戦略の長所と短所に着目し,これらのアプローチに典型的な効率性から焦点を移す。
論文 参考訳（メタデータ） (2024-10-29T07:55:50Z) - LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。
よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。
本手法は,比較性能を維持しつつパラメータ数を削減できる。
論文 参考訳（メタデータ） (2024-10-05T06:59:50Z) - PEDRO: Parameter-Efficient Fine-tuning with Prompt DEpenDent Representation MOdification [8.312232079766076]
我々は、アンダーラインDunderlineEpenunderlineDent UnderlineRepresentation MunderlineOdification (PEDRO)という、新しい単純で簡単なPEFT手法を導入する。
論文 参考訳（メタデータ） (2024-09-26T13:36:00Z) - ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections [59.839926875976225]
本稿では,HypErplane Reflectionsによる高効率微調整を行うETHER変換ファミリを提案する。
特に,既存のPEFT法と極めて少ないパラメータで一致または性能を向上するEtheRと緩和ETHER+を導入する。
論文 参考訳（メタデータ） (2024-05-30T17:26:02Z) - IAPT: Instruction-Aware Prompt Tuning for Large Language Models [19.408462115679914]
ソフトトークンを4つしか必要としない新しいプロンプトチューニング手法である命令認識型プロンプトチューニング(IAPT)を提案する。
まず,各トランスフォーマー層にパラメータ効率の良いソフトプロンプト生成器を設置し,各入力命令に対して慣用的なソフトプロンプトを生成する。
第2に、ソフトプロンプトジェネレータは、自己アテンションプーリング操作、2つのリニアプロジェクション、およびアクティベーション関数からなるボトルネックアーキテクチャを持つモジュールである。
論文 参考訳（メタデータ） (2024-05-28T14:11:01Z) - Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。
DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
論文 参考訳（メタデータ） (2024-03-18T14:05:52Z) - Context-PEFT: Efficient Multi-Modal, Multi-Task Fine-Tuning [12.648711621637663]
この論文は小説を紹介します。
COCO-Efficient Fine-Tuning (PEFT) framework for multi-modal, multi-task transfer learning with pre-trained language model。
トークンのドメインに基づいて異なる適応パラメータ群を学習するContext-PEFTを提案する。
提案手法はキャプションタスクで評価され、類似したデータ制約下での完全な微調整よりも優れる。
論文 参考訳（メタデータ） (2023-12-14T13:00:24Z) - Parameter Efficient Fine-tuning via Cross Block Orchestration for Segment Anything Model [81.55141188169621]
PEFTにクロスブロックオーケストレーション機構を組み、SAM(Segment Anything Model)の様々な下流シナリオへの適応を可能にする。
本稿では,超複素層から重みが生じる線形射影ヘッドを導入するブロック内拡張モジュールを提案する。
提案手法は,約1Kのパラメータのみを付加した新規シナリオにおいて,セグメンテーション性能を大幅に向上させる。
論文 参考訳（メタデータ） (2023-11-28T11:23:34Z) - Parameter-Efficient Fine-Tuning without Introducing New Latency [7.631596468553607]
隠れ表現の代わりに事前学習パラメータに直接アダプタを適用する新しいアダプタ技術を導入する。
提案手法は,性能と記憶効率の両面で新たな最先端性を実現し,完全微調整のパラメータは0.03%に過ぎなかった。
論文 参考訳（メタデータ） (2023-05-26T08:44:42Z) - Sensitivity-Aware Visual Parameter-Efficient Fine-Tuning [91.5113227694443]
私たちは新しいビジュアルを提案します。
Sensuous-Aware Fine-Tuning (SPT) スキーム。
SPTはタスク固有の重要な位置にトレーニング可能なパラメータを割り当てる。
ダウンストリーム認識タスクの幅広い実験により,SPTは既存のPEFT法と相補的であることが示された。
論文 参考訳（メタデータ） (2023-03-15T12:34:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。