論文の概要: WeightLoRA: Keep Only Necessary Adapters
- arxiv url: http://arxiv.org/abs/2506.02724v1
- Date: Tue, 03 Jun 2025 10:33:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-05 01:42:09.410737
- Title: WeightLoRA: Keep Only Necessary Adapters
- Title（参考訳）: WeightLoRA: 必要なアダプタのみを保持する
- Authors: Andrey Veprikov, Vladimir Solodkin, Alexander Zyl, Andrey Savchenko, Aleksandr Beznosikov,
- Abstract要約: 低ランク適応(texttLoRA$)は、指定されたレイヤにトレーニング可能なアダプタを追加する。
我々は、最も重要な$textttLoRA$ヘッダの適応的な選択によってこの問題を克服する新しい方法である$textttWeightLoRA$を提案する。
我々は、一連の競合ベンチマークとDeBERTa、BART、Llamaモデルの実験を行い、我々の手法を異なる適応的アプローチと比較した。
- 参考スコア（独自算出の注目度）: 79.89637596855
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The widespread utilization of language models in modern applications is inconceivable without Parameter-Efficient Fine-Tuning techniques, such as low-rank adaptation ($\texttt{LoRA}$), which adds trainable adapters to selected layers. Although $\texttt{LoRA}$ may obtain accurate solutions, it requires significant memory to train large models and intuition on which layers to add adapters. In this paper, we propose a novel method, $\texttt{WeightLoRA}$, which overcomes this issue by adaptive selection of the most critical $\texttt{LoRA}$ heads throughout the optimization process. As a result, we can significantly reduce the number of trainable parameters while maintaining the capability to obtain consistent or even superior metric values. We conduct experiments for a series of competitive benchmarks and DeBERTa, BART, and Llama models, comparing our method with different adaptive approaches. The experimental results demonstrate the efficacy of $\texttt{WeightLoRA}$ and the superior performance of $\texttt{WeightLoRA+}$ in almost all cases.
- Abstract（参考訳）: 現代のアプリケーションにおける言語モデルの広範な利用は、パラメータ効率の良いファインチューニング技術(例えば低ランク適応($\texttt{LoRA}$)など)を使わずに、選択した層にトレーニング可能なアダプタを追加することは不可能である。
$\texttt{LoRA}$は正確なソリューションが得られるかもしれないが、大きなモデルをトレーニングし、どの層にアダプタを追加するかを直観するためにかなりのメモリを必要とする。
本稿では,最適化プロセス全体を通して最も重要な$\texttt{LoRA}$ヘッドを適応的に選択することで,この問題を克服する新しい手法である$\texttt{WeightLoRA}$を提案する。
その結果、一貫したあるいは優れた計量値を得る能力を維持しながら、トレーニング可能なパラメータの数を著しく削減できる。
我々は、一連の競合ベンチマークとDeBERTa、BART、Llamaモデルの実験を行い、我々の手法を異なる適応的アプローチと比較した。
実験結果は、ほぼすべてのケースにおいて、$\texttt{WeightLoRA}$の有効性と$\texttt{WeightLoRA+}$の優れたパフォーマンスを示す。
関連論文リスト
- PointLoRA: Low-Rank Adaptation with Token Selection for Point Cloud Learning [54.99373314906667]
ポイントクラウドのための自己教師付き表現学習は、様々なタスクで事前訓練されたモデルパフォーマンスを改善する効果を実証した。
事前訓練されたモデルは複雑さが増すにつれて、下流のアプリケーションに完全に微調整を施すには、かなりの計算資源とストレージ資源が必要である。
そこで我々は,低ランク適応(LoRA)とマルチスケールトークン選択を併用した簡易かつ効果的なPointLoRAを提案する。
論文 参考訳（メタデータ） (2025-04-22T16:41:21Z) - Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。
Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。
本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文 参考訳（メタデータ） (2024-10-25T17:07:13Z) - Low-Rank Interconnected Adaptation across Layers [7.462568595335555]
層間(Lily)における低ランク相互接続型適応を提案する。
この構造は、レイヤごとの冗長な$AB$ペアを排除し、同等または少ないパラメータで上位の$Delta W$を可能にする。
モダリティ、アーキテクチャ、モデルサイズにわたる実験は、Lilyの優れたパフォーマンスと効率を実証している。
論文 参考訳（メタデータ） (2024-07-13T17:03:16Z) - DoRA: Enhancing Parameter-Efficient Fine-Tuning with Dynamic Rank Distribution [28.589498108609202]
Low-Rank Adaptation (LoRA) は、ウェイト行列の差分パラメータ予算要件を無視したバイパスフレームワークに依存している。
DoRAは、高ランクのLoRA層を構造化シングルランクコンポーネントに分解し、パラメータ予算の動的プルーニングを可能にする。
実験結果から,LORAやフルモデルファインチューニングと比較して,DoRAの競争性能が向上することが示された。
論文 参考訳（メタデータ） (2024-05-27T17:02:27Z) - The Expressive Power of Low-Rank Adaptation [11.371811534310078]
パラメータ効率のよい微調整法である低ランク適応は、微調整事前学習モデルの代表的な手法として登場した。
本稿では,LoRAの表現力を理論的に解析することで,ギャップを埋める第一歩を踏み出す。
トランスフォーマーネットワークでは、任意のモデルが、ランク=$(fractextembedding size2)$ LoRAで同じサイズのターゲットモデルに適応可能であることを示す。
論文 参考訳（メタデータ） (2023-10-26T16:08:33Z) - Multi-Head Adapter Routing for Cross-Task Generalization [56.75667096355806]
ポリトロポンは、事前訓練と少数ショット適応の両方の間、各タスクのアダプタのサブセットを選択するルーティング関数とアダプタのインベントリを学習する。
複数タスクの事前学習において、数ショットの適応よりもルーティングの方が有益であることがわかった。
論文 参考訳（メタデータ） (2022-11-07T19:35:55Z) - LoRA: Low-Rank Adaptation of Large Language Models [71.75808607987281]
Low-Rank Adaptation (LoRA)はトレーニング済みモデルの重みを凍結し、トレーニング可能な階数分解をTransformerアーキテクチャの各層に注入する。
GPT-3では、LoRAはトレーニング可能なパラメータの数を1万倍に減らし、計算ハードウェアの要求をフル微調整の3倍に削減できる。
論文 参考訳（メタデータ） (2021-06-17T17:37:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。