論文の概要: ConsNoTrainLoRA: Data-driven Weight Initialization of Low-rank Adapters using Constraints
- arxiv url: http://arxiv.org/abs/2507.08044v1
- Date: Wed, 09 Jul 2025 23:52:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-14 18:03:54.118637
- Title: ConsNoTrainLoRA: Data-driven Weight Initialization of Low-rank Adapters using Constraints
- Title（参考訳）: ConsNoTrainLoRA:制約を用いた低ランク適応器のデータ駆動重み初期化
- Authors: Debasmit Das, Hyoungwoo Park, Munawar Hayat, Seokeon Choi, Sungrack Yun, Fatih Porikli,
- Abstract要約: 以前の作品では、ローランクアダプタ (LoRA) はすべてのアタッチメントポイントに対してランダムに固定されたランクである。
本稿では,データ駆動重み初期化法を用いて,LoRAファインチューニングの収束性と最終性能を改善する。
- 参考スコア（独自算出の注目度）: 64.35580479051208
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Foundation models are pre-trained on large-scale datasets and subsequently fine-tuned on small-scale datasets using parameter-efficient fine-tuning (PEFT) techniques like low-rank adapters (LoRA). In most previous works, LoRA weight matrices are randomly initialized with a fixed rank across all attachment points. In this paper, we improve convergence and final performance of LoRA fine-tuning, using our proposed data-driven weight initialization method, ConsNoTrainLoRA (CNTLoRA). We express LoRA initialization as a domain shift problem where we use multiple constraints relating the pre-training and fine-tuning activations. By reformulating these constraints, we obtain a closed-form estimate of LoRA weights that depends on pre-training weights and fine-tuning activation vectors and hence requires no training during initialization. This weight estimate is decomposed to initialize the up and down matrices with proposed flexibility of variable ranks. With the proposed initialization method, we fine-tune on downstream tasks such as image generation, image classification and image understanding. Both quantitative and qualitative results demonstrate that CNTLoRA outperforms standard and data-driven weight initialization methods. Extensive analyses and ablations further elucidate the design choices of our framework, providing an optimal recipe for faster convergence and enhanced performance.
- Abstract（参考訳）: ファンデーションモデルは、大規模データセットで事前トレーニングされ、その後、低ランクアダプタ(LoRA)のようなパラメータ効率の細かいチューニング(PEFT)技術を使用して、小規模データセットで微調整される。
これまでのほとんどの研究において、LoRAの重み行列は、すべてのアタッチメントポイントにわたって固定ランクでランダムに初期化される。
本稿では,データ駆動重み初期化手法であるConsNoTrainLoRA(CNTLoRA)を用いて,LoRAファインタニングの収束と最終性能を改善する。
我々はLoRA初期化をドメインシフト問題として表現し、事前学習と微調整のアクティベーションに関する複数の制約を使用する。
これらの制約を再構成することにより、事前学習重みと微調整活性化ベクトルに依存するLoRA重みの閉形式推定値を得る。
この重み推定は、可変階数の柔軟性の提案により上下行列を初期化するために分解される。
提案手法では,画像生成,画像分類,画像理解などの下流タスクを微調整する。
CNTLoRAが標準およびデータ駆動重み初期化法より優れていることを示す。
大規模な分析と改善により、我々のフレームワークの設計選択がさらに解明され、より高速な収束と性能向上のための最適なレシピが提供されます。
関連論文リスト
- SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization [2.594346658179846]
Low-Rank Adaptation (LoRA)は、固定された低ランク部分空間への更新を制約する。
本稿では,低ランク適応(SRLoRA)における部分空間再構成について,重要性に基づく融合と再初期化を用いて紹介する。
SRLoRAは標準のLoRAよりも高速な収束と精度の向上を実現している。
論文 参考訳（メタデータ） (2025-05-18T14:12:40Z) - A Good Start Matters: Enhancing Continual Learning with Data-Driven Weight Initialization [15.8696301825572]
連続訓練されたディープニューラルネットワーク(DNN)は、事前の知識を維持し、活用しながら、新しい概念を迅速に学習する必要がある。
新しく遭遇したカテゴリのウェイトは通常ランダムに行われ、初等訓練の損失(スパイク)と不安定性に繋がる。
ニューラル・コラプス(NC)に触発され,CLにおける学習効率向上のための重み付け初期化戦略を提案する。
論文 参考訳（メタデータ） (2025-03-09T01:44:22Z) - DoTA: Weight-Decomposed Tensor Adaptation for Large Language Models [33.4538652558253]
低ランク適応(LoRA)は、低ランク行列による更新を近似することにより、微調整された大言語モデル(LLM)の計算とメモリ要求を減らす。
本稿では,事前学習した重みの行列積演算子(MPO)分解を利用した重み分解適応(DoTA)を提案する。
また、4ビット量子化用に設計されたDoTAの量子化バージョンであるQDoTAを紹介する。
論文 参考訳（メタデータ） (2024-12-30T12:00:47Z) - IntLoRA: Integral Low-rank Adaptation of Quantized Diffusion Models [68.55148272295916]
IntLoRAは、整数型低ランクパラメータを持つ量子化拡散モデルを適用し、チューニング中に推論効率を含める。
推論中、IntLoRA重みはPTQなしで直接量子化された下流重みを得るために、シームレスに事前訓練された重みにマージすることができる。
論文 参考訳（メタデータ） (2024-10-29T05:50:17Z) - On the Crucial Role of Initialization for Matrix Factorization [40.834791383134416]
この研究は古典的低ランク行列分解問題を再考し、整合率の形成における初期化の重要な役割を明らかにする。
我々はNystrom NyGDを対称非対称行列分解タスクに導入し、ローランクアダプタ(LoRA)に拡張する。
提案手法は,大規模言語および拡散モデルにおいて,1Bから7Bパラメータに至るまで,様々なダウンストリームおよびモデルスケールで優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-24T17:58:21Z) - Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。
LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。
本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-10T18:51:53Z) - Parameter Efficient Fine-tuning via Explained Variance Adaptation [13.585425242072173]
本稿では、最もアクティベーションのばらつきを捉えた方向を利用するEVA(Explained Variance Adaptation)を提案する。
EVAを言語生成・理解、画像分類、強化学習など様々な微調整タスクに適用する。
論文 参考訳（メタデータ） (2024-10-09T17:59:06Z) - LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。
よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。
本手法は,比較性能を維持しつつパラメータ数を削減できる。
論文 参考訳（メタデータ） (2024-10-05T06:59:50Z) - NEAT: Nonlinear Parameter-efficient Adaptation of Pre-trained Models [26.808251361020066]
微調整された事前学習モデルは、しばしば最先端のパフォーマンスをもたらすが、全てのパラメータを更新する際に計算コストがかかる。
本稿では,軽量ニューラルネットワークを用いた非線形PEFT手法NEATを提案し,事前学習した重みの非線形変換を学習する。
理論解析により, NEATは等価な表現性を維持しつつ, LoRA よりも高い効率を達成することが示された。
論文 参考訳（メタデータ） (2024-10-02T17:29:23Z) - AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。
重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。
我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
論文 参考訳（メタデータ） (2023-03-18T22:36:25Z) - Data-driven Weight Initialization with Sylvester Solvers [72.11163104763071]
本稿では,ディープニューラルネットワークのパラメータを初期化するためのデータ駆動方式を提案する。
提案手法は,特にショットや微調整の設定において有効であることを示す。
論文 参考訳（メタデータ） (2021-05-02T07:33:16Z) - Revisiting Initialization of Neural Networks [72.24615341588846]
ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。
Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
論文 参考訳（メタデータ） (2020-04-20T18:12:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。