論文の概要: TaRA: Training-Aware Low-Rank Adaptation Initialization

• arxiv url: http://arxiv.org/abs/2609.02639v1
• Date: Wed, 02 Sep 2026 14:15:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:18.40803
• Title: TaRA: Training-Aware Low-Rank Adaptation Initialization
• Title（参考訳）: TaRA: トレーニング対応低ランク適応初期化
• Abstract要約: Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整のデファクトスタンダードとなっている。 トレーニング対応低ランク適応初期化(TaRA)は、ローランク因子によって誘導される勾配が対応するフルランク重み行列の勾配に近似するようにLoRAを初期化する手法である。
• 参考スコア（独自算出の注目度）: 15.468502643386962
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) has become a de facto standard for parameter-efficient fine-tuning (PEFT), yet its performance is highly sensitive to initialization due to the information bottleneck imposed by low-rank decomposition. Existing approaches attempt to construct high-quality LoRA initializations by exploiting principal components of pretrained weights, activations, or gradients. However, these methods do not directly account for the training dynamics of the full-rank model. In this paper, we propose Training-aware Low-Rank Adaptation Initialization (TaRA), a method that initializes LoRA such that the gradients induced by the low-rank factors closely approximate the gradient of the corresponding full-rank weight matrix. Derived from a mathematical formulation, TaRA improves gradient fidelity at the start of training while introducing negligible computational overhead. Across diverse and challenging fine-tuning tasks, TaRA consistently outperforms prior state-of-the-art methods, establishing a simple, robust, and scalable solution for effective LoRA initialization.
• Abstract（参考訳）: 低ランク適応(LoRA)はパラメータ効率の微調整(PEFT)のデファクトスタンダードとなっているが、その性能は低ランク分解による情報ボトルネックにより初期化に非常に敏感である。 既存のアプローチでは、事前訓練された重み、アクティベーション、勾配の主成分を利用して高品質なLoRA初期化を構築しようとする。 しかし、これらの手法はフルランクモデルのトレーニング力学を直接考慮していない。 本稿では,ローランク因子によって誘導される勾配が対応するフルランク重み行列の勾配に近似するようにLoRAを初期化する手法であるトレーニング対応低ランク適応初期化(TaRA)を提案する。 数学的定式化から派生したTaRAは、学習開始時の勾配忠実度を向上し、無視可能な計算オーバーヘッドを導入した。 TaRAは、多種多様で挑戦的な微調整タスク全体にわたって、従来の最先端のメソッドを一貫して上回り、効率的なLoRA初期化のためのシンプルで堅牢でスケーラブルなソリューションを確立している。

関連論文リスト

• Normalized Low-Rank Adaptation [18.076347530341426]
  トレーニング中の下降行列を正規化するための簡易かつ効果的な手法である正規化低ランク適応(NoRA)を導入する。 NoRAは一貫して収束を加速し、パフォーマンスとトレーニングの安定性を改善し、破滅的な忘れを緩和する。
  論文  参考訳（メタデータ） (2026-08-31T16:15:36Z)
• TLoRA: Task-aware Low Rank Adaptation of Large Language Models [8.568676581408239]
  Low-Rank Adaptation (LoRA) は大規模言語モデルにおいてパラメータ効率の高い微調整法として広く採用されている。 既存のLoRA変種はこれらの要因の1つにのみ対応しており、多くの場合、訓練の複雑さを増大させるか、実用的な効率を低下させるコストがかかる。 本稿では,学習開始時の資源配分を協調的に最適化する統合フレームワークTLoRAを提案する。
  論文  参考訳（メタデータ） (2026-04-20T11:43:55Z)
• LoRA-Squeeze: Simple and Effective Post-Tuning and In-Tuning Compression of LoRA Modules [10.00294036303927]
  標準的なLoRA学習を改善することを目的とした,シンプルで効率的な方法論であるLoRA-Squeezeを紹介する。 我々のアプローチは、制約のある低ランクのソリューションを直接学習するのではなく、まず表現力のある高ランクのソリューションを学習し、次に圧縮する方がよいことを示唆している。
  論文  参考訳（メタデータ） (2026-02-11T16:19:58Z)
• ODELoRA: Training Low-Rank Adaptation by Solving Ordinary Differential Equations [54.886931928255564]
  低ランク適応(LoRA)は、深層移動学習においてパラメータ効率の高い微調整法として広く採用されている。 常微分方程式(ODE)の形でLoRA因子行列に対する新しい連続時間最適化ダイナミクスを提案する。 ODELoRAは,問題次元の異なるスケールのディープニューラルネットワークのトレーニングに不可欠な特性である,安定した特徴学習を実現する。
  論文  参考訳（メタデータ） (2026-02-07T10:19:36Z)
• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• ConsNoTrainLoRA: Data-driven Weight Initialization of Low-rank Adapters using Constraints [64.35580479051208]
  以前の作品では、ローランクアダプタ (LoRA) はすべてのアタッチメントポイントに対してランダムに固定されたランクである。 本稿では,データ駆動重み初期化法を用いて,LoRAファインチューニングの収束性と最終性能を改善する。
  論文  参考訳（メタデータ） (2025-07-09T23:52:31Z)
• HRP: High-Rank Preheating for Superior LoRA Initialization [58.3319586613105]
  ハイランク予熱 (HRP) はローランク適応 (LoRA) を数ステップで運転する。 HRPは様々なモデルやタスクにおいてLoRAの有効性を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-02-11T17:59:35Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。