Fugu-MT 論文翻訳(概要): ReCoLoRA: Spectrum-Aware Recursive Consolidation for Continual LLM Fine-Tuning

論文の概要: ReCoLoRA: Spectrum-Aware Recursive Consolidation for Continual LLM Fine-Tuning

arxiv url: http://arxiv.org/abs/2607.07719v1
Date: Sat, 04 Jul 2026 12:58:26 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-10 14:45:27.275365
Title: ReCoLoRA: Spectrum-Aware Recursive Consolidation for Continual LLM Fine-Tuning
Title（参考訳）: ReCoLoRA:連続LLMファインチューニングのためのスペクトル対応再帰積分
Abstract要約: ReCoLoRA(Recursive Consolidation of Low-Rank Adapters)は、連続的な微調整のためのスペクトル認識フレームワークである。 ReCoLoRAは、ランキングスワープのLoRA、PiSSA、AdaLoRA、DoRAのベースラインに対して4つのバックボーンのうち3つで最高得点を獲得した。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Parameter-efficient fine-tuning adapts a large language model to one task cheaply, but across a task sequence LoRA-style methods keep stacking low-rank updates on the same frozen weight, so each new task tends to overwrite the previous ones. We present ReCoLoRA (Recursive Consolidation of Low-Rank Adapters), a spectrum-aware framework for continual fine-tuning: adapters are initialized from a randomized SVD of the pretrained weight, per-layer effective ranks are selected by an elbow criterion, and the principal subspace is adapted before residual capacity is opened. Before each new task, ReCoLoRA re-decomposes the current effective weight, rather than the original one, into a frozen residual, a slowly updated principal component, and a fresh adapter (recursive consolidation), so every task starts from the model that has already absorbed its predecessors. On a six-task continual GLUE sequence over four 7-8B backbones, ReCoLoRA attains the best final average score on three of the four backbones against rank-swept LoRA, PiSSA, AdaLoRA, and DoRA baselines while training fewer parameters; an oracle-routed task-bank variant serves as an upper bound under full task isolation. Code: https://github.com/bhqy666/ReCoLoRA.
Abstract（参考訳）: パラメータ効率の良い微調整は、大きな言語モデルを1つのタスクに安価に適応させるが、タスクシーケンスを通じてLoRAスタイルのメソッドは、同じ凍結重量で低ランクの更新を積み重ね続けるため、各新しいタスクは以前のタスクを上書きする傾向がある。連続微調整のためのスペクトル認識フレームワークであるReCoLoRA(Recursive Consolidation of Low-Rank Adapters)を提案する。アダプタは事前訓練した重量のランダム化SVDから初期化され、階層ごとの有効ランクは肘基準により選択され、主部分空間は残留容量が開く前に適応される。各新しいタスクの前に、ReCoLoRAは元のタスクではなく現在の有効重量を再分解し、凍結した残留物、徐々に更新された主成分、新しいアダプタ(再帰的な統合)に分解する。 4つの7-8Bのバックボーン上の6タスク連続のGLUE配列では、ReCoLoRAはランクスワップのLoRA、PiSSA、AdaLoRA、DoRAのベースラインに対して4つのバックボーンのうち3つで最高平均スコアを得ると同時に、少ないパラメータをトレーニングする。コード:https://github.com/bhqy666/ReCoLoRA。

関連論文リスト

A Little Rank Goes a Long Way: Random Scaffolds with LoRA Adapters Are All You Need [6.398929702678775]
LottaLoRAは、すべてのバックボーン重量をランダムに描画して凍結するトレーニングパラダイムであり、ローランクのLoRAアダプタのみがトレーニングされる。 9つのベンチマークで、さまざまなアーキテクチャファミリーが、完全にトレーニングされたパフォーマンスの96-100%を回復し、パラメータの0.5-40%しかトレーニングしていない。
論文参考訳（メタデータ） (2026-04-09T20:24:50Z)
Task-Driven Subspace Decomposition for Knowledge Sharing and Isolation in LoRA-based Continual Learning [82.30237756328596]
Low-Rank Adaptation (LoRA) は継続学習 (CL) において注目を集めている。いくつかのLoRAベースのCLメソッドは、更新スペースを分離することでタスク間の干渉を減らす。 LoDAは、一般的なタスク固有のLoRAサブスペースを構築するために、タスク駆動の分解を実行する。
論文参考訳（メタデータ） (2026-02-27T02:31:00Z)
ID-LoRA: Efficient Low-Rank Adaptation Inspired by Matrix Interpolative Decomposition [3.0212805640687836]
トレードオフを断ち切る新しいPEFTフレームワークであるID-LoRAを提案する。 ID-LoRAを数学的推論,コード生成,MMLU,CommonsenseQA,セーフティアライメントの5つのベンチマークで評価した。
論文参考訳（メタデータ） (2026-02-24T09:45:10Z)
Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
論文参考訳（メタデータ） (2026-02-18T13:41:41Z)
Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
論文参考訳（メタデータ） (2026-01-30T10:54:51Z)
Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
論文参考訳（メタデータ） (2025-09-24T10:32:50Z)
QR-LoRA: QR-Based Low-Rank Adaptation for Efficient Fine-Tuning of Large Language Models [0.0]
Low-Rank Adaptation (LoRA)は、トレーニング済みの重みに低ランク更新を適用することで、トレーニング可能なパラメータの数を減らす手法である。 QR-LoRAは, 完全微調整, 標準LoRA, SVD-LoRAの性能と一致するか, 以上の性能を示す。
論文参考訳（メタデータ） (2025-08-29T17:47:27Z)
SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization [2.594346658179846]
Low-Rank Adaptation (LoRA)は、固定された低ランク部分空間への更新を制約する。本稿では,低ランク適応(SRLoRA)における部分空間再構成について,重要性に基づく融合と再初期化を用いて紹介する。 SRLoRAは標準のLoRAよりも高速な収束と精度の向上を実現している。
論文参考訳（メタデータ） (2025-05-18T14:12:40Z)
SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
論文参考訳（メタデータ） (2025-01-22T20:00:41Z)
Adaptive Rank, Reduced Forgetting: Knowledge Retention in Continual Learning Vision-Language Models with Dynamic Rank-Selective LoRA [26.079123341965687]
低ランク学習を研究し,LoRAのランクや配置が学習や忘れにどのように影響するかを分析した。上位のLoRAはタスク学習(塑性)を改善するが、下位のLoRAは安定性を高めるが適応を制限する。そこで我々は,適応的に最適化されたLoRAアダプタを用いてPTMを継続的に更新する連続動的ランク選択LoRA(CoDyRA)を提案する。
論文参考訳（メタデータ） (2024-12-01T23:41:42Z)
Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
論文参考訳（メタデータ） (2024-11-01T14:28:39Z)
SBoRA: Low-Rank Adaptation with Regional Weight Updates [19.15481369459963]
本稿では,SBORA(Standard Basis LoRA)を提案する。 SBoRAはトレーニング可能なパラメータの数を半分に減らし、LoRAと同様のトレーニング可能なパラメータの数でランクを2倍にする。本研究は,LoraよりもSBoRA-FAの方が,常識推論や算術推論など,様々な微調整タスクにおいて優れていることを示す。
論文参考訳（メタデータ） (2024-07-07T15:37:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。