論文の概要: The Appeal and Reality of Recycling LoRAs with Adaptive Merging

• arxiv url: http://arxiv.org/abs/2602.12323v1
• Date: Thu, 12 Feb 2026 18:59:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-16 23:37:53.718894
• Title: The Appeal and Reality of Recycling LoRAs with Adaptive Merging
• Title（参考訳）: アダプティブマージによるリサイクルロラの魅力と現実性
• Authors: Haokun Liu, Gyung Hyun Je, Marco Ciccone, Zhenlin Xu, Prasanth YSS, Colin Raffel,
• Abstract要約: 私たちは、Hugging Face Hubのようなモデルリポジトリで見つかったLoRAのリサイクルについて検討しています。 適応的なマージ手法は,ベースモデルよりも性能が向上するが,新しいLoRAをトレーニングする際のメリットは限定的であることを示す。 このことは、リサイクルされたLoRAからの適応的なマージが、主にある種の正規化効果を介して機能する可能性を高める。
• 参考スコア（独自算出の注目度）: 33.0501514389443
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The widespread availability of fine-tuned LoRA modules for open pre-trained models has led to an interest in methods that can adaptively merge LoRAs to improve performance. These methods typically include some way of selecting LoRAs from a pool and tune merging coefficients based on a task-specific dataset. While adaptive merging methods have demonstrated improvements in some settings, no past work has attempted to recycle LoRAs found "in the wild" on model repositories like the Hugging Face Hub. To address this gap, we consider recycling from a pool of nearly 1,000 user-contributed LoRAs trained from the Llama 3.1 8B-Instruct language model. Our empirical study includes a range of adaptive and non-adaptive merging methods in addition to a new method designed via a wide search over the methodological design space. We demonstrate that adaptive merging methods can improve performance over the base model but provide limited benefit over training a new LoRA on the same data used to set merging coefficients. We additionally find not only that the specific choice of LoRAs to merge has little importance, but that using LoRAs with randomly initialized parameter values yields similar performance. This raises the possibility that adaptive merging from recycled LoRAs primarily works via some kind of regularization effect, rather than by enabling positive cross-task transfer. To better understand why past work has proven successful, we confirm that positive transfer is indeed possible when there are highly relevant LoRAs in the pool. We release the model checkpoints and code online.
• Abstract（参考訳）: オープンな事前訓練モデルのための微調整のLoRAモジュールが広く利用できるようになったことで、LoRAを適応的にマージしてパフォーマンスを向上させる方法への関心が高まっている。 これらのメソッドは通常、プールからLoRAを選択し、タスク固有のデータセットに基づいてマージ係数をチューニングする何らかの方法を含む。 適応的なマージメソッドはいくつかの設定で改善を示しているが、Hugging Face Hubのようなモデルリポジトリで見つかったLoRAを"野放しで"リサイクルしようと試みた過去の作業はない。 このギャップに対処するため、Llama 3.1 8B-Instruct言語モデルから学習した1000近いユーザ分散LoRAのプールからのリサイクルを検討する。 我々の実証研究は、適応的および非適応的なマージ手法と、方法論設計空間を広範囲に探索して設計された新しい手法を含む。 適応的なマージ手法は、ベースモデルよりも性能が向上するが、マージ係数を設定するのと同じデータ上で新しいLoRAをトレーニングするよりも、限られた利益が得られることを示す。 さらに,LoRAsをマージする選択が重要でないだけでなく,ランダムに初期化パラメータ値を持つLoRAsを使用することで,同様の性能が得られることも確認した。 これにより、リサイクルされたLoRAからの適応的なマージは、正のクロスタスク移動を可能にするのではなく、何らかの正則化効果によって機能する可能性がある。 過去の作業が成功した理由をよりよく理解するために、プールに非常に関連性の高いLoRAが存在する場合、正の移動が実際に可能であることを確認します。 モデルチェックポイントとコードをオンラインでリリースします。

関連論文リスト

• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• CopRA: A Progressive LoRA Training Strategy [9.847045610578073]
  Low-Rank Adaptation (LoRA) は、微調整基礎モデルのためのパラメータ効率のよい手法である。 本研究では,ランダム層降下を伴うLoRAの新しいプログレッシブトレーニング戦略を提案する。 本手法を協調ロラ(CopRA)と呼ぶ。
  論文  参考訳（メタデータ） (2024-10-30T11:07:09Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• FedEx-LoRA: Exact Aggregation for Federated and Efficient Fine-Tuning of Foundation Models [5.1613368481802455]
  Low-Rank Adaptation (LoRA) は基礎モデルの効率的な微調整技術として人気がある。 凍結重量行列に残留誤差項を追加するFederated Exact LoRA(FedEx-LoRA)を提案する。 提案手法は,LoRAの効率を保ちながら,計算と通信のオーバーヘッドを最小限に抑えた正確な更新を実現する。
  論文  参考訳（メタデータ） (2024-10-12T08:22:44Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• ResLoRA: Identity Residual Mapping in Low-Rank Adaption [96.59370314485074]
  低ランク適応(LoRA)の改良フレームワークであるResLoRAを提案する。 提案手法は,LoRAと比較してトレーニング可能なパラメータや推論コストを必要とせずに,より少ないトレーニングステップでより良い結果を得ることができる。 NLG,NLU,テキスト・ツー・イメージタスクの実験により,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-02-28T04:33:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。