論文の概要: BoostLoRA: Growing Effective Rank by Boosting Adapters

• arxiv url: http://arxiv.org/abs/2604.27308v1
• Date: Thu, 30 Apr 2026 01:43:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:53.868633
• Title: BoostLoRA: Growing Effective Rank by Boosting Adapters
• Title（参考訳）: BoostLoRA: アダプタの強化による効果的なランク向上
• Authors: Raviteja Anantha, Nick Levato, Layne C. Price,
• Abstract要約: BoostLoRAは、最小限のアダプタを反復的にトレーニングしマージすることで制限を克服するグラデーションブースティングフレームワークである。 本手法は, 実効的ランクがトレーニングによって増大する最初のPEFT法であり, ラウンドごとのパラメータコストと総表現能力とを分離する。
• 参考スコア（独自算出の注目度）: 3.022272657109967
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) methods face a tradeoff between adapter size and expressivity: ultra-low-parameter adapters are confined to fixed low-rank subspaces, capping performance even with extended training. We propose BoostLoRA, a gradient-boosting framework that overcomes this limit by iteratively training and merging minimal adapters on the examples the current model gets wrong. A ROTATE SVD basis strategy assigns each round to an orthogonal subspace, so cumulative effective rank grows linearly with the number of rounds while each adapter remains ultra-low-rank. After merging, adapters are discarded, leaving zero inference overhead. On Qwen2.5-3B, BoostLoRA reaches 89.1% on GSM8K and 68.8% on MATH-500, surpassing both the best single-shot ultra-low parameter adapter (TinyLoRA) and full fine-tuning; on code generation it reaches 57.2% on MBPP and 80.4% on HumanEval while full fine-tuning drops below the zero-shot baseline. We also demonstrate cross-architecture transfer on protein binding classification with ESM2-650M and cross-entropy training. BoostLoRA is, to our knowledge, the first PEFT method whose effective rank grows with training, separating per-round parameter cost from total representational capacity.
• Abstract（参考訳）: パラメータ効率のよい微調整(PEFT)法は、アダプタサイズと表現率のトレードオフに直面している。 BoostLoRAは、この制限を過度にトレーニングし、現在のモデルが間違っている例に最小限のアダプタをマージすることで、この制限を克服するグラデーションブースティングフレームワークである。 ROTATE SVD ベースの戦略は、各ラウンドを直交部分空間に割り当てるので、累積有効ランクは、各アダプタが超低ランクのまま、ラウンドの数とともに直線的に増加する。 マージ後、アダプタは破棄され、推論のオーバーヘッドはゼロになる。 Qwen2.5-3Bでは、BoostLoRAはGSM8Kで89.1%、MATH-500で68.8%に達し、最高のシングルショット超低パラメータアダプタ(TinyLoRA)とフル微調整の両方を上回っている。 また,ESM2-650Mとクロスエントロピートレーニングを用いたタンパク質結合分類における交差構造転移の実証を行った。 BoostLoRAは,トレーニングによって有効ランクが増大するPEFT法としては初めてであり,総表現能力から全体パラメータコストを分離する。

関連論文リスト

• Taming Momentum: Rethinking Optimizer States Through Low-Rank Approximation [85.89510825889168]
  効率的な事前学習のための新しい低ランクシステムであるLoRA-Preを紹介する。 LoRA-Pre オンライン線形学習器内のコンパクトな低ランク部分空間に運動量行列を分解する。 Llama アーキテクチャファミリーのモデルを事前学習することで,LoRA-Preの有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2026-02-27T18:57:06Z)
• ABM-LoRA: Activation Boundary Matching for Fast Convergence in Low-Rank Adaptation [32.193039525200284]
  低ランク適応のための原理的活性化境界マッチング(ABM-LoRA)を提案する。 私たちのABM-LoRAは、下流トレーニングの前に、アダプタのアクティベーション境界と事前訓練されたモデルのバウンダリを整列することで、この問題に対処します。 ABM-LoRAの有効性を様々なアーキテクチャやタスクで実証する。
  論文  参考訳（メタデータ） (2025-11-24T14:09:42Z)
• Don't Forget the Nonlinearity: Unlocking Activation Functions in Efficient Fine-Tuning [82.16625951603315]
  NoRAは、固定活性化を学習可能な有理関数に置き換え、構造化された低ランク更新を数値化係数と分母係数に適用する。 CIFAR-10とCIFAR-100で訓練された視覚変換器では、NoRAはパラメータのわずか0.4%を更新しながら完全な微調整に適合または超過する。 NoRAは低次元機能部分空間への適応を制約し、暗黙的に更新の規模と方向を規則化する。
  論文  参考訳（メタデータ） (2025-09-16T16:47:03Z)
• Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
  我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。 近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)
• GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection [133.45193150403537]
  LLM(Large Language Models)のトレーニングは、重み付けやGPU状態の増大によって、メモリ上の重大な問題が発生する。 本研究では,メモリ効率のトレーニング戦略としてグラディエント・ローランド・プロジェクション(GaLore)を提案する。 私たちの8ビットのGaLoreは、BF16ベースラインと比較して、メモリを82.5%、トレーニング総メモリを63.3%削減します。
  論文  参考訳（メタデータ） (2024-03-06T07:29:57Z)
• WeGeFT: Weight-Generative Fine-Tuning for Multi-Faceted Efficient Adaptation of Large Models [8.481707805559589]
  WeGeFT(Weight-Generative Fine-Tuning)は、トレーニング済みの重みから直接微調整重みを生成することを学習する新しい手法である。 この設計は、パラメータ、表現、計算、メモリの多面的効率を実現し、LoRAとその変種の性能を維持したり、超えたりしている。
  論文  参考訳（メタデータ） (2023-12-01T16:33:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。