論文の概要: Investigating ReLoRA: Effects on the Learning Dynamics of Small Language Models

• arxiv url: http://arxiv.org/abs/2509.12960v2
• Date: Thu, 02 Oct 2025 14:09:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.071602
• Title: Investigating ReLoRA: Effects on the Learning Dynamics of Small Language Models
• Title（参考訳）: ReLoRAの調査:小言語モデルの学習ダイナミクスへの影響
• Authors: Yuval Weiss, David Demitri Africa, Paula Buttery, Richard Diehl Martinez,
• Abstract要約: 小型言語モデル(SLM)はランク不足を示し、使用可能な次元を過小評価する。 ReLoRAのランク拡張された更新ルール テキストステア SLM は、より健全な学習ダイナミックスへ向けられるか? 本研究では,SLMにおけるReLoRAに関する最初の体系的研究を行い,性能と学習のダイナミクスを評価した。
• 参考スコア（独自算出の注目度）: 3.199098703282354
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient methods like LoRA have revolutionised large language model (LLM) fine-tuning. ReLoRA extends this idea to pretraining by repeatedly merging and reinitialising low-rank adapters, increasing cumulative rank while keeping updates cheap. This aligns well with observations that high-capacity models learn through locally low-rank trajectories that expand over time. By contrast, recent work suggests that small language models (SLMs) exhibit rank deficiencies and under-utilise their available dimensionality. This raises a natural question: can ReLoRA's rank-expanding update rule \textit{steer} SLMs toward healthier learning dynamics, mitigating rank bottlenecks in a capacity-constrained regime? We argue SLMs are an ideal testbed: they train quickly, enable controlled ablations, and make rank phenomena more measurable. We present the first systematic study of ReLoRA in SLMs (11M-66M parameters), evaluating both performance and learning dynamics. Across loss, Paloma perplexity, and BLiMP, we find that ReLoRA underperforms full-rank training, with gaps widening at larger scales. Analysis of proportional effective rank and condition numbers shows that ReLoRA amplifies existing rank deficiencies and induces ill-conditioned updates early in training. Our results suggest that while ReLoRA's merge-and-restart strategy can expand ranks in larger models, it does not straightforwardly translate to capacity-limited SLMs, motivating adaptive-rank or hybrid-rank approaches for low-compute pretraining.
• Abstract（参考訳）: LoRAのようなパラメータ効率のよい手法は、大規模言語モデル(LLM)の微調整に革命をもたらした。 ReLoRAは、低ランクアダプタのマージと再起動を繰り返し、更新を安く保ちながら累積ランクを向上することで、このアイデアを事前トレーニングにまで拡張した。 これは、高容量モデルが時間とともに広がる局所的な低ランク軌道を通して学習する観察とよく一致している。 対照的に、最近の研究は、小型言語モデル(SLM)がランク不足を示し、使用可能な次元を過小評価していることを示唆している。 ReLoRAのランク拡張更新ルール \textit{steer} SLM は、より健全な学習ダイナミックスに対して、キャパシティ制約のあるシステムにおけるランクボトルネックを軽減することができるか? 我々は、SLMは理想的なテストベッドであり、迅速に訓練し、制御されたアブレーションを可能にし、ランク現象をより測定可能にする。 本研究では,SLMにおけるReLoRAの最初の体系的研究(11M-66Mパラメータ)について述べる。 損失,パロマのパープレキシティ,BLiMP全体では,ReLoRAはフルランクトレーニングでは不十分であり,ギャップは大規模に拡大している。 比例的有効ランクと条件数の分析は、ReLoRAが既存のランク不足を増幅し、トレーニングの早い段階で不条件更新を誘導することを示している。 以上の結果から,ReLoRAのマージ・アンド・リスタート戦略は大規模モデルではランクを拡大できるが,適応ランクやハイブリッドランクのアプローチを低スループット事前学習に駆り立てることで,キャパシティ限定のSLMに簡単には変換できないことが示唆された。

関連論文リスト

• DropLoRA: Sparse Low-Rank Adaptation for Parameter-Efficient Fine-Tuning [5.103108721904429]
  そこで我々はDropLoRAを紹介した。DropLoRAは、ランク次元のプルーニングに焦点を当てた、新しいプルーニングベースのアプローチである。 学習サブスペースを継続的に適応することにより、DropLoRAは、追加のトレーニングや推論コストを発生させることなく、パフォーマンスを大幅に向上する。
  論文  参考訳（メタデータ） (2025-08-24T12:45:36Z)
• How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM? [55.33467849079774]
  ローランク適応(ローランク適応、LoRA)は、大規模言語モデルの更新やドメイン固有適応のための一般的かつ効率的な訓練手法である。 これまでに学習した知識を損なうことなく, LoRA を用いて LLM に新たな事実を組み込む方法について検討した。
  論文  参考訳（メタデータ） (2025-02-20T12:31:03Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• LoRA vs Full Fine-tuning: An Illusion of Equivalence [76.11938177294178]
  我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。 特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。 我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
  論文  参考訳（メタデータ） (2024-10-28T17:14:01Z)
• Investigating Training Strategies and Model Robustness of Low-Rank Adaptation for Language Modeling in Speech Recognition [27.515920408920216]
  フリーズドプレトレーニング言語モデル(PLM)を用いたローランク適応(LoRA)は、メモリ制約ハードウェアのための資源効率の高いモデリング手法である。 本研究では,様々なLoRAトレーニング戦略を導入することにより,モデル性能を向上させる方法について検討する。 LoRAに基づく第2パス音声認識モデルの安定性をさらに評価するため,入力摂動に対する検討を行った。
  論文  参考訳（メタデータ） (2024-01-19T01:30:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。