論文の概要: Investigating ReLoRA: Effects on the Learning Dynamics of Small Language Models

• arxiv url: http://arxiv.org/abs/2509.12960v1
• Date: Tue, 16 Sep 2025 11:06:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-17 17:50:53.051917
• Title: Investigating ReLoRA: Effects on the Learning Dynamics of Small Language Models
• Title（参考訳）: ReLoRAの調査:小言語モデルの学習ダイナミクスへの影響
• Authors: Yuval Weiss, David Demitri Africa, Paula Buttery, Richard Diehl Martinez,
• Abstract要約: この研究は、小型言語モデル(SLM)におけるReLoRAの最初の体系的研究であり、性能と学習力学の両方を評価する。 ReLoRAは一般的に、損失、パロマの難易度、BLiMPの標準トレーニングよりもパフォーマンスが悪く、より大きなモデルではギャップが広がる。
• 参考スコア（独自算出の注目度）: 3.199098703282354
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient methods such as LoRA have revolutionised the fine-tuning of LLMs. Still, their extension to pretraining via ReLoRA is less well understood, especially for small language models (SLMs), which offer lower computational and environmental costs. This work is the first systematic study of ReLoRA in SLMs (11M-66M parameters), evaluating both performance and learning dynamics. Through ablation experiments, we find that ReLoRA generally performs worse than standard training on loss, Paloma perplexity and BLiMP, with the gap widening for the larger models. Further analysis of the learning dynamics of the models indicates that ReLoRA reinforces the rank deficiencies found in smaller models. These results indicate that low-rank update strategies may not transfer easily to SLM pretraining, highlighting the need for more research in the low-compute regime.
• Abstract（参考訳）: LoRAのようなパラメータ効率のよい手法はLLMの微調整に革命をもたらした。 しかし、ReLoRAによる事前訓練への拡張は、特に計算コストと環境コストの低減を図った小型言語モデル(SLM)では、あまり理解されていない。 この研究は、SLMにおけるReLoRAの初めての体系的研究であり(11M-66Mパラメータ)、性能と学習力学の両方を評価する。 アブレーション実験により、ReLoRAは一般的に損失、パロマのパープレキシティ、BLiMPの標準トレーニングよりも悪化し、より大きなモデルではギャップが広がることがわかった。 モデルの学習力学のさらなる解析は、ReLoRAがより小さなモデルで見られるランク欠陥を強化していることを示している。 これらの結果から,低ランク更新戦略はSLMプレトレーニングに容易に移行できない可能性が示唆され,低スループット体制におけるさらなる研究の必要性が浮き彫りになった。

関連論文リスト

• DropLoRA: Sparse Low-Rank Adaptation for Parameter-Efficient Fine-Tuning [5.103108721904429]
  そこで我々はDropLoRAを紹介した。DropLoRAは、ランク次元のプルーニングに焦点を当てた、新しいプルーニングベースのアプローチである。 学習サブスペースを継続的に適応することにより、DropLoRAは、追加のトレーニングや推論コストを発生させることなく、パフォーマンスを大幅に向上する。
  論文  参考訳（メタデータ） (2025-08-24T12:45:36Z)
• How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM? [55.33467849079774]
  ローランク適応(ローランク適応、LoRA)は、大規模言語モデルの更新やドメイン固有適応のための一般的かつ効率的な訓練手法である。 これまでに学習した知識を損なうことなく, LoRA を用いて LLM に新たな事実を組み込む方法について検討した。
  論文  参考訳（メタデータ） (2025-02-20T12:31:03Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• LoRA vs Full Fine-tuning: An Illusion of Equivalence [76.11938177294178]
  我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。 特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。 我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
  論文  参考訳（メタデータ） (2024-10-28T17:14:01Z)
• Investigating Training Strategies and Model Robustness of Low-Rank Adaptation for Language Modeling in Speech Recognition [27.515920408920216]
  フリーズドプレトレーニング言語モデル(PLM)を用いたローランク適応(LoRA)は、メモリ制約ハードウェアのための資源効率の高いモデリング手法である。 本研究では,様々なLoRAトレーニング戦略を導入することにより,モデル性能を向上させる方法について検討する。 LoRAに基づく第2パス音声認識モデルの安定性をさらに評価するため,入力摂動に対する検討を行った。
  論文  参考訳（メタデータ） (2024-01-19T01:30:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。