論文の概要: MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning

• arxiv url: http://arxiv.org/abs/2605.07850v1
• Date: Fri, 08 May 2026 15:13:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:39.148271
• Title: MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning
• Title（参考訳）: MatryoshkaLora: LLMファインチューニングのための正確な階層的低ランク表現の学習
• Authors: Ionut-Vlad Modoranu, Mher Safaryan, Dan Alistarh,
• Abstract要約: MatryoshkaLoRAは、固定された慎重に作られた対角行列を既存のLoRAアダプタ間で$P$で挿入することで、正確な階層的な低ランク表現を学習する。 以上の結果から,MatryoshkaLoraは従来のランク適応手法よりも,より正確な階層的な低ランク表現を学習できることが示唆された。
• 参考スコア（独自算出の注目度）: 45.41768510181293
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the rise in scale for deep learning models to billions of parameters, the computational cost of fine-tuning remains a significant barrier to deployment. While Low-Rank Adaptation (LoRA) has become the standard for parameter-efficient fine-tuning, the need to set a predefined, static rank $r$ requires exhaustive grid searches to balance efficiency and performance. Existing rank-adaptive solutions such as DyLoRA mitigate this by sampling ranks during the training from a predefined distribution. However, they often yield sub-optimal results at higher ranks due to lack of consistent gradient signals across the full hierarchy of ranks, thus making these methods data-inefficient. In this paper, we propose MatryoshkaLoRA, a general, Matryoshka-inspired training framework for LoRA that learns accurate hierarchical low-rank representations by inserting a fixed, carefully crafted diagonal matrix $P$ between the existing LoRA adapters to scale their sub-ranks accordingly. By introducing this simple modification, our general framework recovers LoRA and DyLoRA only by changing $P$ and ensures all sub-ranks embed the available gradient information efficiently. Our MatryoshkaLoRA supports dynamic rank selection with minimal degradation in accuracy. We further propose Area Under the Rank Accuracy Curve (AURAC), a metric that consistently evaluates the performance of hierarchical low-rank adapters. Our results demonstrate that MatryoshkaLoRA learns more accurate hierarchical low-rank representations than prior rank-adaptive approaches and achieves superior accuracy-performance trade-offs across ranks on the evaluated datasets. Our code is available at https://github.com/IST-DASLab/MatryoshkaLoRA.
• Abstract（参考訳）: ディープラーニングモデルの数十億のパラメータへのスケールの増大により、微調整の計算コストは、デプロイメントにとって大きな障壁となっている。 Low-Rank Adaptation (LoRA) はパラメータ効率の高い微調整の標準となっているが、事前定義された静的ランクを$r$に設定する必要があるため、効率と性能のバランスをとるために網羅的なグリッド探索が必要である。 DyLoRAのような既存のランク適応解は、事前定義された分布からトレーニング中にランクをサンプリングすることによってこれを緩和する。 しかし、ランクの完全な階層にわたって一貫した勾配信号が欠如しているため、より高いランクで準最適結果を得ることが多いため、これらの手法はデータ非効率である。 本稿では, 既存のLoRAアダプタ間で, 厳密な対角行列を挿入して, 精度の高い階層的低ランク表現を学習する, 汎用のMateryoshka-inspireed training frameworkであるMatryoshkaLoRAを提案する。 この簡単な修正を導入することで、我々の一般的なフレームワークは、$P$を変更するだけでLoRAとDyLoRAを回復し、利用可能な勾配情報を効率的に埋め込めるようにします。 私たちのMatryoshkaLoRAは、精度の低下を最小限に抑えた動的ランク選択をサポートしています。 さらに、階層的な低ランクアダプタの性能を継続的に評価する指標であるAURAC(Area Under the Rank Accuracy Curve)を提案する。 以上の結果から,MetryoshkaLoRAは従来のランク適応手法よりも高精度な階層的低ランク表現を学習し,評価されたデータセット上のランク間での精度・性能のトレードオフを達成できることが示唆された。 私たちのコードはhttps://github.com/IST-DASLab/MatryoshkaLoRAで公開されています。

関連論文リスト

• Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。 勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
  論文  参考訳（メタデータ） (2026-02-18T13:41:41Z)
• Beyond Low-Rank Tuning: Model Prior-Guided Rank Allocation for Effective Transfer in Low-Data and Large-Gap Regimes [9.4848188271008]
  Low-Rank Adaptation (LoRA) は、完全に微調整された基礎モデルに匹敵する性能を維持しながら、計算コストを削減できることが証明されている。 現在の適応LoRA法は、ランクを動的に拡張または選択的に割り当てることで、この制限を克服しようとする。 本稿では, 既訓練重量行列の安定なランクを, 階層的ランクアロケーションの自然な先行として活用する新しいフレームワークSR-LoRAを紹介する。
  論文  参考訳（メタデータ） (2025-06-30T23:54:23Z)
• GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
  微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。 Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。 隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
  論文  参考訳（メタデータ） (2024-12-12T13:04:54Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• AutoLoRA: Automatically Tuning Matrix Ranks in Low-Rank Adaptation Based on Meta Learning [31.975038164401404]
  低ランク適応 (LoRA) 低ランクインクリメンタル更新行列は、凍結事前訓練された重量の上に置かれる。 本稿では,各LoRA層の最適ランクを自動的に識別するフレームワークであるAutoLoRAを紹介する。 自然言語理解,生成,シーケンスラベリングに関する実験により,AutoLoRAの有効性が示された。
  論文  参考訳（メタデータ） (2024-03-14T05:29:35Z)
• PRILoRA: Pruned and Rank-Increasing Low-Rank Adaptation [65.268245109828]
  我々はPRILoRAを導入し、各層ごとに異なるランクを線形に割り当て、トレーニングプロセスを通してプルーニングを行う。 8つのGLUEベンチマークで広範な実験を行い,PRILoRAの有効性を検証する。
  論文  参考訳（メタデータ） (2024-01-20T20:25:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。