論文の概要: HyperAdaLoRA: Accelerating LoRA Rank Allocation During Training via Hypernetworks without Sacrificing Performance
- arxiv url: http://arxiv.org/abs/2510.02630v1
- Date: Fri, 03 Oct 2025 00:15:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-06 16:35:52.213148
- Title: HyperAdaLoRA: Accelerating LoRA Rank Allocation During Training via Hypernetworks without Sacrificing Performance
- Title（参考訳）: HyperAdaLoRA: パフォーマンスを犠牲にすることなくHypernetworksによるトレーニング中のLoRAランクアロケーションの高速化
- Authors: Hao Zhang, Zhenjia Li, Runfeng Bao, Yifan Gao, Xi Xiao, Bo Huang, Yuhang Wu, Tianyang Wang, Hao Xu,
- Abstract要約: Low-Rank Adaptation (LoRA)は、大規模言語モデルを微調整するための有望なアプローチとして登場した。
本稿では,ハイパーネットワークを活用してAdaLoRAの収束を促進する新しいフレームワークであるHyperAdaLoRAを提案する。
本手法は性能を犠牲にすることなく高速な収束を実現する。
- 参考スコア（独自算出の注目度）: 27.391727025825546
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Parameter-Efficient Fine-Tuning (PEFT), especially Low-Rank Adaptation (LoRA), has emerged as a promising approach to fine-tuning large language models(LLMs) while reducing computational and memory overhead. However, LoRA assumes a uniform rank \textit{r} for each incremental matrix, not accounting for the varying significance of weight matrices across different modules and layers. AdaLoRA leverages Singular Value Decomposition (SVD) to parameterize updates and employs pruning of singular values to introduce dynamic rank allocation, thereby enhancing adaptability. However, during the training process, it often encounters issues of slow convergence speed and high computational overhead. To address this issue, we propose HyperAdaLoRA, a novel framework that accelerates the convergence of AdaLoRA by leveraging a hypernetwork. Instead of directly optimizing the components of Singular Value Decomposition $(P, \Lambda, Q)$, HyperAdaLoRA employs a hypernetwork based on attention mechanisms to dynamically generate these parameters. By pruning the outputs of the hypernetwork that generates the singular values, dynamic rank allocation is achieved. Comprehensive experiments on various datasets and models demonstrate that our method achieves faster convergence without sacrificing performance. Additionally, further extension experiments on other LoRA-based approaches validate the broad applicability of our method.
- Abstract（参考訳）: パラメータ効率の良いファインチューニング(PEFT)、特にローランド適応(LoRA)は、計算とメモリオーバーヘッドを低減しつつ、大規模言語モデル(LLM)を微調整するための有望なアプローチとして現れている。
しかし、LoRAは各増分行列に対して一様階数 \textit{r} を仮定し、異なる加群や層にわたる重み行列の異なる重要性を考慮しない。
AdaLoRAはSingular Value Decomposition (SVD)を活用して更新をパラメータ化し、特異値のプルーニングを用いて動的ランク付けを導入し、適応性を向上させる。
しかし、トレーニングの過程では、収束速度が遅く、計算オーバーヘッドが高いという問題に遭遇することが多い。
この問題に対処するために,ハイパーネットワークを活用してAdaLoRAの収束を促進する新しいフレームワークであるHyperAdaLoRAを提案する。
Singular Value Decomposition $(P, \Lambda, Q)$のコンポーネントを直接最適化する代わりに、HyperAdaLoRAは、これらのパラメータを動的に生成するためにアテンションメカニズムに基づいたハイパーネットワークを使用する。
特異値を生成するハイパーネットワークの出力をプルーニングすることにより、動的ランク割り当てを実現する。
各種データセットおよびモデルに関する総合的な実験により,本手法が性能を犠牲にすることなく,より高速な収束を実現することを示す。
さらに,他の LoRA ベースの手法のさらなる拡張実験により,本手法の適用性について検証した。
関連論文リスト
- Uni-LoRA: One Vector is All You Need [13.938834666101679]
Low-Rank Adaptation (LoRA) は、大規模言語モデルのための事実上のパラメータ効率の微調整(PEFT)手法となっている。
本稿では,これらの LoRA 変種が用いたパラメータ空間削減戦略を統一的な枠組みで定式化できることを示す。
Uni-LoRAの統一的なビューの下では、LLM全体のLoRAパラメータを再構築するためには、単一のトレーニング可能なベクトルしか必要としない。
論文 参考訳（メタデータ） (2025-06-01T03:00:09Z) - SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization [2.594346658179846]
Low-Rank Adaptation (LoRA)は、固定された低ランク部分空間への更新を制約する。
本稿では,低ランク適応(SRLoRA)における部分空間再構成について,重要性に基づく融合と再初期化を用いて紹介する。
SRLoRAは標準のLoRAよりも高速な収束と精度の向上を実現している。
論文 参考訳（メタデータ） (2025-05-18T14:12:40Z) - GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。
Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。
隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
論文 参考訳（メタデータ） (2024-12-12T13:04:54Z) - Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。
近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。
DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
論文 参考訳（メタデータ） (2024-11-01T14:28:39Z) - Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。
Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。
本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文 参考訳（メタデータ） (2024-10-25T17:07:13Z) - Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。
LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。
本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-10T18:51:53Z) - LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。
よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。
本手法は,比較性能を維持しつつパラメータ数を削減できる。
論文 参考訳（メタデータ） (2024-10-05T06:59:50Z) - Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。
また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
論文 参考訳（メタデータ） (2024-09-22T11:24:10Z) - Run LoRA Run: Faster and Lighter LoRA Implementations [50.347242693025336]
LoRAは、線形層に低ランクアダプタを導入することにより、ニューラルネットワーク内のトレーニング可能なパラメータの数を減らすテクニックである。
本稿では,LoRAの効率的な実装のためのRunLoRAフレームワークを提案する。
実験は、言語モデリングネットワーク上で最大28%のスピードアップを示す。
論文 参考訳（メタデータ） (2023-12-06T10:54:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。