論文の概要: Automatic Rank Allocation for Low-Rank Adaptation in Large Language Models via lp Regularization

• arxiv url: http://arxiv.org/abs/2609.28998v1
• Date: Thu, 24 Sep 2026 04:06:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.707273
• Title: Automatic Rank Allocation for Low-Rank Adaptation in Large Language Models via lp Regularization
• Title（参考訳）: Lp正規化による大規模言語モデルにおける低ランク適応のためのランクの自動配置
• Abstract要約: 低ランク適応(LoRA)は,大規模言語モデルにおいてパラメータ効率の高い微調整法として人気がある。 LoRAの重要な課題は、各適応行列のランクを決定する方法である。 本稿では,$ell_p$-LoRAを提案する。
• 参考スコア（独自算出の注目度）: 23.528593728409337
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank adaptation (LoRA) has become a popular parameter-efficient fine-tuning method for large language models. A key challenge in LoRA is how to determine the rank of each adaptation matrix, as rank directly controls its capacity and efficiency. Existing adaptive-rank methods typically allocate ranks according to manually designed importance scores, which are not directly derived from an optimization objective. In this work, we propose $\ell_p$-LoRA, a principled rank-allocation method based on $\ell_p$ regularization with $0<p<1$, which is a classical sparsity-inducing technique in signal processing and statistics. Specifically, we regularize the energy of each rank-one LoRA component, encouraging redundant components to vanish while preserving important ones. We derive the corresponding proximal subproblem and reduce the matrix optimization to a two-dimensional problem, leading to an implicit thresholding criterion for identifying redundant components. Experiments on natural language understanding and question-answering tasks demonstrate that the proposed method achieves competitive performance with existing LoRA baselines.
• Abstract（参考訳）: 低ランク適応 (LoRA) は大規模言語モデルにおいてパラメータ効率の高い微調整法として人気がある。 LoRAの重要な課題は、ランクが直接その能力と効率を制御するため、各適応行列のランクを決定する方法である。 既存のアダプティブ・ランクの手法は、通常は手動で設計された重要度スコアに従ってランクを割り当てるが、これは最適化の目的から直接派生するものではない。 本稿では,信号処理および統計処理における古典的空間誘導手法である$0<p<1$で,$\ell_p$正則化を基本とした階数割当法である$\ell_p$-LoRAを提案する。 具体的には、各ランク1のLoRAコンポーネントのエネルギーを規則化し、重要なコンポーネントを保持しながら冗長なコンポーネントが消滅することを奨励する。 我々は、対応する近位部分プロブレムを導出し、行列最適化を二次元問題に還元し、余剰成分を識別するための暗黙のしきい値基準を導出する。 自然言語理解と質問応答タスクの実験により,提案手法が既存のLoRAベースラインと競合する性能を発揮することを示す。

関連論文リスト

• Statistical Inference for Rank Allocation in Low-Rank Adaptation [54.886931928255564]
  低ランク適応 (LoRA) は大規模言語モデルにおいてパラメータ効率の高い微調整法として広く用いられている。 統計的推論に基づくランクアロケーション手法であるStatLoRAを提案する。 StatLoRA は,Vanilla LoRA,AdaLoRA,I-LoRA と同等以上の性能を示す。
  論文  参考訳（メタデータ） (2026-07-22T14:25:59Z)
• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• TLoRA: Task-aware Low Rank Adaptation of Large Language Models [8.568676581408239]
  Low-Rank Adaptation (LoRA) は大規模言語モデルにおいてパラメータ効率の高い微調整法として広く採用されている。 既存のLoRA変種はこれらの要因の1つにのみ対応しており、多くの場合、訓練の複雑さを増大させるか、実用的な効率を低下させるコストがかかる。 本稿では,学習開始時の資源配分を協調的に最適化する統合フレームワークTLoRAを提案する。
  論文  参考訳（メタデータ） (2026-04-20T11:43:55Z)
• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• Automatic Rank Determination for Low-Rank Adaptation via Submodular Function Maximization [56.78271181959529]
  SubLoRAは、サブモジュール関数に基づくローランド適応(LoRA)のランク決定方法である。 提案手法は, 理論的基礎, 2次精度, 実用計算効率の両立を図っている。
  論文  参考訳（メタデータ） (2025-07-02T15:56:40Z)
• GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
  微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。 Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。 隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
  論文  参考訳（メタデータ） (2024-12-12T13:04:54Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。