論文の概要: ID-LoRA: Efficient Low-Rank Adaptation Inspired by Matrix Interpolative Decomposition

• arxiv url: http://arxiv.org/abs/2602.20727v1
• Date: Tue, 24 Feb 2026 09:45:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-25 17:34:53.701598
• Title: ID-LoRA: Efficient Low-Rank Adaptation Inspired by Matrix Interpolative Decomposition
• Title（参考訳）: ID-LoRA:マトリックス補間分解による高効率低ランク適応
• Authors: Xindian Ma, Rundong Kong, Peng Zhang, Ruoxiang Huang, Yongyu Jiang,
• Abstract要約: トレードオフを断ち切る新しいPEFTフレームワークであるID-LoRAを提案する。 ID-LoRAを数学的推論,コード生成,MMLU,CommonsenseQA,セーフティアライメントの5つのベンチマークで評価した。
• 参考スコア（独自算出の注目度）: 3.0212805640687836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LoRA has become a universal Parameter-Efficient Fine-Tuning (PEFT) technique that equips Large Language Models (LLMs) to adapt quickly to new tasks. However, when these models are scaled up, even the latest LoRA variants still introduce considerable overhead in trainable parameters. Conversely, aggressively lowering the rank to curb this overhead markedly degrades performance in complex multi-task settings. We propose ID-LoRA, a novel PEFT framework that breaks the trade-off. Its core innovation lies in extracting and reusing clustered parameter groups from the pretrained weight matrix. These groups are then used to form multiple low-rank components, all of which share only a single initialized trainable low-rank matrix. This approach cuts the number of trainable parameters while keeping the model's capacity intact. We evaluate ID-LoRA on five diverse benchmarks: Mathematical Reasoning, Code Generation, MMLU, CommonsenseQA, and Safety Alignment. ID-LoRA outperforms both full fine-tuning and existing PEFT baselines (e.g., LoRA, DoRA, HydraLoRA) while using up to 46% fewer trainable parameters than the standard LoRA. In multi-task scenarios, it surpasses LoRA and its recent variants (e.g., DoRA and HydraLoRA) on both Code and MMLU tasks, yet requires only 54% of the trainable parameters demanded by the conventional LoRA.
• Abstract（参考訳）: LoRAは、LLM(Large Language Models)を実装して、新しいタスクに迅速に適応する、普遍的なパラメータ効率の良いファインチューニング(PEFT)技術になっている。 しかしながら、これらのモデルがスケールアップされると、最新のLoRA変種でさえ、トレーニング可能なパラメータにかなりのオーバーヘッドをもたらす。 逆に、このオーバーヘッドを抑制するためにランクを積極的に下げると、複雑なマルチタスク設定でパフォーマンスが著しく低下する。 トレードオフを断ち切る新しいPEFTフレームワークであるID-LoRAを提案する。 その中心となる革新は、事前訓練された重み行列からクラスター化されたパラメータ群を抽出して再利用することにある。 これらの群はその後、複数の低ランク成分を形成するために使用され、これらは全て1つの初期化トレーニング可能な低ランク行列を共有する。 このアプローチは、モデルのキャパシティを保ちながら、トレーニング可能なパラメータの数を削減します。 ID-LoRAを数学的推論,コード生成,MMLU,CommonsenseQA,セーフティアライメントの5つのベンチマークで評価した。 ID-LoRAは、完全な微調整と既存のPEFTベースライン(例えば、LoRA、DoRA、HydraLoRA)の両方を上回り、標準のLoRAよりも最大46%少ないトレーニング可能なパラメータを使用する。 マルチタスクのシナリオでは、LoRAとその最近の変種(例えば、DoRAとHydraLoRA)をコードとMMLUの両方のタスクで上回るが、従来のLoRAで要求されるトレーニング可能なパラメータの54%しか必要としない。

関連論文リスト

• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• Uni-LoRA: One Vector is All You Need [21.893406288629734]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルのための事実上のパラメータ効率の微調整(PEFT)手法となっている。 Tied-LoRA、VeRA、VB-LoRAといった最近の研究は、トレーニング可能なパラメータ空間を減らすために追加の制約を導入することで、さらなる効率を推し進めている。 パラメータ空間削減戦略は, 統一フレームワークUni-LoRA内で定式化可能であることを示す。
  論文  参考訳（メタデータ） (2025-06-01T03:00:09Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• LoRA-XS: Low-Rank Adaptation with Extremely Small Number of Parameters [11.23006032094776]
  理論的導出に基づく新しい微調整法であるLoRA-XSを紹介する。 LoRA-XSは、小さくてトレーニング可能な重量行列を組み込むことで、トレーニング可能なパラメータを劇的に削減する。 モジュールごとにひとつのパラメータから任意の大きな値にスケールでき、任意のストレージや計算の制約に適応できる。
  論文  参考訳（メタデータ） (2024-05-27T19:07:13Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)
• MultiLoRA: Democratizing LoRA for Better Multi-Task Learning [20.750808913757396]
  LoRAは、特定のタスクにLLMを適用する際に、顕著なリソース効率と同等のパフォーマンスを達成する。 LoRAは少数のトップ特異ベクトルに支配され、微調整はより重要でないユニタリ変換の集合に分解される。 我々は,LoRAで観測されるトップ特異ベクトルの優位性を低減し,マルチタスク適応性を向上するMultiLoRAを提案する。
  論文  参考訳（メタデータ） (2023-11-20T02:59:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。