論文の概要: Null-LoRA: Low-Rank Adaptation on Null Space
- arxiv url: http://arxiv.org/abs/2512.15233v1
- Date: Wed, 17 Dec 2025 09:32:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-18 17:06:26.921495
- Title: Null-LoRA: Low-Rank Adaptation on Null Space
- Title（参考訳）: Null-LoRA: Null 空間上の低ランク適応
- Authors: Yi Zhang, Yulei Kang, Haoxuan Chen, Jinxuan Li, ian-Fang Hu,
- Abstract要約: 既存の手法は全パラメータ空間上で低ランク適応を行う。
我々はNull-space based Low-Rank Adaptation (Null-LoRA)を提案する。
Null-LoRAは、冗長性を効果的に低減し、低ランクの部分の凍結によって効果的なランクを高める。
- 参考スコア（独自算出の注目度）: 7.521462195353148
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Parameter-efficient fine-tuning methods have gained considerable popularity for adapting large-scale models to downstream tasks, particularly LoRA and its variants. Existing methods perform low-rank adaptation over the full parameter space. However, fine-tuning within a subspace can achieve comparable effectiveness. Inspired by the observation that pre-trained models possess non-trivial null spaces, we propose Null-space based Low-Rank Adaptation (Null-LoRA). Null-LoRA effectively reduces redundancy and enhances effective rank by freezing portions of the low-rank matrices. To further improve parameter efficiency, Null-LoRA constrains the entire incremental update within the null space, maximizing the utilization of incremental updates to adapt to new task paradigms. Null-LoRA surpasses the state of the art with fewer parameters in extensive experiments across image-text retrieval and visual question answering tasks.
- Abstract（参考訳）: パラメータ効率のよい微調整法は、大規模モデルを下流のタスク、特にLoRAとその変種に適応させることでかなりの人気を集めている。
既存の手法は全パラメータ空間上で低ランク適応を行う。
しかし、サブスペース内の微調整は、同等の有効性を達成することができる。
事前学習されたモデルが非自明なヌル空間を持つという観測から着想を得て,Null-space based Low-Rank Adaptation (Null-LoRA)を提案する。
Null-LoRAは効率よく冗長性を低減し、低ランク行列の一部を凍結することで効果的なランクを高める。
パラメータ効率をさらに向上するため、Null-LoRAはnull空間内のインクリメンタルアップデート全体を制限し、新しいタスクパラダイムに適応するためにインクリメンタルアップデートの利用を最大化する。
Null-LoRAは、画像テキスト検索や視覚的質問応答タスクにまたがる広範な実験において、最先端のパラメータを減らして超越している。
関連論文リスト
- Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。
ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
論文 参考訳（メタデータ） (2025-09-24T10:32:50Z) - DropLoRA: Sparse Low-Rank Adaptation for Parameter-Efficient Fine-Tuning [5.103108721904429]
そこで我々はDropLoRAを紹介した。DropLoRAは、ランク次元のプルーニングに焦点を当てた、新しいプルーニングベースのアプローチである。
学習サブスペースを継続的に適応することにより、DropLoRAは、追加のトレーニングや推論コストを発生させることなく、パフォーマンスを大幅に向上する。
論文 参考訳（メタデータ） (2025-08-24T12:45:36Z) - RandLoRA: Full-rank parameter-efficient fine-tuning of large models [46.25124374446935]
Low-Rank Adaptation (LoRA)とその変種は、大きなトランスフォーマーネットワークのトレーニング可能なパラメータとメモリ要求の数を削減した。
ウェイト更新の低ランクの性質は、本質的に微調整されたモデルの表現力を制限している。
本稿では、低ランクで非学習可能なランダム行列の線形結合を用いて、フルランク更新を行うRandLoRAを提案する。
論文 参考訳（メタデータ） (2025-02-03T01:59:45Z) - Controlled Low-Rank Adaptation with Subspace Regularization for Continued Training on Large Language Models [13.56631686493347]
大規模言語モデル(LLM)は、自然言語処理において顕著な能力を示すが、新しいタスクを学ぶ際に破滅的な忘れに直面している。
本稿では,LoRA 構造上の部分空間正規化手法である Controlled LoRA (CLoRA) を提案する。
論文 参考訳（メタデータ） (2024-10-22T08:27:23Z) - LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。
よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。
本手法は,比較性能を維持しつつパラメータ数を削減できる。
論文 参考訳（メタデータ） (2024-10-05T06:59:50Z) - Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。
また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
論文 参考訳（メタデータ） (2024-09-22T11:24:10Z) - Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。
提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。
実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-20T11:56:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。