Fugu-MT 論文翻訳(概要): Null-LoRA: Low-Rank Adaptation on Null Space

論文の概要: Null-LoRA: Low-Rank Adaptation on Null Space

arxiv url: http://arxiv.org/abs/2512.15233v2
Date: Thu, 18 Dec 2025 07:45:14 GMT
ステータス: 翻訳完了
システム内更新日: 2025-12-19 14:03:03.328273
Title: Null-LoRA: Low-Rank Adaptation on Null Space
Title（参考訳）: Null-LoRA: Null 空間上の低ランク適応
Authors: Yi Zhang, Yulei Kang, Haoxuan Chen, Jinxuan Li, Jian-Fang Hu,
Abstract要約: 既存の手法は全パラメータ空間上で低ランク適応を行う。我々はNull-space based Low-Rank Adaptation (Null-LoRA)を提案する。 Null-LoRAは、冗長性を効果的に低減し、低ランクの部分の凍結によって効果的なランクを高める。
参考スコア（独自算出の注目度）: 17.518413175368696
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Parameter-efficient fine-tuning methods have gained considerable popularity for adapting large-scale models to downstream tasks, particularly LoRA and its variants. Existing methods perform low-rank adaptation over the full parameter space. However, fine-tuning within a subspace can achieve comparable effectiveness. Inspired by the observation that pre-trained models possess non-trivial null spaces, we propose Null-space based Low-Rank Adaptation (Null-LoRA). Null-LoRA effectively reduces redundancy and enhances effective rank by freezing portions of the low-rank matrices. To further improve parameter efficiency, Null-LoRA constrains the entire incremental update within the null space, maximizing the utilization of incremental updates to adapt to new task paradigms. Null-LoRA surpasses the state of the art with fewer parameters in extensive experiments across image-text retrieval and visual question answering tasks.
Abstract（参考訳）: パラメータ効率のよい微調整法は、大規模モデルを下流のタスク、特にLoRAとその変種に適応させることでかなりの人気を集めている。既存の手法は全パラメータ空間上で低ランク適応を行う。しかし、サブスペース内の微調整は、同等の有効性を達成することができる。事前学習されたモデルが非自明なヌル空間を持つという観測から着想を得て,Null-space based Low-Rank Adaptation (Null-LoRA)を提案する。 Null-LoRAは効率よく冗長性を低減し、低ランク行列の一部を凍結することで効果的なランクを高める。パラメータ効率をさらに向上するため、Null-LoRAはnull空間内のインクリメンタルアップデート全体を制限し、新しいタスクパラダイムに適応するためにインクリメンタルアップデートの利用を最大化する。 Null-LoRAは、画像テキスト検索や視覚的質問応答タスクにまたがる広範な実験において、最先端のパラメータを減らして超越している。

関連論文リスト

Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
論文参考訳（メタデータ） (2026-02-18T13:41:41Z)
Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
論文参考訳（メタデータ） (2026-01-30T10:54:51Z)
Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
論文参考訳（メタデータ） (2025-09-24T10:32:50Z)
DropLoRA: Sparse Low-Rank Adaptation for Parameter-Efficient Fine-Tuning [5.103108721904429]
そこで我々はDropLoRAを紹介した。DropLoRAは、ランク次元のプルーニングに焦点を当てた、新しいプルーニングベースのアプローチである。学習サブスペースを継続的に適応することにより、DropLoRAは、追加のトレーニングや推論コストを発生させることなく、パフォーマンスを大幅に向上する。
論文参考訳（メタデータ） (2025-08-24T12:45:36Z)
LoFT: Low-Rank Adaptation That Behaves Like Full Fine-Tuning [5.980897761790243]
フル微調整のように振る舞う新しいローランク適応法であるLoFTを紹介する。 LoFTはモデルの内部のダイナミクスを、すべてのモデルの重みを更新するものと整合させる。実験的に、このアプローチはアダプタベースのチューニングとフル微調整の間のパフォーマンスギャップを著しく狭める。
論文参考訳（メタデータ） (2025-05-27T14:54:24Z)
DenseLoRA: Dense Low-Rank Adaptation of Large Language Models [14.133511131962786]
低ランク適応 (LoRA) は大規模言語モデル (LLM) に適応するための効率的なアプローチとして開発されている。パラメータ効率を高めつつ,LoRAよりも優れた性能を実現する新しい手法であるDense Low-Rank Adaptation (DenseLoRA)を導入する。我々はDenseLoRAを様々なベンチマークで評価し、LLaMA3-8B上のトレーニング可能なパラメータの0.70%とLoRAの80.8%の精度と比較して、トレーニング可能なパラメータの0.01%で83.8%の精度を達成することを示した。
論文参考訳（メタデータ） (2025-05-27T08:19:07Z)
BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
論文参考訳（メタデータ） (2025-02-19T10:33:22Z)
RandLoRA: Full-rank parameter-efficient fine-tuning of large models [46.25124374446935]
Low-Rank Adaptation (LoRA)とその変種は、大きなトランスフォーマーネットワークのトレーニング可能なパラメータとメモリ要求の数を削減した。ウェイト更新の低ランクの性質は、本質的に微調整されたモデルの表現力を制限している。本稿では、低ランクで非学習可能なランダム行列の線形結合を用いて、フルランク更新を行うRandLoRAを提案する。
論文参考訳（メタデータ） (2025-02-03T01:59:45Z)
Controlled Low-Rank Adaptation with Subspace Regularization for Continued Training on Large Language Models [13.56631686493347]
大規模言語モデル(LLM)は、自然言語処理において顕著な能力を示すが、新しいタスクを学ぶ際に破滅的な忘れに直面している。本稿では,LoRA 構造上の部分空間正規化手法である Controlled LoRA (CLoRA) を提案する。
論文参考訳（メタデータ） (2024-10-22T08:27:23Z)
LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。本手法は,比較性能を維持しつつパラメータ数を削減できる。
論文参考訳（メタデータ） (2024-10-05T06:59:50Z)
Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
論文参考訳（メタデータ） (2024-09-22T11:24:10Z)
Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。