論文の概要: NoRA: Breaking the Linear Ceiling of Low-Rank Adaptation via Manifold Expansion

• arxiv url: http://arxiv.org/abs/2602.22911v1
• Date: Thu, 26 Feb 2026 11:55:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-27 18:41:22.668857
• Title: NoRA: Breaking the Linear Ceiling of Low-Rank Adaptation via Manifold Expansion
• Title（参考訳）: NoRA: マニフォールド展開による低ランク適応の線形シーリングを破る
• Authors: Hung-Hsuan Chen,
• Abstract要約: 低ランク適応(LoRA)はパラメータ効率細調整(PEFT)を支配している Injects SiLU gating and structure dropout to induce manifold expansion。
• 参考スコア（独自算出の注目度）: 1.5736899098702974
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) dominates parameter-efficient fine-tuning (PEFT). However, it faces a critical ``linear ceiling'' in complex reasoning tasks: simply increasing the rank yields diminishing returns due to intrinsic linear constraints. We introduce NoRA (Non-linear Rank Adaptation), a weight-level parallel adapter that injects SiLU gating and structural dropout to induce manifold expansion. On the SlimOrca benchmark, NoRA breaks this linear barrier: NoRA remarkably at rank 64 (PPL 3.89) outperforms LoRA at rank 512 (PPL 3.90), demonstrating superior spectral efficiency. This advantage generalizes to mathematical reasoning, where NoRA achieves a perplexity of 1.97 on MathInstruct, significantly surpassing LoRA's saturation point of 2.07. Mechanism analysis via Singular Value Decomposition (SVD) confirms that NoRA activates the dormant tail of the singular value spectrum, effectively preventing the rank collapse observed in linear methods.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整 (PEFT) を支配している。 しかし、それは複雑な推論タスクにおいて批判的な「線形天井」に直面している。 Injects SiLU gating and structure dropout to induce manifold expansion。 NoRAのランク64(PPL 3.89)は、LoRAのランク512(PPL 3.90)を著しく上回り、スペクトル効率が優れている。 この利点は数学的推論に一般化され、NoRAはMathInstruct上で1.97の難解性を達成し、LoRAの飽和点2.07をはるかに上回っている。 Singular Value Decomposition (SVD) によるメカニズム解析により、NoRAは特異値スペクトルの静止尾部を活性化し、線形法で観測されるランク崩壊を効果的に防止する。

関連論文リスト

• GRIT -- Geometry-Aware PEFT with K-FACPreconditioning, Fisher-Guided Reprojection, andDynamic Rank Adaptation [4.748720471060117]
  GRITは、LoRAパラメータ化を保存する曲率対応のLoRAプロシージャである。 トレーニング可能なパラメータを平均で46%削減しながら、LoRAとQLoRAにマッチまたは超越する。 GRITは強力なPEFT最適化器ベースラインよりも低いドリフトと更新vs保持フロンティアが得られる。
  論文  参考訳（メタデータ） (2026-01-01T06:31:54Z)
• OPLoRA: Orthogonal Projection LoRA Prevents Catastrophic Forgetting during Parameter-Efficient Fine-Tuning [19.425615290786386]
  Low-Rank Adaptation (LoRA)は、大規模言語モデルの効率的な微調整を可能にする。 LoRAは、学習した更新が支配的な特異な方向に干渉するとき、破滅的な忘れ込みに苦しむ。 我々はこの干渉を防止するために直交射影LORAを提案する。
  論文  参考訳（メタデータ） (2025-10-14T21:35:57Z)
• AuroRA: Breaking Low-Rank Bottleneck of LoRA with Nonlinear Mapping [28.37735374308455]
  Aurora: (I) 完全な微調整性能を6.18%のパラメータで達成するだけでなく、(II) NLPとCVの両方のタスクにおいて、最先端PEFTメソッドを最大10.88%上回っている。
  論文  参考訳（メタデータ） (2025-05-24T15:16:27Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• NoRA: Nested Low-Rank Adaptation for Efficient Fine-Tuning Large Models [27.757883818520217]
  Nested Low-Rank Adaptation (NoRA) はパラメータ効率の良い微調整のための新しいアプローチである。 外部のLoRA重みを凍結し、内部のLoRA設計を使用することで、NORAはコンパクトなパラメータ空間で正確なタスク適応を可能にする。
  論文  参考訳（メタデータ） (2024-08-18T12:18:56Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• DoRA: Weight-Decomposed Low-Rank Adaptation [57.68678247436207]
  本稿では,FTとLoRAの相違点を明らかにするために,新しい重み分解解析法を提案する。 本研究は、FTの学習能力に類似することを目的として、重量分解低ランク適応(DoRA)を提案する。 DoRAは、事前訓練された重量を、微調整のための大きさと方向の2つの構成要素に分解する。
  論文  参考訳（メタデータ） (2024-02-14T17:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。