論文の概要: Nonlinearity as Rank: Generative Low-Rank Adapter with Radial Basis Functions

• arxiv url: http://arxiv.org/abs/2602.05709v1
• Date: Thu, 05 Feb 2026 14:36:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-06 18:49:08.97578
• Title: Nonlinearity as Rank: Generative Low-Rank Adapter with Radial Basis Functions
• Title（参考訳）: ランクとしての非線形性:ラジアル基底関数付き生成低ランク適応器
• Authors: Yihao Ouyang, Shiwei Li, Haozhao Wang, Xiandi Luo, Zhuoqi Hu, Yuetong Song, Qiyu Qin, Yichen Li, Ruixuan Li,
• Abstract要約: 低ランク適応 (LoRA) は2つの低ランク行列の積を用いて事前訓練された重み行列の更新を近似する。 Standard LoRAは明示的なランクのパラダイムに従っており、モデルキャパシティの増大には行や列を追加する必要がある。 我々は、明示的な基底ベクトルストレージを非線形基底ベクトル生成に置き換える生成的低ランク適応器(GenLoRA)を提案する。
• 参考スコア（独自算出の注目度）: 22.44125988569473
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-rank adaptation (LoRA) approximates the update of a pretrained weight matrix using the product of two low-rank matrices. However, standard LoRA follows an explicit-rank paradigm, where increasing model capacity requires adding more rows or columns (i.e., basis vectors) to the low-rank matrices, leading to substantial parameter growth. In this paper, we find that these basis vectors exhibit significant parameter redundancy and can be compactly represented by lightweight nonlinear functions. Therefore, we propose Generative Low-Rank Adapter (GenLoRA), which replaces explicit basis vector storage with nonlinear basis vector generation. Specifically, GenLoRA maintains a latent vector for each low-rank matrix and employs a set of lightweight radial basis functions (RBFs) to synthesize the basis vectors. Each RBF requires far fewer parameters than an explicit basis vector, enabling higher parameter efficiency in GenLoRA. Extensive experiments across multiple datasets and architectures show that GenLoRA attains higher effective LoRA ranks under smaller parameter budgets, resulting in superior fine-tuning performance. The code is available at https://anonymous.4open.science/r/GenLoRA-1519.
• Abstract（参考訳）: 低ランク適応 (LoRA) は2つの低ランク行列の積を用いて事前訓練された重み行列の更新を近似する。 しかし、標準のLoRAは明示的なランクのパラダイムに従っており、モデルキャパシティを増大させるには、ローランク行列に行や列(基底ベクトル)を追加する必要がある。 本稿では,これらの基底ベクトルが重要なパラメータ冗長性を示し,軽量非線形関数でコンパクトに表現できることを見出した。 そこで我々は, 明示的基底ベクトルストレージを非線形基底ベクトル生成に置き換える生成的低ランク適応器 (GenLoRA) を提案する。 具体的には、GenLoRAは低ランク行列ごとに潜在ベクトルを保持し、基底ベクトルを合成するために一連の軽量な放射基底関数(RBF)を用いる。 各RBFは明示的な基底ベクトルよりもはるかに少ないパラメータを必要とし、GenLoRAで高いパラメータ効率を実現する。 複数のデータセットとアーキテクチャにわたる大規模な実験により、GenLoRAはより小さなパラメータ予算の下で、より効果的なLoRAランクを得ることができ、より優れた微調整性能が得られることが示された。 コードはhttps://anonymous.4open.science/r/GenLoRA-1519で公開されている。

関連論文リスト

• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• QR-LoRA: QR-Based Low-Rank Adaptation for Efficient Fine-Tuning of Large Language Models [0.0]
  Low-Rank Adaptation (LoRA)は、トレーニング済みの重みに低ランク更新を適用することで、トレーニング可能なパラメータの数を減らす手法である。 QR-LoRAは, 完全微調整, 標準LoRA, SVD-LoRAの性能と一致するか, 以上の性能を示す。
  論文  参考訳（メタデータ） (2025-08-29T17:47:27Z)
• Uni-LoRA: One Vector is All You Need [21.893406288629734]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルのための事実上のパラメータ効率の微調整(PEFT)手法となっている。 Tied-LoRA、VeRA、VB-LoRAといった最近の研究は、トレーニング可能なパラメータ空間を減らすために追加の制約を導入することで、さらなる効率を推し進めている。 パラメータ空間削減戦略は, 統一フレームワークUni-LoRA内で定式化可能であることを示す。
  論文  参考訳（メタデータ） (2025-06-01T03:00:09Z)
• RaSA: Rank-Sharing Low-Rank Adaptation [67.40422142257091]
  低ランク適応(LoRA)は大規模言語モデル(LLM)のパラメータ効率の高い微調整に顕著に用いられている。 階層間の部分的なランク共有を活用することで,LoRAの表現能力を高める革新的な拡張であるRan-Sharing Low-Rank Adaptation (RaSA)を導入する。 我々の理論的根拠と実証的なアプローチは、RaSAがLoRAの中核的な利点を維持しているだけでなく、挑戦的なコードや数学タスクのパフォーマンスを大幅に向上していることを示している。
  論文  参考訳（メタデータ） (2025-03-16T17:16:36Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)
• LoRA-XS: Low-Rank Adaptation with Extremely Small Number of Parameters [11.23006032094776]
  理論的導出に基づく新しい微調整法であるLoRA-XSを紹介する。 LoRA-XSは、小さくてトレーニング可能な重量行列を組み込むことで、トレーニング可能なパラメータを劇的に削減する。 モジュールごとにひとつのパラメータから任意の大きな値にスケールでき、任意のストレージや計算の制約に適応できる。
  論文  参考訳（メタデータ） (2024-05-27T19:07:13Z)
• LoTR: Low Tensor Rank Weight Adaptation [47.4904143988667]
  大規模言語モデル(LLM)のパラメータ効率向上のための新しいアプローチであるLoTRを導入する。 LoTRはテンソル分解の形でパラメータの勾配更新を表す。 低ランクテンソル表現を持つ層列の同時圧縮により、LoTRはより優れたパラメータ効率をアーカイブできる。
  論文  参考訳（メタデータ） (2024-02-02T13:00:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。