論文の概要: Enhancing Low-Rank Adaptation with Structured Nonlinear Transformations

• arxiv url: http://arxiv.org/abs/2509.21870v1
• Date: Fri, 26 Sep 2025 04:54:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.187449
• Title: Enhancing Low-Rank Adaptation with Structured Nonlinear Transformations
• Title（参考訳）: 構造的非線形変換による低ランク適応の強化
• Authors: Guanzhi Deng, Mingyang Liu, Dapeng Wu, Yinqiao Li, Linqi Song,
• Abstract要約: Low-Rank Adaptation (LoRA) は、大規模言語モデルに対して広く採用されているパラメータ効率の高い微調整法である。 低ランク更新に軽量な変換を適用するLoRAの非線形拡張であるLoRANを提案する。 要約タスクと分類タスクによる実験では、LoRANはQLoRAよりも一貫して改善されている。
• 参考スコア（独自算出の注目度）: 25.21314821550254
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-Rank Adaptation (LoRA) is a widely adopted parameter-efficient fine-tuning method for large language models. However, its linear nature limits expressiveness. We propose LoRAN, a non-linear extension of LoRA that applies lightweight transformations to the low-rank updates. We further introduce Sinter, a sine-based activation that adds structured perturbations without increasing parameter count. Experiments across summarization and classification tasks show that LoRAN consistently improves over QLoRA. Ablation studies reveal that Sinter outperforms standard activations such as Sigmoid, ReLU, and Tanh, highlighting the importance of activation design in lowrank tuning.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、大規模言語モデルに対して広く採用されているパラメータ効率の高い微調整法である。 しかし、その線形性は表現性を制限している。 低ランク更新に軽量な変換を適用するLoRAの非線形拡張であるLoRANを提案する。 さらに、パラメータ数を増大させることなく、構造的摂動を付加する正弦波のアクティベーションであるSinterを導入する。 要約タスクと分類タスクによる実験では、LoRANはQLoRAよりも一貫して改善されている。 アブレーション研究により、SinterはSigmoid、ReLU、Tanhといった標準的なアクティベーションよりも優れており、低ランクチューニングにおけるアクティベーション設計の重要性を強調している。

関連論文リスト

• TensLoRA: Tensor Alternatives for Low-Rank Adaptation [4.409447722044799]
  Low-Rank Adaptation (LoRA) は、トレーニング可能な低ランク行列をアテンションプロジェクションに追加することにより、トランスフォーマーを効率的に適応するために広く使われている。 最近の拡張では、テンソルベースの適応が検討されているが、限定的な形式であり、体系的な枠組みがない。 我々は高階テンソルにLoRA更新を集約する統一フレームワークであるTensLoRAを導入し、テンソルベースの低ランク適応の幅広いファミリをモデル化する。
  論文  参考訳（メタデータ） (2025-09-22T17:15:23Z)
• SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization [2.594346658179846]
  Low-Rank Adaptation (LoRA)は、固定された低ランク部分空間への更新を制約する。 本稿では,低ランク適応(SRLoRA)における部分空間再構成について,重要性に基づく融合と再初期化を用いて紹介する。 SRLoRAは標準のLoRAよりも高速な収束と精度の向上を実現している。
  論文  参考訳（メタデータ） (2025-05-18T14:12:40Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Expressive and Generalizable Low-rank Adaptation for Large Models via Slow Cascaded Learning [55.5715496559514]
  LoRA Slow Cascade Learning (LoRASC)は、LoRAの表現性と一般化能力を高めるために設計された革新的な技術である。 提案手法は,混合低ランク適応を可能にするカスケード学習戦略により表現性を増強し,複雑なパターンをキャプチャするモデルの能力を高める。
  論文  参考訳（メタデータ） (2024-07-01T17:28:59Z)
• ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models [8.251547772610301]
  低ランク適応 (LoRA) の方法論を、低ランク適応 (AloRA) と呼ぶ革新的なアプローチに拡張する。 まず,各ランクの重要度を効果的に推定できる新しい手法であるAB-LoRAを提案する。 第2に、AB-LoRAによって導かれ、我々は徐々にLoRAのランクに多く負の影響を及ぼし、高いランクを必要とする重要なトランスフォーマーモジュールにローラの予算を割り当てる。
  論文  参考訳（メタデータ） (2024-03-24T15:09:55Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
  下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-18T22:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。