論文の概要: SOS-LoRA: Static Orthogonal-Subspace Low-Rank Adaptation with Fixed Multi-Scale Scaling

• arxiv url: http://arxiv.org/abs/2607.16252v1
• Date: Sat, 27 Jun 2026 03:25:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.057816
• Title: SOS-LoRA: Static Orthogonal-Subspace Low-Rank Adaptation with Fixed Multi-Scale Scaling
• Title（参考訳）: SOS-LoRA:固定マルチスケールスケーリングによる静的直交部分空間低ランク適応
• Abstract要約: Low-Rank Adaptation (LoRA) は、大規模言語モデルのためのパラメータ効率の高い微調整法である。 我々は,静的な専門家の和としてランクレット更新を再パラメータ化するドロップイン拡張である静的直交部分空間LoRA(SOS-LoRA)を提案する。
• 参考スコア（独自算出の注目度）: 17.873016968298483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-Rank Adaptation (LoRA) is a widely used parameter-efficient fine-tuning (PEFT) method for large language models. Under a fixed rank budget, LoRA parameterizes each adapted weight through a single low-dimensional input-side pathway, which may couple heterogeneous behaviors through shared input directions and induce interference during optimization. We propose Static Orthogonal Subspace LoRA (SOS-LoRA), a drop-in extension that reparameterizes a rank-rtot update as a sum of K static (always-on, non-routed) low-rank experts. SOS-LoRA (i) decomposes the total rank across experts, (ii) applies a fixed multi-scale scaling scheme to encourage scale-separated optimization dynamics, and (iii) promotes diverse input-side directions via cross-expert orthogonal initialization and a lightweight regularizer. SOS-LoRA remains fully mergeable, adding no inference-time parameters or latency after merging. Experiments on reasoning and knowledge-intensive benchmarks (Llama 2/3), encoder-based NLU (GLUE), and math reasoning (GSM8K/MATH) show consistent gains over matched-budget LoRA baselines and recent variants. Code is available at https://github.com/llm172/sos-lora.
• Abstract（参考訳）: Low-Rank Adaptation (LoRA) は、大規模言語モデルのためのパラメータ効率の高い微調整法である。 固定階数予算の下では、LoRAは1つの低次元入力側経路を通じて各適応重みをパラメータ化し、これは共有入力方向を介して不均一な振る舞いをカップリングし、最適化中に干渉を誘導する。 我々は,静的な(常に無害な)低ランクの専門家の和としてランクレット更新を再パラメータ化するドロップイン拡張である静的直交部分空間LORA(SOS-LoRA)を提案する。 SOS-LoRA 一 専門家の総位を除くこと。 (II) スケール分離最適化のダイナミクスを促進するために固定されたマルチスケールスケーリングスキームを適用し、 (iii)クロスエキスパート直交初期化と軽量正規化器による多様な入力側方向の促進。 SOS-LoRAは完全にマージ可能であり、マージ後に推論時間パラメータやレイテンシを追加しない。 推論と知識集約型ベンチマーク(Llama 2/3)、エンコーダベースのNLU(GLUE)、数学推論(GSM8K/MATH)の実験は、一致した予算のLoRAベースラインと最近の変種に対して一貫した利得を示している。 コードはhttps://github.com/llm172/sos-lora.comで入手できる。

関連論文リスト

• Balanced LoRA: Removing Parameter Invariance to Accelerate Convergence [30.96331195818476]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルを微調整するための最も広く採用されている手法である。 バランス付き多様体に反復を射影するLoRAの変種BaLoRAを導入する。 BaLoRAは標準のLoRAよりも早く収束し、様々な微調整タスクで優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-05-29T16:08:28Z)
• SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
  低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。 ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。 textbfSpectrum textbfModulation textbfAdapterを提案する。
  論文  参考訳（メタデータ） (2026-05-20T13:19:28Z)
• Strategic Over-Parameterization for Generalizable Low-Rank Adaptation [14.867641913391779]
  大規模言語モデルへの完全な微調整による下流タスクへの適応は、計算とメモリの要求のため、ますます現実的ではない。 LoRA-Overは単純な原則に基づくフレームワークで、トレーニング中に最適化の風景を豊かにし、推論時に豊かにする。 LLaMA 2-7B と LLaMA 3.1-8B を用いた言語理解 (GLUE, T5-Base), 対話 (MT-Bench), 算術的推論 (GSM8K), コード生成 (HumanEval) に基づく LoRA-Over の評価を行った。
  論文  参考訳（メタデータ） (2026-05-15T12:26:17Z)
• Post-Optimization Adaptive Rank Allocation for LoRA [10.796887002907456]
  Post-Optimization Adaptive Rank Allocation (PARA) はローランド適応データ自由圧縮法である。 我々は,既存の微調整パイプラインにシームレスに統合されたLoRAのデータフリー圧縮手法であるPARAを提案する。 PARAは、視覚および言語ベンチマークにおけるオリジナルの圧縮されていないLoRAの予測性能を維持しながら、パラメータ数を75-90%削減することを示した。
  論文  参考訳（メタデータ） (2026-04-30T12:40:11Z)
• Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。 勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
  論文  参考訳（メタデータ） (2026-02-18T13:41:41Z)
• Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
  Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。 ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
  論文  参考訳（メタデータ） (2025-09-24T10:32:50Z)
• SRLoRA: Subspace Recomposition in Low-Rank Adaptation via Importance-Based Fusion and Reinitialization [2.594346658179846]
  Low-Rank Adaptation (LoRA)は、固定された低ランク部分空間への更新を制約する。 本稿では,低ランク適応(SRLoRA)における部分空間再構成について,重要性に基づく融合と再初期化を用いて紹介する。 SRLoRAは標準のLoRAよりも高速な収束と精度の向上を実現している。
  論文  参考訳（メタデータ） (2025-05-18T14:12:40Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• LoRA-Pro: Are Low-Rank Adapters Properly Optimized? [121.0693322732454]
  LoRAとしても知られる低ランク適応は、基礎モデルのパラメータ効率の細かい調整のための顕著な手法として登場した。 計算効率にもかかわらず、LoRAは完全な微調整に比べて性能が劣っている。 低ランク行列の勾配を戦略的に調整することでLoRAの性能を向上させる手法であるLoRA-Proを導入する。
  論文  参考訳（メタデータ） (2024-07-25T17:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。