論文の概要: PoLAR: Polar-Decomposed Low-Rank Adapter Representation

• arxiv url: http://arxiv.org/abs/2506.03133v1
• Date: Tue, 03 Jun 2025 17:58:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:35.980924
• Title: PoLAR: Polar-Decomposed Low-Rank Adapter Representation
• Title（参考訳）: PoLAR:極性分解低ランクアダプタ表現
• Authors: Kai Lion, Liang Zhang, Bingcong Li, Niao He,
• Abstract要約: 大規模モデルの低ランク適応は、部分空間の線型代数的階数よりかなり低い低い安定階数に悩まされていることを示す。 割り当てられた部分空間の未利用化を軽減するため、極分解に着想を得たパラメータ化であるPoLARを提案する。 我々の理論は、PoLARが標準的低ランク適応問題に対して指数関数的に高速な収束速度をもたらすことを示している。
• 参考スコア（独自算出の注目度）: 24.146034398113773
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show that low-rank adaptation of large-scale models suffers from a low stable rank that is well below the linear algebraic rank of the subspace, degrading fine-tuning performance. To mitigate the underutilization of the allocated subspace, we propose PoLAR, a parameterization inspired by the polar decomposition that factorizes the low-rank update into two direction matrices constrained to Stiefel manifolds and an unconstrained scale matrix. Our theory shows that PoLAR yields an exponentially faster convergence rate on a canonical low-rank adaptation problem. Pairing the parameterization with Riemannian optimization leads to consistent gains on three different benchmarks testing general language understanding, commonsense reasoning, and mathematical problem solving with base model sizes ranging from 350M to 27B.
• Abstract（参考訳）: 大規模モデルの低ランク適応は、部分空間の線形代数階数よりかなり低い低い安定階数に悩まされ、微調整性能が低下することを示す。 割り当てられた部分空間のアンダーユーティフィケーションを軽減するために、偏極分解にインスパイアされたパラメータ化であるPoLARを提案し、スティフェル多様体と非制約スケール行列に制約された2方向行列に低ランク更新を分解する。 我々の理論は、PoLARが標準的低ランク適応問題に対して指数関数的に高速な収束速度をもたらすことを示している。 パラメータ化をリーマン最適化と組み合わせることで、一般的な言語理解、常識推論、および350Mから27Bまでのベースモデルサイズで数学的問題を解決する3つのベンチマークにおいて、一貫した利得が得られる。

関連論文リスト

• LSR-Adapt: Ultra-Efficient Parameter Tuning with Matrix Low Separation Rank Kernel Adaptation [3.9426000822656224]
  現代の大規模言語モデルの厳密な規模のため、低ランクベースの適応はますます困難になっている。 本稿では,適応タスクに必要なパラメータの数を減らすために,効果的なカーネル化を提案する。 従来の低ランク法に比べてパラメータの約半分の精度で最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-02-19T09:20:47Z)
• Zeroth-Order Fine-Tuning of LLMs in Random Subspaces [66.27334633749734]
  言語モデルのサイズが大きくなるにつれて、バックプロパゲーションに対するメモリ要求が増加する。 Zeroth-order (ZOZO) 最適化手法はメモリ効率の代替手段を提供する。 本稿では,SubZeroがファインチューニングを強化し,通常のZOZO手法と比較して高速な結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-10-11T17:01:43Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Convergence of the majorized PAM method with subspace correction for low-rank composite factorization model [0.44241702149260353]
  本稿では,部分空間補正を伴うPAM法の収束証明書について述べる。 PAMにより生成された因子対の列と列の部分空間列の完全収束を確立する。 1ビット行列補完問題に対して, PALM法との比較を行った。
  論文  参考訳（メタデータ） (2024-06-07T02:33:22Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Low-Rank Mirror-Prox for Nonsmooth and Low-Rank Matrix Optimization Problems [17.384717824118255]
  低ランクおよび非滑らかな行列最適化問題は統計学や機械学習における多くの基本的なタスクを捉えている。 本稿では,このような問題に対する標準凸緩和について考察する。 本研究は, テクスト性相補性条件の下で, 比較的軽度な仮定の下では, 非滑らかな目的が2つの一般的なテクストミラー-プロキシ法の近似変種であるスムーズな関数の最大値として記述できることを証明した。
  論文  参考訳（メタデータ） (2022-06-23T08:10:54Z)
• Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation [64.49871502193477]
  本稿では,初期監視情報を同時に拡張し,識別親和性行列を構築することのできる,新しい半教師付きサブスペースクラスタリング手法を提案する。 6つの一般的なベンチマークデータセットの総合的な実験結果から,本手法が最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-21T01:47:17Z)
• Intermediate Layer Optimization for Inverse Problems using Deep Generative Models [86.29330440222199]
  ILOは、深層生成モデルを用いて逆問題を解決するための新しい最適化アルゴリズムである。 提案手法は,StyleGAN-2 や PULSE で導入した最先端手法よりも幅広い逆問題に対して優れていることを示す。
  論文  参考訳（メタデータ） (2021-02-15T06:52:22Z)
• Mixed-Projection Conic Optimization: A New Paradigm for Modeling Rank Constraints [3.179831861897336]
  低ランク最適化問題を証明可能な最適性に解決するためのフレームワークを提供する。 我々のフレームワークは、ラウンドリングや局所探索技術を通じて、ほぼ最適のソリューションを提供する。
  論文  参考訳（メタデータ） (2020-09-22T08:59:06Z)
• Multi-View Spectral Clustering Tailored Tensor Low-Rank Representation [105.33409035876691]
  本稿では,テンソル低ランクモデルに基づくマルチビュースペクトルクラスタリング(MVSC)の問題について検討する。 MVSCに適合する新しい構造テンソル低ランクノルムを設計する。 提案手法は最先端の手法よりもかなり優れていることを示す。
  論文  参考訳（メタデータ） (2020-04-30T11:52:12Z)
• Support recovery and sup-norm convergence rates for sparse pivotal estimation [79.13844065776928]
  高次元スパース回帰では、ピボット推定器は最適な正規化パラメータがノイズレベルに依存しない推定器である。 非滑らかで滑らかな単一タスクとマルチタスク正方形ラッソ型推定器に対するミニマックス超ノルム収束率を示す。
  論文  参考訳（メタデータ） (2020-01-15T16:11:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。