論文の概要: Efficient Orthogonal Fine-Tuning with Principal Subspace Adaptation

• arxiv url: http://arxiv.org/abs/2505.11235v2
• Date: Fri, 26 Sep 2025 16:35:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 14:23:57.345002
• Title: Efficient Orthogonal Fine-Tuning with Principal Subspace Adaptation
• Title（参考訳）: 主部分空間適応を用いた高能率直交ファインチューニング
• Authors: Fei Wu, Jia Hu, Geyong Min, Shiqiang Wang,
• Abstract要約: パラメータ効率の良いファインチューニングのための主部分空間適応(PSOFT)を用いたオルソゴンファインチューニングを提案する。 35のNLPタスクとCVタスクの実験により、PEFTにおける意味保存、表現性、多次元効率を同時に達成するために、PSOFTは実用的でスケーラブルなソリューションを提供することが示された。
• 参考スコア（独自算出の注目度）: 43.719298075378425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Driven by the rapid growth of model parameters, parameter-efficient fine-tuning (PEFT) has become essential for adapting large models to diverse downstream tasks under constrained computational resources. Within this paradigm, orthogonal fine-tuning and its variants preserve semantic representations of pre-trained models, but struggle to achieve both expressiveness and efficiency in terms of parameter counts, memory, and computation. To overcome this limitation, we propose efficient Orthogonal Fine-Tuning with Principal Subspace adaptation (PSOFT), which confines orthogonal transformations to the principal subspace of pre-trained weights. Specifically, PSOFT constructs this subspace via matrix decomposition to enable compatible transformations with higher effective rank, establishes a theoretical condition that strictly maintains the geometry of this subspace for essential semantic preservation, and introduces efficient tunable vectors that gradually relax orthogonality during training to enhance adaptability. Extensive experiments on 35 NLP and CV tasks across four representative models demonstrate that PSOFT offers a practical and scalable solution to simultaneously achieve semantic preservation, expressiveness, and multi-dimensional efficiency in PEFT. The code is publicly available at https://github.com/fei407/PSOFT.
• Abstract（参考訳）: モデルパラメータの急激な成長によって、パラメータ効率の微調整(PEFT)は、制約された計算資源の下での様々な下流タスクに大規模モデルを適応させるのに欠かせないものとなっている。 このパラダイムの中で、直交微調整とその変種は事前訓練されたモデルの意味表現を保持するが、パラメータ数、メモリ、計算の点で表現力と効率性の両方を達成するのに苦労する。 この制限を克服するために、事前訓練された重みの主部分空間への直交変換を限定する、主部分空間適応を用いた効率的な直交微調整(PSOFT)を提案する。 具体的には、PSOFTはこの部分空間を行列分解によって構築し、高い有効ランクの整合変換を可能にし、本質的な意味保存のためにこの部分空間の幾何学を厳密に維持する理論条件を確立し、適応性を高めるために訓練中に徐々に直交性を緩和する効率的なチューナブルベクトルを導入する。 4つの代表モデルにまたがる35のNLPおよびCVタスクの広範な実験により、PEFTにおける意味保存、表現性、多次元効率を同時に達成するために、PSOFTは実用的でスケーラブルなソリューションを提供することを示した。 コードはhttps://github.com/fei407/PSOFTで公開されている。

関連論文リスト

• Adaptive Linear Embedding for Nonstationary High-Dimensional Optimization [0.0]
  Self-Adaptive embedding REMBO (SA-REMBO) はランダムEMBdding Bayesian Optimization (REMBO) を一般化して複数のランダムガウス埋め込みをサポートする新しいフレームワークである。 インデックス変数は埋め込み選択を制御し、サロゲート内の製品カーネルを介して潜伏潜伏子と共同でモデル化される。 従来のREMBO法や他の低ランクBO法が失敗する合成および実世界の高次元ベンチマークにおいて,本手法の利点を実証的に示す。
  論文  参考訳（メタデータ） (2025-05-16T14:18:19Z)
• Generalized Tensor-based Parameter-Efficient Fine-Tuning via Lie Group Transformations [50.010924231754856]
  さまざまな下流タスクに事前訓練された基礎モデルを適用することは、人工知能のコアプラクティスである。 これを解決するために、LoRAのようなパラメータ効率細調整(PEFT)手法が登場し、研究の焦点となっている。 本稿では,行列型PEFT法を高次元パラメータ空間に拡張する一般化法を提案する。
  論文  参考訳（メタデータ） (2025-04-01T14:36:45Z)
• Variationally optimizing infinite projected entangled-pair states at large bond dimensions: A split corner transfer matrix renormalization group approach [0.2796197251957244]
  本稿では,PEPS層を分離し,新しい環境テンソルを活用することで,精度を保ちながら計算複雑性を低減できる「スプリットCTMRG」アルゴリズムを提案する。 量子格子モデルのベンチマークでは、変動エネルギー最適化のためのかなりのスピードアップが示され、この手法は大規模PEPSシミュレーションに有用である。
  論文  参考訳（メタデータ） (2025-02-14T16:59:33Z)
• Sparse Gradient Compression for Fine-Tuning Large Language Models [58.44973963468691]
  ダウンストリームタスクのための微調整された大型言語モデル(LLM)は、広く利用されていることと、オープンソースモデルの利用が増加しているために、ますます重要になっている。 微調整に伴う高メモリコストは、特にモデルのサイズが大きくなるにつれて大きな課題である。 これらの制約に対処するためにスパース圧縮勾配(SGC)を提案する。
  論文  参考訳（メタデータ） (2025-02-01T04:18:28Z)
• Efficient Adaptive Optimization via Subset-Norm and Subspace-Momentum: Fast, Memory-Reduced Training with Convergence Guarantees [5.399838579600896]
  本稿では,メモリ最適化のための2つの補完手法を提案する。 1つのテクニックであるSubset-Normは、運動量状態のメモリフットプリントを低次元のサブスペースで削減する。 別の手法であるSubspace-Momentumは、運動量状態のメモリフットプリントを低次元のサブスペースで削減する。
  論文  参考訳（メタデータ） (2024-11-11T16:48:07Z)
• Lineshape Optimization in Inhomogeneous $Λ$-type Quantum Memory [0.0]
  フォトニック量子メモリは、フォトニック量子情報処理において重要な基本的な操作である。 我々は、長いコヒーレンス寿命と広帯域互換性を有するLambda$型量子エミッタのアンサンブルを不均一に拡張することに焦点を当てる。 本研究では, 電磁誘導透過 (EIT) の特性について検討し, 実験で容易に実現できる不均質リニアップの調査を行った。 我々は、最適EIT効率を、不均一な広帯域化のスペクトル形成にも依存する、よく知られた原子周波数コム(AFC)プロトコルと比較する。
  論文  参考訳（メタデータ） (2024-05-22T21:43:15Z)
• Double Duality: Variational Primal-Dual Policy Optimization for Constrained Reinforcement Learning [132.7040981721302]
  本研究では,訪問尺度の凸関数を最小化することを目的として,制約付き凸決定プロセス(MDP)について検討する。 制約付き凸MDPの設計アルゴリズムは、大きな状態空間を扱うなど、いくつかの課題に直面している。
  論文  参考訳（メタデータ） (2024-02-16T16:35:18Z)
• Parameter Efficient Fine-tuning via Cross Block Orchestration for Segment Anything Model [81.55141188169621]
  PEFTにクロスブロックオーケストレーション機構を組み、SAM(Segment Anything Model)の様々な下流シナリオへの適応を可能にする。 本稿では,超複素層から重みが生じる線形射影ヘッドを導入するブロック内拡張モジュールを提案する。 提案手法は,約1Kのパラメータのみを付加した新規シナリオにおいて,セグメンテーション性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-28T11:23:34Z)
• Parameter-Efficient Orthogonal Finetuning via Butterfly Factorization [102.92240148504774]
  下流タスク適応のための原則的微調整パラダイムである直交微調整(Orthogonal Finetuning, OFT)について検討する。 優れた一般化性を示しているにもかかわらず、OFTはまだかなり多くのトレーニング可能なパラメータを使っている。 我々はこのパラメータ化をOFTに適用し、ORFT(Orthogonal Butterfly)と呼ばれる新しいパラメータ効率の微調整法を開発した。
  論文  参考訳（メタデータ） (2023-11-10T18:59:54Z)
• Parametric Level-sets Enhanced To Improve Reconstruction (PaLEnTIR) [0.0]
  本稿では,PaLEnTIR(PalenTIR)について紹介する。 キーとなるコントリビューションは、単一のレベルセット関数を利用して、複数コントラストのピースワイズ・コンスタントなオブジェクトを含むシーンを復元する独自の PaLS の定式化である。
  論文  参考訳（メタデータ） (2022-04-21T00:03:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。