論文の概要: LOFT: Low-Rank Orthogonal Fine-Tuning via Task-Aware Support Selection

• arxiv url: http://arxiv.org/abs/2605.11872v1
• Date: Tue, 12 May 2026 09:51:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.774493
• Title: LOFT: Low-Rank Orthogonal Fine-Tuning via Task-Aware Support Selection
• Title（参考訳）: LOFT:タスク・アウェア・サポート選択による低ランク直交微調整
• Authors: Lanxin Zhao, Bamdev Mishra, Pratik Jawanpuria, Lequan Lin, Dai Shi, Junbin Gao, Andi Han,
• Abstract要約: 本稿では,低ランク直交微調整フレームワークLOFTを紹介する。 適応を乗法的な部分空間回転として見ることにより、LOFTは統一的な定式化を提供する。 本研究は,下流学習信号から有用な適応支援を通知すべきであることを示す一階述語分析法を開発した。
• 参考スコア（独自算出の注目度）: 44.778436752018926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Orthogonal parameter-efficient fine-tuning (PEFT) adapts pretrained weights through structure-preserving multiplicative transformations, but existing methods often conflate two distinct design choices: the subspace in which adaptation occurs and the transformation applied within that subspace. This paper introduces LOFT, a low-rank orthogonal fine-tuning framework that explicitly separates these two components. By viewing orthogonal adaptation as a multiplicative subspace rotation, LOFT provides a unified formulation that recovers representative orthogonal PEFT methods, including coordinate-, butterfly-, Householder-, and principal-subspace-based variants. More importantly, this perspective exposes support selection as a central design axis rather than a byproduct of a particular parameterization. We develop a first-order analysis showing that useful adaptation supports should be informed by the downstream training signal, motivating practical task-aware support selection strategies. Across language understanding, visual transfer, mathematical reasoning, and multilingual out-of-distribution adaptation, LOFT recovers principal-subspace orthogonal adaptation while gradient-informed supports improve the efficiency-performance trade-off under matched parameter, memory, and compute budgets. These results suggest that principled support selection is an important direction for improving orthogonal PEFT.
• Abstract（参考訳）: 直交パラメータ効率の微調整(PEFT)は、構造保存型乗法変換を通じて事前学習した重みを適応させるが、既存の手法では、適応が発生する部分空間と、その部分空間内で適用される変換の2つの異なる設計選択を分割することが多い。 本稿では,これら2つのコンポーネントを明示的に分離する低ランク直交微調整フレームワークであるLOFTを紹介する。 直交適応を乗法的な部分空間回転と見なすことにより、LOFTは座標、蝶、主部分空間に基づく変種を含む代表直交PEFT法を復元する統一的な定式化を提供する。 さらに重要なのは、この視点は特定のパラメータ化の副産物ではなく、中心的な設計軸としてのサポートの選択を明らかにすることである。 本稿では,下流の訓練信号から有用な適応支援を通知し,実践的なタスク認識支援選択戦略を動機づけた一階述語分析を行う。 言語理解、視覚伝達、数学的推論、多言語外分布適応を含むLOFTは、主部分空間の直交適応を回復し、勾配インフォームドは一致したパラメータ、メモリ、計算予算の下での効率と性能のトレードオフを改善する。 これらの結果から, 原則的支援選択は直交PEFTを改善する上で重要な方向であることが示唆された。

関連論文リスト

• GIST: Targeted Data Selection for Instruction Tuning via Coupled Optimization Geometry [4.94446914034065]
  GIST (Gradient Isometric Subspace Transformation) は、軸方向のスケーリングをロバストな部分空間アライメントに置き換える。 GISTは, ストレージの0.29%, 計算時間の25%で, 最先端のベースラインに適合または優れることを示す。
  論文  参考訳（メタデータ） (2026-02-20T19:44:24Z)
• An Unsupervised Tensor-Based Domain Alignment [0.0]
  本研究では,ソースとターゲットテンソルを不変部分空間内にアライメントするテンソルベースドメインアライメント(DA)アルゴリズムを提案する。 我々のフレームワークは汎用的であり、既存のテンソルベースDAメソッドを特殊ケースとして効果的に一般化する。
  論文  参考訳（メタデータ） (2026-01-26T15:11:12Z)
• Understanding Post-Training Structural Changes in Large Language Models [3.054513120350576]
  後学習は大規模言語モデル(LLM)の振る舞いを根本的に変える 本研究は,指導チューニングと長鎖蒸留(Long-CoT)の2つの広く採用されているポストトレーニング手法に焦点をあてる。
  論文  参考訳（メタデータ） (2025-09-22T15:03:36Z)
• SSVD: Structured SVD for Parameter-Efficient Fine-Tuning and Benchmarking under Domain Shift in ASR [65.90944188787786]
  ローランク適応(LoRA)は、音声アプリケーションで広く使われているが、VeRA、DoRA、PiSSA、SVFTといった最先端の変種は、主に言語や視覚タスクのために開発されており、音声による検証は限られている。 本研究は,これらのPEFTメソッドをESPnet内での総合的な統合とベンチマークを行う。 本研究では、0.1Bから2Bまでのモデルスケールで、幼児の発話や方言の変化を含むドメインシフト音声認識タスクに関するすべての手法を評価する。
  論文  参考訳（メタデータ） (2025-09-02T20:51:17Z)
• PAID: Pairwise Angular-Invariant Decomposition for Continual Test-Time Adaptation [70.98107766265636]
  本稿では,事前学習した重みの幾何学的特性を出発点として,3つの重要な成分(等級,絶対角,対角構造)を体系的に解析する。 両角構造は多種多様なドメインにわたって安定であり, ドメイン不変な意味情報を符号化し, 適応中に保存すべきことを示唆する。
  論文  参考訳（メタデータ） (2025-06-03T05:18:15Z)
• Efficient Orthogonal Fine-Tuning with Principal Subspace Adaptation [43.719298075378425]
  パラメータ効率の良いファインチューニングのための主部分空間適応(PSOFT)を用いたオルソゴンファインチューニングを提案する。 35のNLPタスクとCVタスクの実験により、PEFTにおける意味保存、表現性、多次元効率を同時に達成するために、PSOFTは実用的でスケーラブルなソリューションを提供することが示された。
  論文  参考訳（メタデータ） (2025-05-16T13:26:48Z)
• Generalized Tensor-based Parameter-Efficient Fine-Tuning via Lie Group Transformations [50.010924231754856]
  さまざまな下流タスクに事前訓練された基礎モデルを適用することは、人工知能のコアプラクティスである。 これを解決するために、LoRAのようなパラメータ効率細調整(PEFT)手法が登場し、研究の焦点となっている。 本稿では,行列型PEFT法を高次元パラメータ空間に拡張する一般化法を提案する。
  論文  参考訳（メタデータ） (2025-04-01T14:36:45Z)
• Decomposed Global Optimization for Robust Point Matching with Low-Dimensional Branching [41.05165517541873]
  部分重なり合う点集合を整列する新しい大域的最適化手法を提案する。 本手法は非剛性変形, 位置雑音, 外れ値に優れた強靭性を示す。 2次元および3次元合成および実世界のデータを用いた実験により,本手法は最先端の手法と比較して,外れ値に対して優れた強靭性を示すことが示された。
  論文  参考訳（メタデータ） (2024-05-14T13:28:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。