論文の概要: LoCO: Low-rank Compositional Rotation Fine-tuning

• arxiv url: http://arxiv.org/abs/2605.15916v1
• Date: Fri, 15 May 2026 12:54:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 17:44:16.327366
• Title: LoCO: Low-rank Compositional Rotation Fine-tuning
• Title（参考訳）: LoCO:低ランク組成回転微調整
• Authors: An Nguyen, Jaesik Choi, Anh Tong,
• Abstract要約: 低ランク構成直交微調整は、自然言語処理とコンピュータビジョンにまたがる大規模な基礎モデルを適応させる新しい手法である。 合成回転の完全並列計算を可能にする近似法を提案する。 拡散トランスフォーマーの微調整,視覚トランスフォーマー適応,言語モデル適応など,さまざまな領域でLoCOを検証する。
• 参考スコア（独自算出の注目度）: 27.732021910046445
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) has emerged as an critical technique for adapting large-scale foundation models across natural language processing and computer vision. While existing methods such as low-rank adaptations achieve parameter efficiency via low-rank weight updates, they are limited in their ability to preserve the geometric structure of pretrained representations. We introduce Low-rank Compositional Orthogonal fine-tuning (LoCO), a novel PEFT method that constructs orthogonal transformations through low-rank skew-symmetric matrices and compositional rotation chains. We propose an approximation scheme that enables fully parallel computation of compositional rotations, making the approach practical for high-dimensional feature spaces. Our method maintains low computational complexity while maintaining orthogonality with controlled approximation error. We validate LoCO across diverse domains, including diffusion transformer fine-tuning, vision transformer adaptation, and language model adaptation. Our method demonstrates superior or competitive performance compared to both existing orthogonal and non-orthogonal methods.
• Abstract（参考訳）: パラメータ効率のよい微調整(PEFT)は、自然言語処理やコンピュータビジョンにまたがる大規模な基礎モデルを適応させる重要な手法として登場した。 低ランク適応のような既存の手法は、低ランクの重み更新によってパラメータ効率を達成するが、事前訓練された表現の幾何学的構造を維持する能力は限られている。 低ランクなスキュー対称行列と合成回転鎖を通して直交変換を構成する新しいPEFT法であるLoCO(Low-rank compositional Orthogonal Fine-tuning)を導入する。 本稿では,合成回転の完全並列計算を可能にする近似法を提案し,そのアプローチを高次元特徴空間に適用する。 制御された近似誤差で直交性を維持しながら計算複雑性を低く維持する。 拡散トランスフォーマーの微調整,視覚トランスフォーマー適応,言語モデル適応など,さまざまな領域でLoCOを検証する。 本手法は,既存の直交法および非直交法と比較して,優れた性能を示す。

関連論文リスト

• New Hybrid Fine-Tuning Paradigm for LLMs: Algorithm Design and Convergence Analysis Framework [52.69678300445233]
  fine-tuning Large Language Models (LLMs) は通常、すべてのモデルパラメータを更新するフルきめ細やかな調整を必要とする。 PEFT(Efficient Fine-Tuning)は、パラメータの小さなサブセットを調整する。 ゼロ次最適化法と1次最適化法を組み合わせて,LLMとPEFTモジュールを共同で更新するハイブリッドファインチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-04-10T22:39:38Z)
• From Coefficients to Directions: Rethinking Model Merging with Directional Alignment [66.99062575537555]
  パラメータと特徴空間の両面に一貫した方向構造を整列する,方向アライメント付きemphMerging(method)という統一幾何学的枠組みを導入する。 分析の結果、指向性アライメントは構造的コヒーレンスを改善し、ベンチマーク、モデルスケール、タスク構成にまたがる広範な実験により、我々のアプローチの有効性がさらに検証された。
  論文  参考訳（メタデータ） (2025-11-29T08:40:58Z)
• Localized LoRA: A Structured Low-Rank Approximation for Efficient Fine-Tuning [12.174849960744211]
  局所化LoRAは、重み行列の構造ブロックに適用された低ランク近似の合成として重み更新をモデル化するフレームワークである。 提案手法は,一致したパラメータの予算下での低い近似誤差を連続的に達成することを示す。
  論文  参考訳（メタデータ） (2025-05-30T21:13:23Z)
• Generalized Tensor-based Parameter-Efficient Fine-Tuning via Lie Group Transformations [50.010924231754856]
  さまざまな下流タスクに事前訓練された基礎モデルを適用することは、人工知能のコアプラクティスである。 これを解決するために、LoRAのようなパラメータ効率細調整(PEFT)手法が登場し、研究の焦点となっている。 本稿では,行列型PEFT法を高次元パラメータ空間に拡張する一般化法を提案する。
  論文  参考訳（メタデータ） (2025-04-01T14:36:45Z)
• Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
  生成モデルのための新しいスペクトル対応適応フレームワークを提案する。 本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。 本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
  論文  参考訳（メタデータ） (2024-05-31T17:43:35Z)
• Bridging The Gap between Low-rank and Orthogonal Adaptation via Householder Reflection Adaptation [32.371755315509574]
  家庭内リフレクション適応法 (HRA) は, 家庭内リフレクションに基づく簡易かつ効果的な適応法である。 HRAは、大きな言語モデルと条件付き画像生成装置を適用する際に、学習可能なパラメータが少なくて優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-05-24T16:18:16Z)
• Pushing the Envelope of Rotation Averaging for Visual SLAM [69.7375052440794]
  視覚SLAMシステムのための新しい最適化バックボーンを提案する。 従来の単分子SLAMシステムの精度, 効率, 堅牢性を向上させるために, 平均化を活用している。 我々のアプローチは、公開ベンチマークの最先端技術に対して、同等の精度で最大10倍高速に表示することができる。
  論文  参考訳（メタデータ） (2020-11-02T18:02:26Z)
• Group Equivariant Deep Reinforcement Learning [4.997686360064921]
  我々は、RLエージェントの訓練に同変CNNを用い、変換同変Q値近似のための誘導バイアスについて検討する。 我々は,RLエージェントの性能と試料効率を高対称な環境下で劇的に向上させることを実証した。
  論文  参考訳（メタデータ） (2020-07-01T02:38:48Z)
• CWY Parametrization: a Solution for Parallelized Optimization of Orthogonal and Stiefel Matrices [41.57234424773276]
  本稿では,GPUやTPUなどの並列計算ユニット上での直交群に対する効率的な最適化手法を提案する。 さらに、Stiefel多様体のパラメトリゼーションのための新しいTruncated CWY(またはT-CWY)アプローチを開発する。 我々は,ニューラルマシンビデオ予測のタスクにおいて,リカレントニューラルネットワークアーキテクチャのトレーニングに本手法を適用した。
  論文  参考訳（メタデータ） (2020-04-18T17:58:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。