論文の概要: Generalized Tensor-based Parameter-Efficient Fine-Tuning via Lie Group Transformations

• arxiv url: http://arxiv.org/abs/2504.00851v1
• Date: Tue, 01 Apr 2025 14:36:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-03 13:20:17.167176
• Title: Generalized Tensor-based Parameter-Efficient Fine-Tuning via Lie Group Transformations
• Title（参考訳）: 一般テンソルに基づくリー群変換によるパラメータ効率の良いファインチューニング
• Authors: Chongjie Si, Zhiyi Shi, Xuehui Wang, Yichen Xiao, Xiaokang Yang, Wei Shen,
• Abstract要約: さまざまな下流タスクに事前訓練された基礎モデルを適用することは、人工知能のコアプラクティスである。 これを解決するために、LoRAのようなパラメータ効率細調整(PEFT)手法が登場し、研究の焦点となっている。 本稿では,行列型PEFT法を高次元パラメータ空間に拡張する一般化法を提案する。
• 参考スコア（独自算出の注目度）: 50.010924231754856
• License:
• Abstract: Adapting pre-trained foundation models for diverse downstream tasks is a core practice in artificial intelligence. However, the wide range of tasks and high computational costs make full fine-tuning impractical. To overcome this, parameter-efficient fine-tuning (PEFT) methods like LoRA have emerged and are becoming a growing research focus. Despite the success of these methods, they are primarily designed for linear layers, focusing on two-dimensional matrices while largely ignoring higher-dimensional parameter spaces like convolutional kernels. Moreover, directly applying these methods to higher-dimensional parameter spaces often disrupts their structural relationships. Given the rapid advancements in matrix-based PEFT methods, rather than designing a specialized strategy, we propose a generalization that extends matrix-based PEFT methods to higher-dimensional parameter spaces without compromising their structural properties. Specifically, we treat parameters as elements of a Lie group, with updates modeled as perturbations in the corresponding Lie algebra. These perturbations are mapped back to the Lie group through the exponential map, ensuring smooth, consistent updates that preserve the inherent structure of the parameter space. Extensive experiments on computer vision and natural language processing validate the effectiveness and versatility of our approach, demonstrating clear improvements over existing methods.
• Abstract（参考訳）: さまざまな下流タスクに事前訓練された基礎モデルを適用することは、人工知能のコアプラクティスである。 しかし、幅広いタスクと高い計算コストは、完全な微調整を非現実的にする。 これを解決するために、LoRAのようなパラメータ効率細調整(PEFT)手法が登場し、研究の焦点となっている。 これらの手法の成功にもかかわらず、それらは主に線形層のために設計され、2次元行列に焦点をあてる一方で、畳み込みカーネルのような高次元のパラメータ空間を無視する。 さらに、これらの手法を高次元パラメータ空間に直接適用することは、しばしばそれらの構造的関係を乱す。 本研究では,行列型PEFT法を高次元パラメータ空間に拡張する一般化法を提案する。 具体的には、パラメータをリー群の元として扱い、更新を対応するリー代数の摂動としてモデル化する。 これらの摂動は指数写像を通してリー群に写像され、パラメータ空間の本質的な構造を保存する滑らかで一貫した更新が保証される。 コンピュータビジョンと自然言語処理に関する広範囲な実験により,提案手法の有効性と汎用性を検証し,既存手法に対する明確な改善を実証した。

関連論文リスト

• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• SVFit: Parameter-Efficient Fine-Tuning of Large Pre-Trained Models Using Singular Values [12.137869917556415]
  大規模事前学習モデル(LPM)は、多種多様な自然言語処理やコンピュータビジョンタスクにおいて例外的な性能を示した。 これらのモデルを完全に微調整すると、特にリソース制約のある環境では、大きなメモリの問題が発生します。 本稿では,臨界特異値をトレーニング可能なパラメータとして用いた低ランク行列に対する特異値分解(SVD)を利用した新しいPEFT手法であるSVFitを提案する。
  論文  参考訳（メタデータ） (2024-09-09T08:44:53Z)
• Compressible Dynamics in Deep Overparameterized Low-Rank Learning & Adaptation [12.07880147193174]
  モデルパラメータ内のデータと圧縮可能な力学の固有な低次元構造を利用することで、計算負担を伴わずにパラメータ化の利点を享受できることが示される。 提案手法は,低ランク行列と微調整言語モデルに対して有効であることを示す。
  論文  参考訳（メタデータ） (2024-06-06T14:29:49Z)
• Maintaining Structural Integrity in Parameter Spaces for Parameter Efficient Fine-tuning [78.39310274926535]
  さまざまな下流タスクに事前訓練された基礎モデルを適応させることは、人工知能において一般的である。 これを軽減するために、事前訓練されたモデルの重みをより資源効率の良い方法で更新するために、いくつかの微調整技術が開発されている。 本稿では,多次元パラメータ空間用に設計された一般化されたパラメータ効率の微調整フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-23T16:04:42Z)
• Matrix-Transformation Based Low-Rank Adaptation (MTLoRA): A Brain-Inspired Method for Parameter-Efficient Fine-Tuning [11.037221461758806]
  マトリックス変換に基づく低ランク適応(MTLoRA)は、脳の機能はその幾何学的構造によって形成されるという考えから着想を得ている。 MTLoRAは8つのタスクでパフォーマンスが約1.0%向上する。
  論文  参考訳（メタデータ） (2024-03-12T09:32:25Z)
• Data-free Weight Compress and Denoise for Large Language Models [96.68582094536032]
  パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。 キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
  論文  参考訳（メタデータ） (2024-02-26T05:51:47Z)
• Scaling Pre-trained Language Models to Deeper via Parameter-efficient Architecture [68.13678918660872]
  行列積演算子(MPO)に基づくより有能なパラメータ共有アーキテクチャを設計する。 MPO分解はパラメータ行列の情報を再編成し、2つの部分に分解することができる。 私たちのアーキテクチャは、モデルのサイズを減らすために、すべてのレイヤで中央テンソルを共有しています。
  論文  参考訳（メタデータ） (2023-03-27T02:34:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。