論文の概要: Maintaining Structural Integrity in Parameter Spaces for Parameter Efficient Fine-tuning

• arxiv url: http://arxiv.org/abs/2405.14739v2
• Date: Thu, 06 Feb 2025 05:57:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:30:28.348824
• Title: Maintaining Structural Integrity in Parameter Spaces for Parameter Efficient Fine-tuning
• Title（参考訳）: パラメータ効率的な微調整のためのパラメータ空間の構造的整合性維持
• Authors: Chongjie Si, Xuehui Wang, Xue Yang, Zhengqin Xu, Qingyun Li, Jifeng Dai, Yu Qiao, Xiaokang Yang, Wei Shen,
• Abstract要約: さまざまな下流タスクに事前訓練された基礎モデルを適応させることは、人工知能において一般的である。 これを軽減するために、事前訓練されたモデルの重みをより資源効率の良い方法で更新するために、いくつかの微調整技術が開発されている。 本稿では,多次元パラメータ空間用に設計された一般化されたパラメータ効率の微調整フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 78.39310274926535
• License:
• Abstract: Adapting pre-trained foundation models for various downstream tasks has been prevalent in artificial intelligence. Due to the vast number of tasks and high costs, adjusting all parameters becomes unfeasible. To mitigate this, several fine-tuning techniques have been developed to update the pre-trained model weights in a more resource-efficient manner, such as through low-rank adjustments. Yet, almost all of these methods focus on linear weights, neglecting the intricacies of parameter spaces in higher dimensions like 4D. Alternatively, some methods can be adapted for high-dimensional parameter space by compressing changes in the original space into two dimensions and then employing low-rank matrix adaptations. However, these approaches destructs the structural integrity of the involved high-dimensional spaces. To tackle the diversity of dimensional spaces across different foundation models and provide a more precise representation of the changes within these spaces, this paper introduces a generalized parameter-efficient fine-tuning framework, designed for various dimensional parameter space. Specifically, our method asserts that changes in each dimensional parameter space are based on a low-rank core space which maintains the consistent topological structure with the original space. It then models the changes through this core space alongside corresponding weights to reconstruct alterations in the original space. It effectively preserves the structural integrity of the change of original N-dimensional parameter space, meanwhile models it via low-rank tensor adaptation. Extensive experiments on computer vision, natural language processing and multi-modal tasks validate the effectiveness of our method.
• Abstract（参考訳）: さまざまな下流タスクに事前訓練された基礎モデルを適応させることは、人工知能において一般的である。 タスクの多さと高いコストのため、パラメータの調整は不可能になる。 これを緩和するために、低ランク調整などにより、より資源効率の良い方法で事前訓練されたモデルの重みを更新するために、いくつかの微調整技術が開発されている。 しかし、これらの手法のほとんど全てが線形重みに焦点を合わせ、4Dのような高次元のパラメータ空間の複雑さを無視している。 あるいは、元の空間の変化を2次元に圧縮し、低ランク行列適応を用いることで、高次元のパラメータ空間に適応することができる。 しかし、これらのアプローチは、関連する高次元空間の構造的整合性を損なう。 異なる基礎モデル間の次元空間の多様性に取り組み,これらの空間の変化をより正確に表現するために,多次元パラメータ空間用に設計された一般化されたパラメータ効率の微調整フレームワークを提案する。 具体的には、各次元パラメータ空間の変化は、元の空間と一貫した位相構造を維持する低ランクコア空間に基づいていることを主張する。 そして、対応する重みと共にこのコア空間を通しての変化をモデル化し、元の空間における変化を再構築する。 これは元のN次元パラメータ空間の変化の構造的完全性を効果的に保ち、一方、低ランクテンソル適応を用いてモデル化する。 コンピュータビジョン,自然言語処理,マルチモーダルタスクに関する大規模な実験により,本手法の有効性が検証された。

関連論文リスト

• Modeling All Response Surfaces in One for Conditional Search Spaces [69.90317997694218]
  本稿では,すべての部分空間の応答曲面をモデル化する新しい手法を提案する。 本稿では,様々な部分空間から異なる構造を持つ構成を統一された特徴空間に投影できる注目型深層特徴抽出器を提案する。
  論文  参考訳（メタデータ） (2025-01-08T03:56:06Z)
• Scaling Exponents Across Parameterizations and Optimizers [94.54718325264218]
  本稿では,先行研究における重要な仮定を考察し,パラメータ化の新たな視点を提案する。 私たちの経験的調査には、3つの組み合わせでトレーニングされた数万のモデルが含まれています。 最高の学習率のスケーリング基準は、以前の作業の仮定から除外されることがよくあります。
  論文  参考訳（メタデータ） (2024-07-08T12:32:51Z)
• MCNC: Manifold Constrained Network Compression [21.70510507535041]
  MCNCをパラメータ空間を低次元の事前定義および凍結された非線形多様体に制約する新しいモデル圧縮法として提示する。 提案手法であるMCNCは, 圧縮, 精度, モデル再構成時間において, 最先端のベースラインを著しく上回ることを示す。
  論文  参考訳（メタデータ） (2024-06-27T16:17:26Z)
• Data-freeWeight Compress and Denoise for Large Language Models [101.53420111286952]
  パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。 キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
  論文  参考訳（メタデータ） (2024-02-26T05:51:47Z)
• Parameter Efficient Fine-tuning via Cross Block Orchestration for Segment Anything Model [81.55141188169621]
  PEFTにクロスブロックオーケストレーション機構を組み、SAM(Segment Anything Model)の様々な下流シナリオへの適応を可能にする。 本稿では,超複素層から重みが生じる線形射影ヘッドを導入するブロック内拡張モジュールを提案する。 提案手法は,約1Kのパラメータのみを付加した新規シナリオにおいて,セグメンテーション性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-11-28T11:23:34Z)
• A local approach to parameter space reduction for regression and classification tasks [0.0]
  そこで本研究では, クラスタリング手法を用いて, アクティブ部分空間のシナジーを探索する, ローカルアクティブ部分空間 (LAS) と呼ばれる新しい手法を提案する。 LASは、サロゲートモデリングに取り組んでいるコミュニティにとって特に有用である。
  論文  参考訳（メタデータ） (2021-07-22T18:06:04Z)
• Intrinsic Dimensionality Explains the Effectiveness of Language Model Fine-Tuning [52.624194343095304]
  我々は、内在次元のレンズを通して微調整を分析することは、経験的および理論的直観をもたらすと論じる。 実験により、一般的な事前学習モデルは本質的な次元が極めて低いことを示す。
  論文  参考訳（メタデータ） (2020-12-22T07:42:30Z)
• Dimensionality Reduction of Movement Primitives in Parameter Space [34.16700176918835]
  運動プリミティブは、現実世界のロボティクスにとって重要なポリシークラスである。 パラメトリゼーションの高次元性により、政策最適化はサンプルと計算の両方においてコストがかかる。 本稿では,パラメータ空間における次元減少の応用を提案し,主運動を同定する。
  論文  参考訳（メタデータ） (2020-02-26T16:38:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。