論文の概要: Structure-Activation Synergy: A Dual Efficiency Framework for Parameter-Memory Optimized Transfer Learning

• arxiv url: http://arxiv.org/abs/2503.08154v2
• Date: Mon, 17 Mar 2025 16:50:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:36:36.467562
• Title: Structure-Activation Synergy: A Dual Efficiency Framework for Parameter-Memory Optimized Transfer Learning
• Title（参考訳）: Structure-Activation Synergy:パラメータメモリ最適化トランスファー学習のための二重効率フレームワーク
• Authors: Tian Jin, Enjun Du, Changwei Wang, Wenhao Xu, Ding Luo,
• Abstract要約: 本稿では、パラメータとメモリの二重最適化を実現する革新的なフレームワークであるStructure-Activation Synergy(S2A)を提案する。 我々は、S2Aの優れた効率を示し、GPUメモリ消費を75%削減し(平均4.2削減)、フル微調整精度の98.7%を維持し、わずか0.9%の調整可能なパラメータしか持たない。
• 参考スコア（独自算出の注目度）: 8.602744958104969
• License:
• Abstract: While parameter-efficient transfer learning (PETL) successfully reduces trainable parameters for adapting large pre-trained models, conventional methods exhibit limited effectiveness in decreasing activation memory consumption - a critical bottleneck for deployment on resource-constrained devices. We present Structure-Activation Synergy (S2A), an innovative framework achieving dual optimization of parameters and memory through two synergistic mechanisms: (1) Structural activation modules (bias/prompt/side adaptations) that strategically minimize both parametric complexity and intermediate feature storage requirements, and (2) Derivative-aware 4-bit quantization for non-parametric operators that maintains model fidelity through gradient-informed precision allocation. Extensive evaluations across multiple architectures (ViT, Swin, ResNet) and datasets (ImageNet-1K, CIFAR, DomainNet) demonstrate S2A's superior efficiency, reducing GPU memory consumption by 75\% (4.2 average reduction) while maintaining 98.7\% of full fine-tuning accuracy with only 0.9\% tunable parameters. This hardware-aware paradigm establishes new state-of-the-art in efficient model adaptation, offering practical deployment advantages through simultaneous parameter and memory optimization without compromising model capability
• Abstract（参考訳）: パラメータ効率変換学習(PETL)は、大規模な事前学習モデルを適用するためのトレーニング可能なパラメータをうまく削減するが、従来の手法では、リソース制約のあるデバイスへのデプロイにおいて重要なボトルネックであるアクティベーションメモリ消費の削減に限定的な効果を示す。 本稿では,(1)パラメータとメモリの二重最適化を実現する革新的なフレームワークであるStructure-Activation Synergy(S2A)について述べる。(1)パラメトリック複雑度と中間特徴記憶条件の両方を戦略的に最小化する構造活性化モジュール(ビアス/プロンプト/サイドアダプティブ)と(2)勾配インフォームド精度アロケーションによるモデル忠実性を維持する非パラメトリック演算子に対する導出型4ビット量子化である。 複数のアーキテクチャ(ViT、Swin、ResNet)とデータセット(ImageNet-1K、CIFAR、DomainNet)にわたる広範囲な評価は、S2Aの優れた効率を示し、GPUメモリ消費を75\%(平均4.2削減)削減し、わずか0.9\%の調整可能なパラメータで完全な微調整精度の98.7\%を維持した。 このハードウェア・アウェア・パラダイムは、効率的なモデル適応における新しい最先端技術を確立し、モデル能力の妥協なしに同時パラメータとメモリ最適化による実用的なデプロイメントの利点を提供する。

関連論文リスト

• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Replacement Learning: Training Vision Tasks with Fewer Learnable Parameters [4.2114456503277315]
  置換学習は、冷凍層の全パラメータを2つの学習可能なパラメータで置き換える。 CIFAR-10, STL-10, SVHN, ImageNetの4つのベンチマークデータセットを対象に実験を行った。 提案手法は,エンドツーエンドトレーニングの性能を完全に超えながら,パラメータ数,トレーニング時間,メモリ使用量を削減する。
  論文  参考訳（メタデータ） (2024-10-02T05:03:54Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• Time-, Memory- and Parameter-Efficient Visual Adaptation [75.28557015773217]
  バックボーンを介して勾配をバックプロパゲートしない適応法を提案する。 凍結した、事前訓練されたバックボーンの機能を利用する軽量ネットワークを並列に設計することで、これを実現する。
  論文  参考訳（メタデータ） (2024-02-05T10:55:47Z)
• DTL: Disentangled Transfer Learning for Visual Recognition [21.549234013998255]
  軽量なコンパクトサイドネットワーク(CSN)を用いて、トレーニング可能なパラメータをバックボーンから切り離すDTL(Disentangled Transfer Learning)を導入する。 提案手法は,大量のGPUメモリ使用量とトレーニング可能なパラメータを削減できるだけでなく,既存のPETL法よりも高い精度で性能を向上する。
  論文  参考訳（メタデータ） (2023-12-13T02:51:26Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• Rethinking Efficient Tuning Methods from a Unified Perspective [34.67645496324432]
  我々はPETLの設計パラダイムを再検討し、パラメータ効率の伝達学習のための統一的なフレームワークU-Tuningを導出する。 U-Tuningフレームワークは、既存の手法を同時に包含し、パラメータ効率の移行学習のための新しいアプローチを導出することができる。
  論文  参考訳（メタデータ） (2023-03-01T17:38:03Z)
• AlphaTuning: Quantization-Aware Parameter-Efficient Adaptation of Large-Scale Pre-Trained Language Models [19.640997611256168]
  我々は,事前学習された言語モデルの学習後の量子化と,対象タスクの量子化パラメータの一部のみを微調整するAlphaTuningを提案する。 具体的には、AlphaTuningはバイナリ符号化量子化を使用して、完全精度パラメータをバイナリパラメータとスケーリングファクタの別個のセットに分解する。 GPT-2 や OPT に適用されたAlphaTuning は,4ビット量子化条件下での圧縮率 >10x を実現し,トレーニング可能なパラメータ数 >1,000x の削減を図りながら,様々な下流タスクの完全な微調整と競合することを示した。
  論文  参考訳（メタデータ） (2022-10-08T00:36:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。