論文の概要: PYRA: Parallel Yielding Re-Activation for Training-Inference Efficient Task Adaptation

• arxiv url: http://arxiv.org/abs/2403.09192v4
• Date: Thu, 18 Jul 2024 09:25:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 21:11:56.722671
• Title: PYRA: Parallel Yielding Re-Activation for Training-Inference Efficient Task Adaptation
• Title（参考訳）: PYRA: トレーニング推論効率の良いタスク適応のための並列収量再活性化
• Authors: Yizhe Xiong, Hui Chen, Tianxiang Hao, Zijia Lin, Jungong Han, Yuesong Zhang, Guoxin Wang, Yongjun Bao, Guiguang Ding,
• Abstract要約: 本稿では, PYRA(Parallel Yielding Re-Activation)法を提案する。 PYRAは低圧縮率と高圧縮率の両方で競合する全ての手法より優れている。
• 参考スコア（独自算出の注目度）: 61.57833648734164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, the scale of transformers has grown rapidly, which introduces considerable challenges in terms of training overhead and inference efficiency in the scope of task adaptation. Existing works, namely Parameter-Efficient Fine-Tuning (PEFT) and model compression, have separately investigated the challenges. However, PEFT cannot guarantee the inference efficiency of the original backbone, especially for large-scale models. Model compression requires significant training costs for structure searching and re-training. Consequently, a simple combination of them cannot guarantee accomplishing both training efficiency and inference efficiency with minimal costs. In this paper, we propose a novel Parallel Yielding Re-Activation (PYRA) method for such a challenge of training-inference efficient task adaptation. PYRA first utilizes parallel yielding adaptive weights to comprehensively perceive the data distribution in downstream tasks. A re-activation strategy for token modulation is then applied for tokens to be merged, leading to calibrated token features. Extensive experiments demonstrate that PYRA outperforms all competing methods under both low compression rate and high compression rate, demonstrating its effectiveness and superiority in maintaining both training efficiency and inference efficiency for large-scale foundation models. Our code is available at https://github.com/THU-MIG/PYRA.
• Abstract（参考訳）: 近年, 変圧器の規模が急速に拡大し, タスク適応の分野において, トレーニングオーバーヘッドや推論効率の面で大きな課題がもたらされている。 既存の研究、すなわちパラメータ効率のよいファインチューニング(PEFT)とモデル圧縮は、これらの課題を別々に検討している。 しかしPEFTは、特に大規模モデルでは、元のバックボーンの推論効率を保証できない。 モデル圧縮は構造探索と再訓練にかなりの訓練コストを必要とする。 したがって、これらの単純な組み合わせは、最小のコストでトレーニング効率と推論効率の両方を達成することを保証できない。 本稿では,PYRA(Parallel Yielding Re-Activation)手法を提案する。 PYRAは、まず並列出力適応重みを利用して、下流タスクのデータ分布を包括的に知覚する。 その後、トークン変調のための再活性化戦略がマージされるトークンに適用され、キャリブレーションされたトークン特徴が導かれる。 PYRAは低圧縮率と高圧縮率の両方で競合する全ての手法より優れており、大規模基礎モデルのトレーニング効率と推論効率の両面において、PYRAの有効性と優位性を示している。 私たちのコードはhttps://github.com/THU-MIG/PYRA.comで公開されています。

関連論文リスト

• EoRA: Training-free Compensation for Compressed LLM with Eigenspace Low-Rank Approximation [79.56709262189953]
  EoRAは、圧縮されたLLaMA2/3モデルの様々なタスクにおけるエラーを補償する従来の手法より一貫して優れている。 EoRAは、圧縮エラーを補うスケーラブルでトレーニング不要なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:59:03Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Dyn-Adapter: Towards Disentangled Representation for Efficient Visual Recognition [22.615830919860777]
  本稿では動的アダプタ(Dyn-Adapter)という,効率的な視覚認識パラダイムを提案する。 適応的なトレーニング戦略とともに,複数レベルの特徴抽出のための早期のバランスの取れた動的アーキテクチャを考案する。 予測中のFLOPを50%削減し,高い認識精度を維持した。
  論文  参考訳（メタデータ） (2024-07-19T13:33:38Z)
• Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
  本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。 提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
  論文  参考訳（メタデータ） (2024-05-09T01:40:38Z)
• DiJiang: Efficient Large Language Models through Compact Kernelization [30.24187657746638]
  本稿では、事前学習したバニラ変換器を、トレーニングコストの少ない線形複雑化モデルに変換するための新しい周波数領域カーネル化手法を提案する。 実験により,提案手法は元のTransformerに匹敵する性能を示したが,トレーニングコストを大幅に削減し,推論速度を大幅に高速化した。
  論文  参考訳（メタデータ） (2024-03-29T02:32:15Z)
• TAIL: Task-specific Adapters for Imitation Learning with Large Pretrained Models [32.83440439290383]
  TAIL(Task-specific Adapters for Learning)は,新しい制御タスクに効率的に適応するためのフレームワークである。 言語領域におけるパラメータ効率の良い微調整の最近の進歩に触発されて,効率的な微調整技術を探究する。 大規模言語条件の操作タスクにおける実験から,LoRAを用いたTAILは適応後最高の性能が得られることが示唆された。
  論文  参考訳（メタデータ） (2023-10-09T17:49:50Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。