論文の概要: RECAST: Reparameterized, Compact weight Adaptation for Sequential Tasks

• arxiv url: http://arxiv.org/abs/2411.16870v1
• Date: Mon, 25 Nov 2024 19:08:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-27 13:36:37.699942
• Title: RECAST: Reparameterized, Compact weight Adaptation for Sequential Tasks
• Title（参考訳）: RECAST:シークエンシャルタスクのパラメータ化と小型化
• Authors: Nazia Tasnim, Bryan A. Plummer,
• Abstract要約: RECASTはタスク固有のトレーニング可能なパラメータを50未満に劇的に削減する新しい手法である。 本稿では,RECASTが様々なスケール,アーキテクチャ,パラメータ空間において,最先端の技術を最大3%向上させることを示す。
• 参考スコア（独自算出の注目度）: 16.512587987753967
• License:
• Abstract: Incremental learning aims to adapt to new sets of categories over time with minimal computational overhead. Prior work often addresses this task by training efficient task-specific adaptors that modify frozen layer weights or features to capture relevant information without affecting predictions on previously learned categories. While these adaptors are generally more efficient than finetuning the entire network, they still require tens to hundreds of thousands of task-specific trainable parameters even for relatively small networks, making it challenging to operate on resource-constrained environments with high communication costs like edge devices or mobile phones. Thus, we propose Reparameterized, Compact weight Adaptation for Sequential Tasks (RECAST), a novel method that dramatically reduces task-specific trainable parameters to fewer than 50 - several orders of magnitude less than competing methods like LoRA. RECAST accomplishes this efficiency by learning to decompose layer weights into a soft parameter-sharing framework consisting of shared weight templates and very few module-specific scaling factors or coefficients. This soft parameter-sharing framework allows for effective task-wise reparameterization by tuning only these coefficients while keeping templates frozen.A key innovation of RECAST is the novel weight reconstruction pipeline called Neural Mimicry, which eliminates the need for pretraining from scratch. This allows for high-fidelity emulation of existing pretrained weights within our framework and provides quick adaptability to any model scale and architecture. Extensive experiments across six datasets demonstrate RECAST outperforms the state-of-the-art by up to 3% across various scales, architectures, and parameter spaces Moreover, we show that RECAST's architecture-agnostic nature allows for seamless integration with existing methods, further boosting performance.
• Abstract（参考訳）: インクリメンタルラーニングは、計算オーバーヘッドを最小限に抑えながら、時間とともに新しいカテゴリに適応することを目的としている。 それまでの作業では、凍結したレイヤーの重みや、関連する情報をキャプチャーする機能を、以前に学習したカテゴリの予測に影響を与えることなく変更する、効率的なタスク固有のアダプタをトレーニングすることで、このタスクに対処することが多かった。 これらのアダプタは、ネットワーク全体を微調整するよりも一般的に効率的だが、比較的小さなネットワークであっても、数十万から数十万のタスク固有のトレーニング可能なパラメータを必要とするため、エッジデバイスや携帯電話のような通信コストの高いリソース制約のある環境での運用は困難である。 そこで本研究では,タスク固有のトレーニング可能なパラメータを50-数桁未満に劇的に削減する新しい手法であるReparameterized, Compact weight Adaptation for Sequential Tasks (RECAST)を提案する。 RECASTは、層重みを共有重みテンプレートとモジュール固有のスケーリング要因や係数からなるソフトパラメータ共有フレームワークに分解することを学ぶことで、この効率を達成する。 このソフトパラメータ共有フレームワークは、テンプレートを凍結させながら、これらの係数のみをチューニングすることで、効果的なタスクワイズリパラメータ化を可能にする。RECASTの重要なイノベーションは、Neural Mimicryと呼ばれる新しいウェイト再構築パイプラインである。これにより、スクラッチから事前トレーニングの必要性がなくなる。 これにより、フレームワーク内で既存の事前訓練された重み付けを高忠実にエミュレートすることができ、任意のモデルスケールとアーキテクチャに迅速に適応できます。 さらに、RECASTのアーキテクチャに依存しない性質は、既存のメソッドとのシームレスな統合を可能にし、パフォーマンスをさらに向上させることを示す。

関連論文リスト

• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Parameter-Efficient Fine-Tuning With Adapters [5.948206235442328]
  本研究では,UniPELTフレームワークをベースとした新しい適応手法を提案する。 提案手法では, ベースモデルパラメータの最小限の再学習を行うことなく, 事前学習したモデルを新しいタスクに効率的に転送できるアダプタを用いる。
  論文  参考訳（メタデータ） (2024-05-09T01:40:38Z)
• Context-PEFT: Efficient Multi-Modal, Multi-Task Fine-Tuning [12.648711621637663]
  この論文は小説を紹介します。 COCO-Efficient Fine-Tuning (PEFT) framework for multi-modal, multi-task transfer learning with pre-trained language model。 トークンのドメインに基づいて異なる適応パラメータ群を学習するContext-PEFTを提案する。 提案手法はキャプションタスクで評価され、類似したデータ制約下での完全な微調整よりも優れる。
  論文  参考訳（メタデータ） (2023-12-14T13:00:24Z)
• Efficient Stitchable Task Adaptation [47.94819192325723]
  そこで本研究では,高度調整型モデルのパレットを効率よく作成するための新しいフレームワークであるEfficient Stitchable Task Adaptation (ESTA)を提案する。 具体的には、縫合物間で低ランク更新を共有するために、パラメータ効率の高いファインチューニングを第1に調整する。 簡単なが効果的なワンステージデプロイメントパイプラインを合理化し、デプロイすべき重要な縫合を見積もる。
  論文  参考訳（メタデータ） (2023-11-29T04:31:35Z)
• Rethinking Efficient Tuning Methods from a Unified Perspective [34.67645496324432]
  我々はPETLの設計パラダイムを再検討し、パラメータ効率の伝達学習のための統一的なフレームワークU-Tuningを導出する。 U-Tuningフレームワークは、既存の手法を同時に包含し、パラメータ効率の移行学習のための新しいアプローチを導出することができる。
  論文  参考訳（メタデータ） (2023-03-01T17:38:03Z)
• Scalable Weight Reparametrization for Efficient Transfer Learning [10.265713480189486]
  効率的な転送学習は、より大きなデータセットでトレーニングされたトレーニング済みのモデルを使用して、下流タスクのためにそれを再利用する。 以前の作業ではパラメータやタスク固有のモジュールが更新され、特に小さなモデルでは計算量が増加した。 本稿では,事前学習したモデルの再パラメータ化の場所を決定するためのポリシネットワークの学習を提案する。
  論文  参考訳（メタデータ） (2023-02-26T23:19:11Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
  Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。 他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。 我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-03-30T23:16:07Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。