論文の概要: REP: Resource-Efficient Prompting for On-device Continual Learning

• arxiv url: http://arxiv.org/abs/2406.04772v1
• Date: Fri, 7 Jun 2024 09:17:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 14:50:13.596304
• Title: REP: Resource-Efficient Prompting for On-device Continual Learning
• Title（参考訳）: REP: オンデバイス連続学習のためのリソース効率の良いプロンプト
• Authors: Sungho Jeon, Xinyue Ma, Kwang In Kim, Myeongjae Jeon,
• Abstract要約: オンデバイス連続学習(CL)は、モデル精度と資源効率の協調最適化を実践するために必要である。 CNNベースのCLは資源効率に優れており、ViTベースのCLはモデル性能に優れていると一般的に信じられている。 本稿では,プロンプトベースのリハーサルフリー手法を特化して資源効率を向上させるREPを紹介する。
• 参考スコア（独自算出の注目度）: 23.92661395403251
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-device continual learning (CL) requires the co-optimization of model accuracy and resource efficiency to be practical. This is extremely challenging because it must preserve accuracy while learning new tasks with continuously drifting data and maintain both high energy and memory efficiency to be deployable on real-world devices. Typically, a CL method leverages one of two types of backbone networks: CNN or ViT. It is commonly believed that CNN-based CL excels in resource efficiency, whereas ViT-based CL is superior in model performance, making each option attractive only for a single aspect. In this paper, we revisit this comparison while embracing powerful pre-trained ViT models of various sizes, including ViT-Ti (5.8M parameters). Our detailed analysis reveals that many practical options exist today for making ViT-based methods more suitable for on-device CL, even when accuracy, energy, and memory are all considered. To further expand this impact, we introduce REP, which improves resource efficiency specifically targeting prompt-based rehearsal-free methods. Our key focus is on avoiding catastrophic trade-offs with accuracy while trimming computational and memory costs throughout the training process. We achieve this by exploiting swift prompt selection that enhances input data using a carefully provisioned model, and by developing two novel algorithms-adaptive token merging (AToM) and adaptive layer dropping (ALD)-that optimize the prompt updating stage. In particular, AToM and ALD perform selective skipping across the data and model-layer dimensions without compromising task-specific features in vision transformer models. Extensive experiments on three image classification datasets validate REP's superior resource efficiency over current state-of-the-art methods.
• Abstract（参考訳）: オンデバイス連続学習(CL)は、モデル精度と資源効率の協調最適化を実践するために必要である。 これは、連続的なドリフトデータで新しいタスクを学習しながら正確性を保ち、現実世界のデバイスにデプロイ可能な高エネルギーとメモリ効率の両方を維持する必要があるため、非常に難しい。 通常、CL法はCNNとViTの2種類のバックボーンネットワークの1つを利用する。 一般的に、CNNベースのCLは資源効率に優れており、ViTベースのCLはモデル性能に優れており、各オプションは1つの側面でのみ魅力的であると考えられている。 本稿では、VT-Ti(5.8Mパラメータ)を含む様々なサイズの強力な事前学習型ViTモデルを採用しながら、この比較を再考する。 詳細分析の結果, 精度, エネルギー, メモリがすべて考慮されている場合でも, デバイス上でのCLに適したViTベースの手法を実現するための実用的な選択肢が数多く存在することが明らかとなった。 この影響をさらに拡大するため,我々は,プロンプトベースのリハーサルフリー手法を特にターゲットとした資源効率の向上を行うREPを導入する。 私たちの重要な焦点は、トレーニングプロセス全体を通して計算とメモリコストを削減しながら、壊滅的なトレードオフを正確さで回避することにあります。 我々は、慎重に設定されたモデルを用いて入力データを強化する素早いプロンプト選択を活用し、プロンプト更新段階を最適化する2つの新しいアルゴリズム適応トークンマージ(AToM)とアダプティブレイヤドロップ(ALD)を開発する。 特に、AToMとALDは、視覚変換器モデルにおけるタスク固有の特徴を損なうことなく、データおよびモデル層次元を選択的にスキップする。 3つの画像分類データセットの大規模な実験は、現在の最先端手法よりもREPの優れた資源効率を検証する。

関連論文リスト

• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• REDS: Resource-Efficient Deep Subnetworks for Dynamic Resource Constraints [2.9209462960232235]
  最先端の機械学習パイプラインは、実行時に適応できないリソースに依存しないモデルを生成する。 本稿では,資源効率の高いDeep Subnetworks (REDS) を導入し,変動資源へのモデル適応に取り組む。 本稿では,サブモデルのテストセット精度の観点から,REDSの優れた性能を示す理論的結果と実証的証拠を提供する。
  論文  参考訳（メタデータ） (2023-11-22T12:34:51Z)
• Knowledge Transfer-Driven Few-Shot Class-Incremental Learning [23.163459923345556]
  FSCIL(Few-shot class-incremental Learning)は、古いクラスを忘れずに、いくつかのサンプルを使用して新しいクラスを継続的に学習することを目的としている。 既存のFSCIL手法の進歩にもかかわらず、モデルの可塑性の最適化が不十分なため、提案手法は準最適である。 本稿では,多種多様な擬似的漸進的タスクをエージェントとして頼りにし,知識伝達を実現するランダムエピソードサンプリング・拡張(RESA)戦略を提案する。
  論文  参考訳（メタデータ） (2023-06-19T14:02:45Z)
• FiT: Parameter Efficient Few-shot Transfer Learning for Personalized and Federated Image Classification [47.24770508263431]
  画像分類における要件を満たすFiLM Transfer (FiT) を開発した。 FiTは、大規模な画像データセットで事前トレーニングされた固定バックボーンの上に、自動的に設定されたNaive Bayes分類器を使用する。 本研究では, 最先端のBig Transfer (BiT) アルゴリズムよりも, ローショット, 挑戦的なVTAB-1kベンチマークにおいて, 高い分類精度が得られることを示す。
  論文  参考訳（メタデータ） (2022-06-17T10:17:20Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。