論文の概要: p-Meta: Towards On-device Deep Model Adaptation

• arxiv url: http://arxiv.org/abs/2206.12705v1
• Date: Sat, 25 Jun 2022 18:36:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-28 14:03:08.781862
• Title: p-Meta: Towards On-device Deep Model Adaptation
• Title（参考訳）: p-Meta: デバイス上でのDeep Model Adaptationを目指す
• Authors: Zhongnan Qu, Zimu Zhou, Yongxin Tong, Lothar Thiele
• Abstract要約: p-Metaは、構造的に部分的なパラメータの更新を強制する新しいメタ学習手法である。 p-Metaは、最先端のショットアダプティブ法と比較して平均2.5倍のピークダイナミックメモリを著しく減少させることを示した。
• 参考スコア（独自算出の注目度）: 30.27192953408665
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data collected by IoT devices are often private and have a large diversity across users. Therefore, learning requires pre-training a model with available representative data samples, deploying the pre-trained model on IoT devices, and adapting the deployed model on the device with local data. Such an on-device adaption for deep learning empowered applications demands data and memory efficiency. However, existing gradient-based meta learning schemes fail to support memory-efficient adaptation. To this end, we propose p-Meta, a new meta learning method that enforces structure-wise partial parameter updates while ensuring fast generalization to unseen tasks. Evaluations on few-shot image classification and reinforcement learning tasks show that p-Meta not only improves the accuracy but also substantially reduces the peak dynamic memory by a factor of 2.5 on average compared to state-of-the-art few-shot adaptation methods.
• Abstract（参考訳）: IoTデバイスによって収集されるデータは、しばしばプライベートであり、ユーザ間で大きな多様性を持つ。 そのため、学習には、利用可能な代表データサンプルでモデルを事前トレーニングし、IoTデバイスに事前トレーニングされたモデルをデプロイし、ローカルデータでデバイスにデプロイされたモデルを適応する必要がある。 このようなディープラーニングへのオンデバイス適応は、データとメモリ効率を必要とする。 しかし、既存の勾配に基づくメタ学習スキームは、メモリ効率の適応をサポートしない。 そこで本研究では,非知覚タスクに対する高速一般化を確保しつつ,構造的部分的パラメータ更新を強制する新しいメタ学習手法であるp-metaを提案する。 少数ショット画像分類と強化学習タスクの評価により、p-metaは精度を向上させるだけでなく、ピーク時の動的メモリを平均で2.5倍削減することを示した。

関連論文リスト

• Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
  本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。 学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。 本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
  論文  参考訳（メタデータ） (2024-07-09T15:45:04Z)
• G-Meta: Distributed Meta Learning in GPU Clusters for Large-Scale Recommender Systems [16.343248795178685]
  本稿では,textbfGPUクラスタ上での最適化に基づくメタDLRMモデルの大規模トレーニングのためのフレームワークを提供する。 各種実験結果から,G-Metaは,統計的性能を損なうことなく,顕著なトレーニング速度を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-01-09T03:35:43Z)
• Unsupervised Representation Learning to Aid Semi-Supervised Meta Learning [16.534014215010757]
  トレーニングサンプルの潜在表現を学習するために,一発の教師なしメタラーニングを提案する。 メタラーニングの内ループでは、温度スケールのクロスエントロピー損失を使用し、オーバーフィッティングを防止する。 提案手法はモデル非依存であり, どんなメタ学習モデルでも精度を向上させることができる。
  論文  参考訳（メタデータ） (2023-10-19T18:25:22Z)
• Architecture, Dataset and Model-Scale Agnostic Data-free Meta-Learning [119.70303730341938]
  データフリーメタトレーニングにおけるePisode cUrriculum inversion(ECI)と、内部ループ後のinvErsion calibRation(ICFIL)を提案する。 ECIは、メタモデルのリアルタイムフィードバックに応じて、擬似エピソードの難易度を適応的に増加させる。 本稿では,ECIを用いたメタトレーニングの最適化過程を,エンド・ツー・エンド方式で近似形式として定式化する。
  論文  参考訳（メタデータ） (2023-03-20T15:10:41Z)
• Meta-Learning with Self-Improving Momentum Target [72.98879709228981]
  メタラーナーの性能を向上させるために,SiMT(Self-improving Momentum Target)を提案する。 SiMTはメタラーナーの時間アンサンブルから適応してターゲットモデルを生成する。 我々は、SiMTが幅広いメタ学習手法と組み合わせることで、大きなパフォーマンス向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-10-11T06:45:15Z)
• MetaNetwork: A Task-agnostic Network Parameters Generation Framework for Improving Device Model Generalization [65.02542875281233]
  そこで本研究では,デバイス上でのトレーニングを伴わずに,クラウドから適応的なデバイスモデルパラメータを生成するための,MetaNetworkという新しいタスク非依存フレームワークを提案する。 MetaGeneratorは、サンプルからモデルパラメータへのマッピング関数を学習するために設計されており、デバイスからクラウドにアップロードされたサンプルに基づいて、適応パラメータをデバイスに生成および配信することができる。 MetaStabilizerは、MetaGeneratorの振動を減らし、収束を加速し、トレーニングと推論の両方でモデルパフォーマンスを改善することを目的としている。
  論文  参考訳（メタデータ） (2022-09-12T13:26:26Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• On Fast Adversarial Robustness Adaptation in Model-Agnostic Meta-Learning [100.14809391594109]
  モデルに依存しないメタラーニング(MAML)は、数発の学習において最も成功したメタラーニング手法の1つである。 メタモデルの一般化力にもかかわらず、マルチショット学習においてMDLがいかに敵対的堅牢性を維持することができるかは明らかではない。 本稿では,ラベルなしデータ拡張,高速な攻撃生成,計算量軽微な微調整を可能にする,汎用的かつ最適化が容易なロバストネス正規化メタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-20T22:03:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。