論文の概要: MetaNetwork: A Task-agnostic Network Parameters Generation Framework for
Improving Device Model Generalization
- arxiv url: http://arxiv.org/abs/2209.05227v1
- Date: Mon, 12 Sep 2022 13:26:26 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-13 12:37:32.441119
- Title: MetaNetwork: A Task-agnostic Network Parameters Generation Framework for
Improving Device Model Generalization
- Title（参考訳）: MetaNetwork: デバイスモデルの一般化を改善するタスク依存型ネットワークパラメータ生成フレームワーク
- Authors: Zheqi Lv, Feng Wang, Kun Kuang, Yongwei Wang, Zhengyu Chen, Tao Shen,
Hongxia Yang, Fei Wu
- Abstract要約: そこで本研究では,デバイス上でのトレーニングを伴わずに,クラウドから適応的なデバイスモデルパラメータを生成するための,MetaNetworkという新しいタスク非依存フレームワークを提案する。
MetaGeneratorは、サンプルからモデルパラメータへのマッピング関数を学習するために設計されており、デバイスからクラウドにアップロードされたサンプルに基づいて、適応パラメータをデバイスに生成および配信することができる。
MetaStabilizerは、MetaGeneratorの振動を減らし、収束を加速し、トレーニングと推論の両方でモデルパフォーマンスを改善することを目的としている。
- 参考スコア（独自算出の注目度）: 65.02542875281233
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deploying machine learning models on mobile devices has gained increasing
attention. To tackle the model generalization problem with the limitations of
hardware resources on the device, the device model needs to be lightweight by
techniques such as model compression from the cloud model. However, the major
obstacle to improve the device model generalization is the distribution shift
between the data of cloud and device models, since the data distribution on
device model often changes over time (e.g., users might have different
preferences in recommendation system). Although real-time fine-tuning and
distillation method take this situation into account, these methods require
on-device training, which are practically infeasible due to the low
computational power and a lack of real-time labeled samples on the device.
In this paper, we propose a novel task-agnostic framework, named MetaNetwork,
for generating adaptive device model parameters from cloud without on-device
training. Specifically, our MetaNetwork is deployed on cloud and consists of
MetaGenerator and MetaStabilizer modules. The MetaGenerator is designed to
learn a mapping function from samples to model parameters, and it can generate
and deliver the adaptive parameters to the device based on samples uploaded
from the device to the cloud. The MetaStabilizer aims to reduce the oscillation
of the MetaGenerator, accelerate the convergence and improve the model
performance during both training and inference. We evaluate our method on two
tasks with three datasets. Extensive experiments show that MetaNetwork can
achieve competitive performances in different modalities.
- Abstract（参考訳）: モバイルデバイスに機械学習モデルをデプロイする動きが注目されている。
デバイス上のハードウェアリソースの制限によるモデル一般化問題に対処するには,クラウドモデルからのモデル圧縮などの技術により,デバイスモデルを軽量化する必要がある。
しかしながら、デバイスモデルの一般化を改善するための大きな障害は、デバイスモデルのデータ分散が時間とともに変化することが多いため、クラウドとデバイスモデルのデータ間の分散シフトである(例えば、ユーザーはレコメンデーションシステムで異なる好みを持っているかもしれない)。
リアルタイム微調整・蒸留法はこの状況を考慮しているが、計算能力の低さとリアルタイムラベル付きサンプルの不足のため、デバイス上でのトレーニングが必要となる。
本稿では,デバイス上でのトレーニングを行わずにクラウドから適応型デバイスモデルパラメータを生成するための新しいタスク非依存フレームワークであるmetanetworkを提案する。
具体的には、MetaNetworkはクラウド上にデプロイされ、MetaGeneratorとMetaStabilizerモジュールで構成されています。
MetaGeneratorは、サンプルからモデルパラメータへのマッピング機能を学ぶように設計されており、デバイスからクラウドにアップロードされたサンプルに基づいて、適応パラメータをデバイスに生成および配信することができる。
MetaStabilizerは、MetaGeneratorの振動を減らし、収束を加速し、トレーニングと推論の両方でモデルパフォーマンスを改善することを目的としている。
提案手法は,3つのデータセットを用いた2つのタスクで評価する。
広範な実験により、メタネットワークは異なるモダリティで競合性能を達成できることが示されている。
関連論文リスト
- Tackling Data Heterogeneity in Federated Time Series Forecasting [61.021413959988216]
時系列予測は、エネルギー消費予測、病気の伝染モニタリング、天気予報など、様々な実世界の応用において重要な役割を果たす。
既存のほとんどのメソッドは、分散デバイスから中央クラウドサーバに大量のデータを収集する、集中的なトレーニングパラダイムに依存しています。
本稿では,情報合成データを補助的知識キャリアとして生成することにより,データの均一性に対処する新しいフレームワークであるFed-TRENDを提案する。
論文 参考訳（メタデータ） (2024-11-24T04:56:45Z) - Dual-Model Distillation for Efficient Action Classification with Hybrid Edge-Cloud Solution [1.8029479474051309]
我々は、より大規模で正確なクラウドベースモデルに必要に応じて遅延しながら、より小さなモデルのローカル処理効率を活用するハイブリッドエッジクラウドソリューションを設計する。
具体的には、エッジモデルの出力が不確かである場合に予測可能な軽量スイッチャーモデルをトレーニングするための、新しい教師なしデータ生成手法であるDual-Model Distillation(DMD)を提案する。
動作分類タスクの実験結果から,我々のフレームワークは計算オーバーヘッドを少なくするだけでなく,大規模モデルのみを使用する場合と比較して精度も向上することが示された。
論文 参考訳（メタデータ） (2024-10-16T02:06:27Z) - Backpropagation-Free Multi-modal On-Device Model Adaptation via Cloud-Device Collaboration [37.456185990843515]
ユニバーサルオンデバイスマルチモーダルモデル適応フレームワークを提案する。
このフレームワークは、クラウドにホストされるFast Domain Adaptor(FDA)を特徴とし、デバイス上の軽量マルチモーダルモデル用に調整されたパラメータを提供する。
私たちの貢献は、オンデバイスマルチモーダルモデル適応(DMMA)の先駆的なソリューションである。
論文 参考訳（メタデータ） (2024-05-21T14:42:18Z) - Efficient Asynchronous Federated Learning with Sparsification and
Quantization [55.6801207905772]
フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。
FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。
TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
論文 参考訳（メタデータ） (2023-12-23T07:47:07Z) - Cloud-Device Collaborative Adaptation to Continual Changing Environments
in the Real-world [20.547119604004774]
本稿では,クラウドとデバイス間の協調を促進するクラウドデバイス協調型継続的適応の新たな学習パラダイムを提案する。
また、クラウド上の大規模モデルの一般化能力をデバイスモデルに転送するための教師学生モデルとして、不確実性に基づくVisual Prompt Adapted (U-VPA)を提案する。
提案するU-VPA教師学生フレームワークは,従来の最先端テスト時間適応とデバイスクラウド協調手法より優れていた。
論文 参考訳（メタデータ） (2022-12-02T05:02:36Z) - Federated Split GANs [12.007429155505767]
ユーザデバイス自体でMLモデルをトレーニングするための代替手法を提案する。
我々は、GAN(ジェネレーティブ・逆境ネットワーク)に注目し、その固有のプライバシー保護属性を活用する。
我々のシステムはデータのプライバシを保ち、短時間のトレーニング時間を保ち、制約のないデバイスで同じ精度でモデルトレーニングを行う。
論文 参考訳（メタデータ） (2022-07-04T23:53:47Z) - Dynamic Network-Assisted D2D-Aided Coded Distributed Learning [59.29409589861241]
本稿では,デバイス間のロードバランシングのための新しいデバイス・ツー・デバイス(D2D)支援型符号化学習手法(D2D-CFL)を提案する。
最小処理時間を達成するための最適圧縮率を導出し、収束時間との接続を確立する。
提案手法は,ユーザが継続的にトレーニングデータを生成するリアルタイム協調アプリケーションに有用である。
論文 参考訳（メタデータ） (2021-11-26T18:44:59Z) - Device-Cloud Collaborative Learning for Recommendation [50.01289274123047]
集中型クラウドモデルにより「数千人のモデルを持つ何千人もの人」を効率的に実現する新しいMetaPatch学習手法をデバイス側で提案します。
数十億の更新されたパーソナライズされたデバイスモデルにより、集中型クラウドモデルを更新する"モデルオーバーモデル"蒸留アルゴリズム、すなわちMoMoDistillを提案する。
論文 参考訳（メタデータ） (2021-04-14T05:06:59Z) - Fast-Convergent Federated Learning [82.32029953209542]
フェデレーション学習は、モバイルデバイスの現代的なネットワークを介して機械学習タスクを分散するための、有望なソリューションである。
本稿では,FOLBと呼ばれる高速収束型フェデレーション学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-26T14:37:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。