論文の概要: DiReDi: Distillation and Reverse Distillation for AIoT Applications
- arxiv url: http://arxiv.org/abs/2409.08308v1
- Date: Thu, 12 Sep 2024 06:02:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-16 18:46:54.800061
- Title: DiReDi: Distillation and Reverse Distillation for AIoT Applications
- Title（参考訳）: DiReDi:AIoTアプリケーションのための蒸留と逆蒸留
- Authors: Chen Sun, Qing Tong, Wenshuang Yang, Wenqi Zhang,
- Abstract要約: ユーザによるエッジAIモデルの不適切なローカルトレーニングや微調整は、モデル誤動作につながる可能性がある。
本稿では,知識蒸留と逆蒸留を含む「DiReDi」という革新的な枠組みを提案する。
- 参考スコア（独自算出の注目度）: 10.728511433896442
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Typically, the significant efficiency can be achieved by deploying different edge AI models in various real world scenarios while a few large models manage those edge AI models remotely from cloud servers. However, customizing edge AI models for each user's specific application or extending current models to new application scenarios remains a challenge. Inappropriate local training or fine tuning of edge AI models by users can lead to model malfunction, potentially resulting in legal issues for the manufacturer. To address aforementioned issues, this paper proposes an innovative framework called "DiReD", which involves knowledge DIstillation & REverse DIstillation. In the initial step, an edge AI model is trained with presumed data and a KD process using the cloud AI model in the upper management cloud server. This edge AI model is then dispatched to edge AI devices solely for inference in the user's application scenario. When the user needs to update the edge AI model to better fit the actual scenario, the reverse distillation (RD) process is employed to extract the knowledge: the difference between user preferences and the manufacturer's presumptions from the edge AI model using the user's exclusive data. Only the extracted knowledge is reported back to the upper management cloud server to update the cloud AI model, thus protecting user privacy by not using any exclusive data. The updated cloud AI can then update the edge AI model with the extended knowledge. Simulation results demonstrate that the proposed "DiReDi" framework allows the manufacturer to update the user model by learning new knowledge from the user's actual scenario with private data. The initial redundant knowledge is reduced since the retraining emphasizes user private data.
- Abstract（参考訳）: 通常、さまざまな現実のシナリオに異なるエッジAIモデルをデプロイし、少数の大規模モデルがクラウドサーバからリモートでエッジAIモデルを管理することで、大幅な効率を達成することができる。
しかしながら、ユーザの特定のアプリケーションごとにエッジAIモデルをカスタマイズしたり、現在のモデルを新しいアプリケーションシナリオに拡張することは、依然として課題である。
ユーザによる不適切なローカルトレーニングやエッジAIモデルの微調整は、モデル誤動作を招き、製造業者にとって法的問題を引き起こす可能性がある。
本稿では、上記の課題に対処するため、知識蒸留・逆蒸留を含む「DiReD」と呼ばれる革新的な枠組みを提案する。
最初のステップでは、エッジAIモデルを、上層管理クラウドサーバのクラウドAIモデルを使用して、推定データとKDプロセスでトレーニングする。
このエッジAIモデルは、ユーザのアプリケーションシナリオでの推論のみのために、エッジAIデバイスに送信される。
ユーザが実際のシナリオに合うようにエッジAIモデルを更新する必要がある場合、リバース蒸留(RD)プロセスを使用して知識を抽出する。
抽出された知識のみが、クラウドAIモデルを更新するために、上位管理クラウドサーバに報告されるため、排他的データを使用しないことにより、ユーザのプライバシを保護する。
アップデートされたクラウドAIは、拡張された知識でエッジAIモデルを更新することができる。
シミュレーションの結果,提案したDiReDiフレームワークは,ユーザの実際のシナリオから新たな知識をプライベートデータで学習することで,ユーザモデルを更新することができることがわかった。
再トレーニングがユーザのプライベートデータを強調するため、初期の冗長な知識は減少する。
関連論文リスト
- Dual-Model Distillation for Efficient Action Classification with Hybrid Edge-Cloud Solution [1.8029479474051309]
我々は、より大規模で正確なクラウドベースモデルに必要に応じて遅延しながら、より小さなモデルのローカル処理効率を活用するハイブリッドエッジクラウドソリューションを設計する。
具体的には、エッジモデルの出力が不確かである場合に予測可能な軽量スイッチャーモデルをトレーニングするための、新しい教師なしデータ生成手法であるDual-Model Distillation(DMD)を提案する。
動作分類タスクの実験結果から,我々のフレームワークは計算オーバーヘッドを少なくするだけでなく,大規模モデルのみを使用する場合と比較して精度も向上することが示された。
論文 参考訳（メタデータ） (2024-10-16T02:06:27Z) - Resource-Efficient Generative AI Model Deployment in Mobile Edge Networks [15.958822667638405]
エッジ上の利用可能なリソースの不足は、生成AIモデルをデプロイする上で大きな課題を生じさせる。
我々は、エッジ上に生成するAIモデルのデプロイメントを適切に管理することを目的とした、協調的なエッジクラウドフレームワークを提案する。
論文 参考訳（メタデータ） (2024-09-09T03:17:28Z) - KModels: Unlocking AI for Business Applications [10.833754921830154]
本稿では、KModelのアーキテクチャと、それを形作る重要な決定について述べる。
KModelsにより、AI消費者は専用のデータサイエンティストの必要性を排除できる。
オンプレミスのデプロイメントに非常に適しているが、クラウド環境でも使用できる。
論文 参考訳（メタデータ） (2024-09-08T13:19:12Z) - Model Callers for Transforming Predictive and Generative AI Applications [2.7195102129095003]
モデル呼び出し(model caller)と呼ばれる新しいソフトウェア抽象化を導入する。
モデル呼び出しは、AIとMLモデル呼び出しの仲介役として機能する。
我々は、モデル呼び出しのためのPythonライブラリのプロトタイプをリリースした。
論文 参考訳（メタデータ） (2024-04-17T12:21:06Z) - The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
大規模言語モデル(LLM)はAIの進歩の基礎となっている。
LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。
機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
論文 参考訳（メタデータ） (2024-03-23T09:26:15Z) - Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via Selective Entropy Distillation [56.79064699832383]
Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。
CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
論文 参考訳（メタデータ） (2024-02-27T08:47:19Z) - AI-Generated Images as Data Source: The Dawn of Synthetic Era [61.879821573066216]
生成AIは、現実世界の写真によく似た合成画像を作成する可能性を解き放った。
本稿では、これらのAI生成画像を新しいデータソースとして活用するという革新的な概念を探求する。
実際のデータとは対照的に、AI生成データには、未整合のアブリダンスやスケーラビリティなど、大きなメリットがある。
論文 参考訳（メタデータ） (2023-10-03T06:55:19Z) - Guiding AI-Generated Digital Content with Wireless Perception [69.51950037942518]
本稿では,AIGC(AIGC)と無線認識を統合し,デジタルコンテンツ制作の質を向上させる。
このフレームワークは、単語の正確な記述が難しいユーザの姿勢を読み取るために、新しいマルチスケール認識技術を採用し、それをスケルトン画像としてAIGCモデルに送信する。
生産プロセスはAIGCモデルの制約としてユーザの姿勢を強制するため、生成されたコンテンツはユーザの要求に適合する。
論文 参考訳（メタデータ） (2023-03-26T04:39:03Z) - Choose, not Hoard: Information-to-Model Matching for Artificial
Intelligence in O-RAN [8.52291735627073]
Open Radio Access Network (O-RAN) は、ネットワーク基盤要素がオープンで標準化されたインターフェースを介して通信する新興パラダイムである。
重要な要素は、人工知能(AI)ベースのコントローラであるRAN Intelligent Controller(RIC)である。
本稿では、異なるRICにおける複数のAIモデルインスタンスの作成について紹介し、議論し、評価し、トレーニングのためにいくつかの(またはすべての)場所の情報を活用する。
論文 参考訳（メタデータ） (2022-08-01T15:24:27Z) - Edge-Cloud Polarization and Collaboration: A Comprehensive Survey [61.05059817550049]
クラウドとエッジ両方のAIの体系的なレビューを行います。
私たちはクラウドとエッジモデリングの協調学習メカニズムを最初にセットアップしました。
我々は現在進行中の最先端AIトピックの可能性と実践経験について議論する。
論文 参考訳（メタデータ） (2021-11-11T05:58:23Z) - Auto-Split: A General Framework of Collaborative Edge-Cloud AI [49.750972428032355]
本稿では,Huawei Cloudのエッジクラウド共同プロトタイプであるAuto-Splitの技法と技術実践について述べる。
私たちの知る限りでは、Deep Neural Network(DNN)分割機能を提供する既存の産業製品はありません。
論文 参考訳（メタデータ） (2021-08-30T08:03:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。