論文の概要: DiReDi: Distillation and Reverse Distillation for AIoT Applications
- arxiv url: http://arxiv.org/abs/2409.08308v1
- Date: Thu, 12 Sep 2024 06:02:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-16 18:46:54.800061
- Title: DiReDi: Distillation and Reverse Distillation for AIoT Applications
- Title(参考訳): DiReDi:AIoTアプリケーションのための蒸留と逆蒸留
- Authors: Chen Sun, Qing Tong, Wenshuang Yang, Wenqi Zhang,
- Abstract要約: ユーザによるエッジAIモデルの不適切なローカルトレーニングや微調整は、モデル誤動作につながる可能性がある。
本稿では,知識蒸留と逆蒸留を含む「DiReDi」という革新的な枠組みを提案する。
- 参考スコア(独自算出の注目度): 10.728511433896442
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Typically, the significant efficiency can be achieved by deploying different edge AI models in various real world scenarios while a few large models manage those edge AI models remotely from cloud servers. However, customizing edge AI models for each user's specific application or extending current models to new application scenarios remains a challenge. Inappropriate local training or fine tuning of edge AI models by users can lead to model malfunction, potentially resulting in legal issues for the manufacturer. To address aforementioned issues, this paper proposes an innovative framework called "DiReD", which involves knowledge DIstillation & REverse DIstillation. In the initial step, an edge AI model is trained with presumed data and a KD process using the cloud AI model in the upper management cloud server. This edge AI model is then dispatched to edge AI devices solely for inference in the user's application scenario. When the user needs to update the edge AI model to better fit the actual scenario, the reverse distillation (RD) process is employed to extract the knowledge: the difference between user preferences and the manufacturer's presumptions from the edge AI model using the user's exclusive data. Only the extracted knowledge is reported back to the upper management cloud server to update the cloud AI model, thus protecting user privacy by not using any exclusive data. The updated cloud AI can then update the edge AI model with the extended knowledge. Simulation results demonstrate that the proposed "DiReDi" framework allows the manufacturer to update the user model by learning new knowledge from the user's actual scenario with private data. The initial redundant knowledge is reduced since the retraining emphasizes user private data.
- Abstract(参考訳): 通常、さまざまな現実のシナリオに異なるエッジAIモデルをデプロイし、少数の大規模モデルがクラウドサーバからリモートでエッジAIモデルを管理することで、大幅な効率を達成することができる。
しかしながら、ユーザの特定のアプリケーションごとにエッジAIモデルをカスタマイズしたり、現在のモデルを新しいアプリケーションシナリオに拡張することは、依然として課題である。
ユーザによる不適切なローカルトレーニングやエッジAIモデルの微調整は、モデル誤動作を招き、製造業者にとって法的問題を引き起こす可能性がある。
本稿では、上記の課題に対処するため、知識蒸留・逆蒸留を含む「DiReD」と呼ばれる革新的な枠組みを提案する。
最初のステップでは、エッジAIモデルを、上層管理クラウドサーバのクラウドAIモデルを使用して、推定データとKDプロセスでトレーニングする。
このエッジAIモデルは、ユーザのアプリケーションシナリオでの推論のみのために、エッジAIデバイスに送信される。
ユーザが実際のシナリオに合うようにエッジAIモデルを更新する必要がある場合、リバース蒸留(RD)プロセスを使用して知識を抽出する。
抽出された知識のみが、クラウドAIモデルを更新するために、上位管理クラウドサーバに報告されるため、排他的データを使用しないことにより、ユーザのプライバシを保護する。
アップデートされたクラウドAIは、拡張された知識でエッジAIモデルを更新することができる。
シミュレーションの結果,提案したDiReDiフレームワークは,ユーザの実際のシナリオから新たな知識をプライベートデータで学習することで,ユーザモデルを更新することができることがわかった。
再トレーニングがユーザのプライベートデータを強調するため、初期の冗長な知識は減少する。
関連論文リスト
- Model Callers for Transforming Predictive and Generative AI Applications [2.7195102129095003]
モデル呼び出し(model caller)と呼ばれる新しいソフトウェア抽象化を導入する。
モデル呼び出しは、AIとMLモデル呼び出しの仲介役として機能する。
我々は、モデル呼び出しのためのPythonライブラリのプロトタイプをリリースした。
論文 参考訳(メタデータ) (2024-04-17T12:21:06Z) - The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
大規模言語モデル(LLM)はAIの進歩の基礎となっている。
LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。
機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
論文 参考訳(メタデータ) (2024-03-23T09:26:15Z) - Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via Selective Entropy Distillation [56.79064699832383]
Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。
CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
論文 参考訳(メタデータ) (2024-02-27T08:47:19Z) - ModelGPT: Unleashing LLM's Capabilities for Tailored Model Generation [35.160964210941955]
本稿では,ユーザが提供するデータやタスク記述に適したAIモデルを決定・生成するフレームワークであるModelGPTを提案する。
ユーザの要求に応じて、ModelGPTは、以前のパラダイムよりも少なくとも270倍高速に、調整済みのモデルを提供することができる。
論文 参考訳(メタデータ) (2024-02-18T11:24:34Z) - User Friendly and Adaptable Discriminative AI: Using the Lessons from
the Success of LLMs and Image Generation Models [0.6926105253992517]
我々は、ユーザが差別的なモデルで作業できる新しいシステムアーキテクチャを開発した。
我々のアプローチは、信頼、ユーザーフレンドリさ、そしてこれらの多目的だが伝統的な予測モデルの適応性を改善することに影響を及ぼす。
論文 参考訳(メタデータ) (2023-12-11T20:37:58Z) - AI-Generated Images as Data Source: The Dawn of Synthetic Era [61.879821573066216]
生成AIは、現実世界の写真によく似た合成画像を作成する可能性を解き放った。
本稿では、これらのAI生成画像を新しいデータソースとして活用するという革新的な概念を探求する。
実際のデータとは対照的に、AI生成データには、未整合のアブリダンスやスケーラビリティなど、大きなメリットがある。
論文 参考訳(メタデータ) (2023-10-03T06:55:19Z) - Guiding AI-Generated Digital Content with Wireless Perception [69.51950037942518]
本稿では,AIGC(AIGC)と無線認識を統合し,デジタルコンテンツ制作の質を向上させる。
このフレームワークは、単語の正確な記述が難しいユーザの姿勢を読み取るために、新しいマルチスケール認識技術を採用し、それをスケルトン画像としてAIGCモデルに送信する。
生産プロセスはAIGCモデルの制約としてユーザの姿勢を強制するため、生成されたコンテンツはユーザの要求に適合する。
論文 参考訳(メタデータ) (2023-03-26T04:39:03Z) - AUTOLYCUS: Exploiting Explainable AI (XAI) for Model Extraction Attacks against Interpretable Models [1.8752655643513647]
XAIツールは、モデル抽出攻撃の脆弱性を増大させる可能性がある。
そこで本研究では,ブラックボックス設定下での解釈可能なモデルに対して,新たなリトレーニング(学習)に基づくモデル抽出攻撃フレームワークを提案する。
AUTOLYCUSは非常に効果的で、最先端の攻撃に比べてクエリが大幅に少ないことが示される。
論文 参考訳(メタデータ) (2023-02-04T13:23:39Z) - Choose, not Hoard: Information-to-Model Matching for Artificial
Intelligence in O-RAN [8.52291735627073]
Open Radio Access Network (O-RAN) は、ネットワーク基盤要素がオープンで標準化されたインターフェースを介して通信する新興パラダイムである。
重要な要素は、人工知能(AI)ベースのコントローラであるRAN Intelligent Controller(RIC)である。
本稿では、異なるRICにおける複数のAIモデルインスタンスの作成について紹介し、議論し、評価し、トレーニングのためにいくつかの(またはすべての)場所の情報を活用する。
論文 参考訳(メタデータ) (2022-08-01T15:24:27Z) - Edge-Cloud Polarization and Collaboration: A Comprehensive Survey [61.05059817550049]
クラウドとエッジ両方のAIの体系的なレビューを行います。
私たちはクラウドとエッジモデリングの協調学習メカニズムを最初にセットアップしました。
我々は現在進行中の最先端AIトピックの可能性と実践経験について議論する。
論文 参考訳(メタデータ) (2021-11-11T05:58:23Z) - Auto-Split: A General Framework of Collaborative Edge-Cloud AI [49.750972428032355]
本稿では,Huawei Cloudのエッジクラウド共同プロトタイプであるAuto-Splitの技法と技術実践について述べる。
私たちの知る限りでは、Deep Neural Network(DNN)分割機能を提供する既存の産業製品はありません。
論文 参考訳(メタデータ) (2021-08-30T08:03:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。