論文の概要: Collaborative Learning of On-Device Small Model and Cloud-Based Large Model: Advances and Future Directions
- arxiv url: http://arxiv.org/abs/2504.15300v1
- Date: Thu, 17 Apr 2025 06:41:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-01 02:26:39.399408
- Title: Collaborative Learning of On-Device Small Model and Cloud-Based Large Model: Advances and Future Directions
- Title（参考訳）: オンデバイス型小型モデルとクラウド型大規模モデルの協調学習:進展と今後の方向性
- Authors: Chaoyue Niu, Yucheng Ding, Junhui Lu, Zhengxiang Huang, Hang Zeng, Yutong Dai, Xuezhen Tu, Chengfei Lv, Fan Wu, Guihai Chen,
- Abstract要約: 従来のクラウドベースの大規模モデル学習フレームワークは、レイテンシ、コスト、パーソナライゼーション、プライバシの懸念によって、ますます制約を受けています。
本調査では,デバイス上の小型モデルとクラウドベースの大規模モデルとの協調学習という,新たなパラダイムを探求する。
ハードウェア、システム、アルゴリズム、アプリケーション層を包括的にレビューします。
- 参考スコア（独自算出の注目度）: 25.63011347692335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The conventional cloud-based large model learning framework is increasingly constrained by latency, cost, personalization, and privacy concerns. In this survey, we explore an emerging paradigm: collaborative learning between on-device small model and cloud-based large model, which promises low-latency, cost-efficient, and personalized intelligent services while preserving user privacy. We provide a comprehensive review across hardware, system, algorithm, and application layers. At each layer, we summarize key problems and recent advances from both academia and industry. In particular, we categorize collaboration algorithms into data-based, feature-based, and parameter-based frameworks. We also review publicly available datasets and evaluation metrics with user-level or device-level consideration tailored to collaborative learning settings. We further highlight real-world deployments, ranging from recommender systems and mobile livestreaming to personal intelligent assistants. We finally point out open research directions to guide future development in this rapidly evolving field.
- Abstract（参考訳）: 従来のクラウドベースの大規模モデル学習フレームワークは、レイテンシ、コスト、パーソナライゼーション、プライバシの懸念によって、ますます制約を受けています。
本調査では,低レイテンシ,コスト効率,パーソナライズされたインテリジェントなサービスを保証し,ユーザのプライバシを保護しながら,デバイス上の小型モデルとクラウドベースの大規模モデルとの協調学習という,新たなパラダイムを探求する。
ハードウェア、システム、アルゴリズム、アプリケーション層を包括的にレビューします。
それぞれの層において、重要な問題と、学術と産業の両方からの最近の進歩を要約する。
特に、協調アルゴリズムをデータベース、特徴ベース、パラメータベースのフレームワークに分類する。
また,協調学習環境に適したユーザレベルやデバイスレベルを考慮したデータセットと評価指標についても検討した。
さらに、リコメンデータシステムやモバイルライブストリーミング、パーソナルインテリジェントアシスタントなど、現実世界のデプロイメントも強調します。
我々は、この急速に発展する分野での今後の発展を導くためのオープンな研究の方向性を指摘する。
関連論文リスト
- Federated Learning: A Survey on Privacy-Preserving Collaborative Intelligence [0.09208007322096533]
フェデレートラーニング(FL)は、分散機械学習の分野における変革的パラダイムとして登場した。
この調査は、フェデレートラーニングの簡潔かつ包括的概要を提供する。
論文 参考訳（メタデータ） (2025-04-24T16:10:29Z) - NNsight and NDIF: Democratizing Access to Open-Weight Foundation Model Internals [58.83169560132308]
NNsightとNDIFを導入し、非常に大きなニューラルネットワークによって学習された表現と計算の科学的研究を可能にする。
論文 参考訳（メタデータ） (2024-07-18T17:59:01Z) - A Survey of Serverless Machine Learning Model Inference [0.0]
ジェネレーティブAI、コンピュータビジョン、自然言語処理は、AIモデルをさまざまな製品に統合するきっかけとなった。
本調査は,大規模ディープラーニングサービスシステムにおける新たな課題と最適化の機会を要約し,分類することを目的としている。
論文 参考訳（メタデータ） (2023-11-22T18:46:05Z) - Privacy-Preserving Graph Machine Learning from Data to Computation: A
Survey [67.7834898542701]
我々は,グラフ機械学習のプライバシ保護手法の見直しに重点を置いている。
まずプライバシ保護グラフデータを生成する方法を検討する。
次に,プライバシ保護情報を送信する方法について述べる。
論文 参考訳（メタデータ） (2023-07-10T04:30:23Z) - Privacy-Preserving Serverless Edge Learning with Decentralized Small
Data [13.254530176359182]
最近、分散トレーニング戦略は、ディープモデルをトレーニングする際のデータプライバシを保証するための有望なアプローチになっている。
本稿では、従来のサーバレスプラットフォームをサーバレスエッジ学習アーキテクチャで拡張し、ネットワークの観点から効率的な分散トレーニングフレームワークを提供する。
論文 参考訳（メタデータ） (2021-11-29T21:04:49Z) - INTERN: A New Learning Paradigm Towards General Vision [117.3343347061931]
我々はInterNという新しい学習パラダイムを開発した。
複数の段階の複数のソースからの監視信号を用いて学習することにより、トレーニング対象のモデルは強力な一般化性を生み出す。
ほとんどの場合、ターゲットドメインのトレーニングデータの10%しか適応していないモデルが、完全なデータセットでトレーニングされたトレーニングデータよりも優れています。
論文 参考訳（メタデータ） (2021-11-16T18:42:50Z) - Edge-Cloud Polarization and Collaboration: A Comprehensive Survey [61.05059817550049]
クラウドとエッジ両方のAIの体系的なレビューを行います。
私たちはクラウドとエッジモデリングの協調学習メカニズムを最初にセットアップしました。
我々は現在進行中の最先端AIトピックの可能性と実践経験について議論する。
論文 参考訳（メタデータ） (2021-11-11T05:58:23Z) - Device-Cloud Collaborative Learning for Recommendation [50.01289274123047]
集中型クラウドモデルにより「数千人のモデルを持つ何千人もの人」を効率的に実現する新しいMetaPatch学習手法をデバイス側で提案します。
数十億の更新されたパーソナライズされたデバイスモデルにより、集中型クラウドモデルを更新する"モデルオーバーモデル"蒸留アルゴリズム、すなわちMoMoDistillを提案する。
論文 参考訳（メタデータ） (2021-04-14T05:06:59Z) - Evaluating the Communication Efficiency in Federated Learning Algorithms [3.713348568329249]
近年,多くの国で新たなプライバシー法が制定され,フェデレートラーニング(FL)の概念が導入されている。
FLでは、モバイルユーザーは、プライバシーに敏感なデータを共有せずに、ローカルモデルを集約することでグローバルモデルを学ぶことができる。
これにより、FLを大規模に実装する際の通信コストの課題が提起される。
論文 参考訳（メタデータ） (2020-04-06T15:31:54Z) - A Privacy-Preserving Distributed Architecture for
Deep-Learning-as-a-Service [68.84245063902908]
本稿では,ディープラーニング・アズ・ア・サービスのための分散アーキテクチャを提案する。
クラウドベースのマシンとディープラーニングサービスを提供しながら、ユーザの機密データを保存できる。
論文 参考訳（メタデータ） (2020-03-30T15:12:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。