論文の概要: Delta: A Cloud-assisted Data Enrichment Framework for On-Device Continual Learning

• arxiv url: http://arxiv.org/abs/2410.18378v1
• Date: Thu, 24 Oct 2024 02:38:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:49:22.086239
• Title: Delta: A Cloud-assisted Data Enrichment Framework for On-Device Continual Learning
• Title（参考訳）: Delta: デバイス上での継続的学習のためのクラウド支援データ強化フレームワーク
• Authors: Chen Gong, Zhenzhe Zheng, Fan Wu, Xiaofeng Jia, Guihai Chen,
• Abstract要約: 我々は、豊富なクラウドサイドデータを活用して、デバイス上のデータ不足を補う可能性を探り、プライベートで効率的で効果的なデータ強化フレームワークDeltaを提案する。 具体的には、Deltaはまず、機密データを共有することなく、データエンリッチメント問題をデバイス側とクラウド側のサブプロブレムに分解するディレクトリデータセットを導入している。 次にDeltaは、デバイス側のサブプロブレムをスパースなユーザデータで効果的に解決するソフトなデータマッチング戦略と、計算複雑性の低いエンリッチメントのための最も適切なデータセットを取得するためのクラウドサーバのための最適なデータサンプリングスキームを提案する。
• 参考スコア（独自算出の注目度）: 43.297365394830294
• License:
• Abstract: In modern mobile applications, users frequently encounter various new contexts, necessitating on-device continual learning (CL) to ensure consistent model performance. While existing research predominantly focused on developing lightweight CL frameworks, we identify that data scarcity is a critical bottleneck for on-device CL. In this work, we explore the potential of leveraging abundant cloud-side data to enrich scarce on-device data, and propose a private, efficient and effective data enrichment framework Delta. Specifically, Delta first introduces a directory dataset to decompose the data enrichment problem into device-side and cloud-side sub-problems without sharing sensitive data. Next, Delta proposes a soft data matching strategy to effectively solve the device-side sub-problem with sparse user data, and an optimal data sampling scheme for cloud server to retrieve the most suitable dataset for enrichment with low computational complexity. Further, Delta refines the data sampling scheme by jointly considering the impact of enriched data on both new and past contexts, mitigating the catastrophic forgetting issue from a new aspect. Comprehensive experiments across four typical mobile computing tasks with varied data modalities demonstrate that Delta could enhance the overall model accuracy by an average of 15.1%, 12.4%, 1.1% and 5.6% for visual, IMU, audio and textual tasks compared with few-shot CL, and consistently reduce the communication costs by over 90% compared to federated CL.
• Abstract（参考訳）: 現代のモバイルアプリケーションでは、ユーザーは様々な新しいコンテキストに遭遇し、一貫性のあるモデル性能を確保するためにデバイス上での連続学習(CL)を必要とする。 既存の研究は主に軽量なCLフレームワークの開発に重点を置いていますが、データ不足がオンデバイスCLにとって重要なボトルネックであることを確認しています。 本研究では,クラウド側データの豊富な活用によるデバイス上での不足データ強化の可能性を検討するとともに,プライベートで効率的かつ効率的なデータ強化フレームワークであるDeltaを提案する。 具体的には、Deltaはまず、機密データを共有することなく、データエンリッチメント問題をデバイス側とクラウド側のサブプロブレムに分解するディレクトリデータセットを導入している。 次にDeltaは、デバイス側のサブプロブレムをスパースなユーザデータで効果的に解決するソフトなデータマッチング戦略と、計算複雑性の低いエンリッチメントのための最も適切なデータセットを取得するためのクラウドサーバのための最適なデータサンプリングスキームを提案する。 さらに、Deltaは、新しい側面から破滅的な忘れる問題を軽減し、新しいコンテキストと過去のコンテキストの両方でリッチなデータの影響を共同で考慮して、データサンプリングスキームを洗練する。 データモダリティの異なる4つの典型的なモバイルコンピューティングタスクに対する総合的な実験は、デルタが視覚、IMU、音声およびテキストタスクを数ショットのCLと比較して平均15.1%、12.4%、1.1%、および5.6%向上し、フェデレートされたCLに比べて通信コストを90%以上削減できることを示した。

関連論文リスト

• A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
  実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。 データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。 より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:00:58Z)
• Stable Diffusion-based Data Augmentation for Federated Learning with Non-IID Data [9.045647166114916]
  フェデレートラーニング(FL)は、分散的かつ協調的なモデルトレーニングのための有望なパラダイムである。 FLは、非独立分散(Non-IID)データ分散に直面すると、パフォーマンスの大幅な低下と収束性の低下に悩まされる。 我々は、最先端のテキスト・ツー・イメージ基盤モデルの強力な能力を活用する新しいアプローチであるGen-FedSDを紹介する。
  論文  参考訳（メタデータ） (2024-05-13T16:57:48Z)
• Unlocking the Potential of Federated Learning: The Symphony of Dataset Distillation via Deep Generative Latents [43.282328554697564]
  本稿ではサーバ側のFLデータセット蒸留フレームワークを提案する。 従来の手法とは異なり,サーバは事前学習した深層生成モデルから事前知識を活用できる。 我々のフレームワークは、サーバが複数の異種データ分散を訓練するのではなく、マルチモーダル分布を訓練するため、ベースラインよりも早く収束する。
  論文  参考訳（メタデータ） (2023-12-03T23:30:48Z)
• Multi-Resolution Diffusion for Privacy-Sensitive Recommender Systems [2.812395851874055]
  Score-based Diffusion Recommendation Module (SDRM)を導入し、高精度なレコメンデータシステムのトレーニングに必要な実世界のデータセットの複雑なパターンをキャプチャする。 SDRMは、ユーザのプライバシを保護するために既存のデータセットを置き換える合成データを生成することができる。 提案手法は,Recall@kで平均4.30%,NDCG@kで平均4.65%向上した。
  論文  参考訳（メタデータ） (2023-11-06T19:52:55Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Scaling Data Generation in Vision-and-Language Navigation [116.95534559103788]
  本稿では,学習のための大規模データ生成に有効なパラダイムを提案する。 我々は、HM3DとGibsonのデータセットから1200以上のフォトリアリスティック環境を適用し、490万の命令軌道対を合成する。 我々の大規模データセットのおかげで、既存のエージェントの性能は(以前のSoTAでは+11%絶対)、単純な模倣学習によってR2Rテストの分割で80%の単ラン成功率で大幅に向上できる。
  論文  参考訳（メタデータ） (2023-07-28T16:03:28Z)
• Online Data Selection for Federated Learning with Limited Storage [53.46789303416799]
  ネットワークデバイス間での分散機械学習を実現するために、フェデレートラーニング(FL)が提案されている。 デバイス上のストレージがFLの性能に与える影響はまだ調査されていない。 本研究では,デバイス上のストレージを限定したFLのオンラインデータ選択について検討する。
  論文  参考訳（メタデータ） (2022-09-01T03:27:33Z)
• DataPerf: Benchmarks for Data-Centric AI Development [81.03754002516862]
  DataPerfは、MLデータセットとデータ中心アルゴリズムを評価するための、コミュニティ主導のベンチマークスイートである。 私たちは、この反復的な開発をサポートするために、複数の課題を抱えたオープンなオンラインプラットフォームを提供しています。 ベンチマーク、オンライン評価プラットフォーム、ベースライン実装はオープンソースである。
  論文  参考訳（メタデータ） (2022-07-20T17:47:54Z)
• Federated Visual Classification with Real-World Data Distribution [9.564468846277366]
  我々は,FedAvg(Federated Averaging)アルゴリズムのベンチマークを用いて,実世界のデータ分布が分散学習に与える影響を特徴付ける。 種別とランドマーク分類のための2つの新しい大規模データセットを導入し,ユーザ毎のデータ分割を現実的に行う。 また、2つの新しいアルゴリズム(FedVC、FedIR)も開発しています。
  論文  参考訳（メタデータ） (2020-03-18T07:55:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。