論文の概要: Shared Mobile-Cloud Inference for Collaborative Intelligence

• arxiv url: http://arxiv.org/abs/2002.00157v1
• Date: Sat, 1 Feb 2020 07:12:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-05 01:04:01.655226
• Title: Shared Mobile-Cloud Inference for Collaborative Intelligence
• Title（参考訳）: コラボレーティブインテリジェンスのための共有モバイルクラウド推論
• Authors: Mateen Ulhaq and Ivan V. Baji\'c
• Abstract要約: ニューラルモデル推論のための共有モバイルクラウド推論手法を提案する。 この戦略は、推論レイテンシ、エネルギー消費、ネットワーク帯域使用量を改善することができる。 伝送前に特徴テンソルを圧縮することにより、さらなる性能向上を実現することができる。
• 参考スコア（独自算出の注目度）: 35.103437828235826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As AI applications for mobile devices become more prevalent, there is an increasing need for faster execution and lower energy consumption for neural model inference. Historically, the models run on mobile devices have been smaller and simpler in comparison to large state-of-the-art research models, which can only run on the cloud. However, cloud-only inference has drawbacks such as increased network bandwidth consumption and higher latency. In addition, cloud-only inference requires the input data (images, audio) to be fully transferred to the cloud, creating concerns about potential privacy breaches. We demonstrate an alternative approach: shared mobile-cloud inference. Partial inference is performed on the mobile in order to reduce the dimensionality of the input data and arrive at a compact feature tensor, which is a latent space representation of the input signal. The feature tensor is then transmitted to the server for further inference. This strategy can improve inference latency, energy consumption, and network bandwidth usage, as well as provide privacy protection, because the original signal never leaves the mobile. Further performance gain can be achieved by compressing the feature tensor before its transmission.
• Abstract（参考訳）: モバイルデバイス用のAIアプリケーションが普及するにつれて、ニューラルモデル推論の高速実行と低エネルギー消費の必要性が高まっている。 歴史的に、モバイルデバイス上で実行されるモデルは、クラウド上でしか実行できない大規模な最先端の研究モデルと比較して、小さく、よりシンプルである。 しかし、クラウドのみの推論には、ネットワーク帯域幅の増大やレイテンシの増大といった欠点がある。 さらに、クラウドのみの推論では、入力データ(画像、音声)を完全にクラウドに転送する必要があるため、潜在的なプライバシー侵害に関する懸念が生じる。 私たちは、モバイルクラウドの共有という別のアプローチを示します。 部分的推論は、入力データの次元性を低減するためにモバイル上で行われ、入力信号の潜在空間表現であるコンパクトな特徴テンソルに到達する。 その後、さらなる推論のために特徴テンソルがサーバに送信される。 この戦略は、推論レイテンシ、エネルギー消費量、ネットワーク帯域使用量を改善し、元の信号がモバイルを離れることはないため、プライバシ保護を提供する。 伝送前に特徴テンソルを圧縮することにより、さらなる性能向上を実現することができる。

関連論文リスト

• Knowledge boosting during low-latency inference [20.617827647115874]
  低レイテンシのストリーミングアプリケーションは、より大きなモデルの知識能力の恩恵を受けることができるが、エッジデバイスはリソース制約のためにこれらのモデルを実行できない。 提案手法は,大規模モデルを推論中に時間遅延入力で動作させながら,小型モデルの性能を向上する新しい手法であるナレッジ・ブーイングを提案する。 その結果,小型モデルと大規模モデルのパフォーマンスギャップが大きくなり,低レイテンシアプリケーションにおける大規模モデルコラボレーションに有望な方法が示された。
  論文  参考訳（メタデータ） (2024-07-09T22:04:23Z)
• Combining Cloud and Mobile Computing for Machine Learning [2.595189746033637]
  モデルセグメンテーションはユーザエクスペリエンスを改善するためのソリューションだと考えている。 この部門は、ユーザの待ち時間を短縮するだけでなく、クラウドのワークロードを最適化するための微調整も可能であることを示しています。
  論文  参考訳（メタデータ） (2024-01-20T06:14:22Z)
• Mobile-Cloud Inference for Collaborative Intelligence [3.04585143845864]
  ディープラーニングモデル推論の高速化と省エネの必要性が高まっている。 歴史的に、モバイルデバイス上で実行されるモデルは、クラウド上でしか実行できない大規模な最先端の研究モデルと比較して、小さく、よりシンプルである。 クラウドのみの推論では、ネットワーク帯域幅の消費の増加やレイテンシの向上といった欠点がある。 別のアプローチとして、共有モバイルクラウド推論がある。
  論文  参考訳（メタデータ） (2023-06-24T14:22:53Z)
• Real-Time Image Demoireing on Mobile Devices [59.59997851375429]
  本稿では,モバイルデバイス上でのリアルタイム展開に向けた動的復号化高速化手法(DDA)を提案する。 私たちの刺激は、モアレパターンが画像全体に不均衡に分散されることが、シンプルで普遍的な事実に起因しています。 提案手法は推定時間を劇的に短縮し,モバイルデバイス上でリアルタイムな画像復調を実現する。
  論文  参考訳（メタデータ） (2023-02-04T15:42:42Z)
• PriMask: Cascadable and Collusion-Resilient Data Masking for Mobile Cloud Inference [8.699639153183723]
  モバイルデバイスは、MaskNetと呼ばれる秘密の小さなニューラルネットワークを使って、送信前にデータを隠蔽する。 PriMaskは、データを復元したり、特定のプライベート属性を抽出するクラウドの能力を著しく低下させる。 多様なモダリティと複雑さを持つ3つのモバイルセンシングアプリケーションにPriMaskを適用する。
  論文  参考訳（メタデータ） (2022-11-12T17:54:13Z)
• Over-the-Air Federated Learning with Privacy Protection via Correlated Additive Perturbations [57.20885629270732]
  我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。 従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。 本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
  論文  参考訳（メタデータ） (2022-10-05T13:13:35Z)
• On-Device Training Under 256KB Memory [62.95579393237751]
  本稿では,256KBのメモリでデバイス上でのトレーニングを可能にするアルゴリズム・システム協調設計フレームワークを提案する。 私たちのフレームワークは256KBと1MBのFlashで畳み込みニューラルネットワークのデバイス上での小さなトレーニングを可能にする最初のソリューションです。
  論文  参考訳（メタデータ） (2022-06-30T17:59:08Z)
• THE-X: Privacy-Preserving Transformer Inference with Homomorphic Encryption [112.02441503951297]
  トランスフォーマーモデルのプライバシ保護推論は、クラウドサービスユーザの要求に基づいています。 我々は、事前訓練されたモデルのプライバシ保存推論を可能にするトランスフォーマーの近似アプローチである$textitTHE-X$を紹介した。
  論文  参考訳（メタデータ） (2022-06-01T03:49:18Z)
• Auto-Split: A General Framework of Collaborative Edge-Cloud AI [49.750972428032355]
  本稿では,Huawei Cloudのエッジクラウド共同プロトタイプであるAuto-Splitの技法と技術実践について述べる。 私たちの知る限りでは、Deep Neural Network(DNN)分割機能を提供する既存の産業製品はありません。
  論文  参考訳（メタデータ） (2021-08-30T08:03:29Z)
• Runtime Deep Model Multiplexing for Reduced Latency and Energy Consumption Inference [6.896677899938492]
  本稿では、最小の計算資源を消費するモデルを呼び出す軽量なニューラルマルチプレクサを設計する学習アルゴリズムを提案する。 モバイルデバイスは、提案されたアルゴリズムを使用して、簡単な入力をローカルに推論しながら、ハード入力をクラウドにオフロードすることができる。
  論文  参考訳（メタデータ） (2020-01-14T23:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。