論文の概要: Hybrid SD: Edge-Cloud Collaborative Inference for Stable Diffusion Models

• arxiv url: http://arxiv.org/abs/2408.06646v2
• Date: Wed, 30 Oct 2024 03:41:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 11:26:46.575066
• Title: Hybrid SD: Edge-Cloud Collaborative Inference for Stable Diffusion Models
• Title（参考訳）: ハイブリッドSD:安定拡散モデルのためのエッジクラウド協調推論
• Authors: Chenqian Yan, Songwei Liu, Hongjian Liu, Xurui Peng, Xiaojian Wang, Fangmin Chen, Lean Fu, Xing Mei,
• Abstract要約: エッジクラウド協調推論のためのトレーニング不要なSDM推論フレームワークであるHybrid SDを紹介する。 画像品質の競争力のあるエッジデバイス上で, 最先端パラメータ効率(225.8M)が得られることを示す。 ハイブリッドSDは、エッジクラウドのコラボレーティブ推論により、クラウドコストを66%削減する。
• 参考スコア（独自算出の注目度）: 6.015486729281141
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stable Diffusion Models (SDMs) have shown remarkable proficiency in image synthesis. However, their broad application is impeded by their large model sizes and intensive computational requirements, which typically require expensive cloud servers for deployment. On the flip side, while there are many compact models tailored for edge devices that can reduce these demands, they often compromise on semantic integrity and visual quality when compared to full-sized SDMs. To bridge this gap, we introduce Hybrid SD, an innovative, training-free SDMs inference framework designed for edge-cloud collaborative inference. Hybrid SD distributes the early steps of the diffusion process to the large models deployed on cloud servers, enhancing semantic planning. Furthermore, small efficient models deployed on edge devices can be integrated for refining visual details in the later stages. Acknowledging the diversity of edge devices with differing computational and storage capacities, we employ structural pruning to the SDMs U-Net and train a lightweight VAE. Empirical evaluations demonstrate that our compressed models achieve state-of-the-art parameter efficiency (225.8M) on edge devices with competitive image quality. Additionally, Hybrid SD reduces the cloud cost by 66% with edge-cloud collaborative inference.
• Abstract（参考訳）: 安定拡散モデル (SDM) は画像合成において顕著な熟練性を示した。 しかしながら、その広範なアプリケーションには、大規模なモデルサイズと集中的な計算要求があり、通常はデプロイに高価なクラウドサーバを必要とする。 一方、エッジデバイスに適したコンパクトなモデルが多く、これらの要求を削減できるが、フルサイズのSDMと比較して意味的整合性と視覚的品質に妥協することが多い。 このギャップを埋めるために,エッジクラウド協調推論用に設計された,革新的なトレーニング不要なSDM推論フレームワークであるHybrid SDを導入する。 ハイブリッドSDは、拡散プロセスの初期段階をクラウドサーバにデプロイされた大規模モデルに分散し、セマンティックプランニングを強化する。 さらに、エッジデバイスにデプロイされる小さな効率的なモデルは、後段の視覚的詳細を精査するために統合することができる。 計算能力と記憶能力の異なるエッジデバイスの多様性を認め,SDMのU-Netに構造的プルーニングを採用し,軽量なVAEを訓練する。 画像品質の競争力のあるエッジデバイス上で, 圧縮されたモデルにより, 最先端パラメータ効率(225.8M)が得られることを示す実験的検討を行った。 さらに、ハイブリッドSDは、エッジクラウドのコラボレーティブ推論により、クラウドコストを66%削減する。

関連論文リスト

• Dual-Model Distillation for Efficient Action Classification with Hybrid Edge-Cloud Solution [1.8029479474051309]
  我々は、より大規模で正確なクラウドベースモデルに必要に応じて遅延しながら、より小さなモデルのローカル処理効率を活用するハイブリッドエッジクラウドソリューションを設計する。 具体的には、エッジモデルの出力が不確かである場合に予測可能な軽量スイッチャーモデルをトレーニングするための、新しい教師なしデータ生成手法であるDual-Model Distillation(DMD)を提案する。 動作分類タスクの実験結果から,我々のフレームワークは計算オーバーヘッドを少なくするだけでなく,大規模モデルのみを使用する場合と比較して精度も向上することが示された。
  論文  参考訳（メタデータ） (2024-10-16T02:06:27Z)
• Fine-Tuning and Deploying Large Language Models Over Edges: Issues and Approaches [64.42735183056062]
  大規模言語モデル(LLM)は、特殊モデルから多目的基礎モデルへと移行してきた。 LLMは印象的なゼロショット能力を示すが、ローカルデータセットとデプロイメントのための重要なリソースを微調整する必要がある。
  論文  参考訳（メタデータ） (2024-08-20T09:42:17Z)
• IDF-CR: Iterative Diffusion Process for Divide-and-Conquer Cloud Removal in Remote-sensing Images [55.40601468843028]
  雲除去のための反復拡散過程(IDF-CR)を提案する。 IDF-CRは、ピクセル空間と潜在空間に対処する2段階のモデルに分けられる。 潜時空間の段階では、拡散モデルは低品質の雲の除去を高品質のクリーンな出力に変換する。
  論文  参考訳（メタデータ） (2024-03-18T15:23:48Z)
• Towards Robust and Efficient Cloud-Edge Elastic Model Adaptation via Selective Entropy Distillation [56.79064699832383]
  Cloud-Edge Elastic Model Adaptation (CEMA)パラダイムを確立し、エッジモデルが前方伝播のみを実行するようにします。 CEMAでは,通信負担を軽減するため,不要なサンプルをクラウドにアップロードすることを避けるための2つの基準を考案した。
  論文  参考訳（メタデータ） (2024-02-27T08:47:19Z)
• Cloud-Device Collaborative Learning for Multimodal Large Language Models [24.65882336700547]
  本稿では,クラウド・デバイス協調型継続的適応フレームワークを導入し,デバイス分割型MLLMの性能向上を図る。 当社のフレームワークは,効率的なデータ伝送のためのデバイス間アップリンク,クラウドベースの知識適応,モデルデプロイメントのための最適化されたクラウド間ダウンリンクという,3つの重要なコンポーネントで構成されています。
  論文  参考訳（メタデータ） (2023-12-26T18:46:14Z)
• ECLM: Efficient Edge-Cloud Collaborative Learning with Continuous Environment Adaptation [47.35179593006409]
  動的エッジ環境に対する高速モデル適応のためのエッジクラウド協調学習フレームワークECLMを提案する。 その結果,ECLM はモデルの性能(例えば 18.89% の精度向上)と資源効率(例えば 7.12 倍の通信コスト削減)を,動的エッジ環境への適応において著しく向上させることを示した。
  論文  参考訳（メタデータ） (2023-11-18T14:10:09Z)
• Auto-Split: A General Framework of Collaborative Edge-Cloud AI [49.750972428032355]
  本稿では,Huawei Cloudのエッジクラウド共同プロトタイプであるAuto-Splitの技法と技術実践について述べる。 私たちの知る限りでは、Deep Neural Network(DNN)分割機能を提供する既存の産業製品はありません。
  論文  参考訳（メタデータ） (2021-08-30T08:03:29Z)
• Cocktail: Leveraging Ensemble Learning for Optimized Model Serving in Public Cloud [9.149566952446058]
  コスト効率の良いアンサンブル型モデル提供フレームワークであるCocktailを提案する。 AWS EC2プラットフォームであるCocktailonのプロトタイプ実装と、さまざまなワークロードを使用した徹底的な評価オプションにより、Cocktailcanがデプロイメントコストを1.45倍削減できることが示されている。
  論文  参考訳（メタデータ） (2021-06-09T19:23:58Z)
• Device-Cloud Collaborative Learning for Recommendation [50.01289274123047]
  集中型クラウドモデルにより「数千人のモデルを持つ何千人もの人」を効率的に実現する新しいMetaPatch学習手法をデバイス側で提案します。 数十億の更新されたパーソナライズされたデバイスモデルにより、集中型クラウドモデルを更新する"モデルオーバーモデル"蒸留アルゴリズム、すなわちMoMoDistillを提案する。
  論文  参考訳（メタデータ） (2021-04-14T05:06:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。