論文の概要: Deploying Large AI Models on Resource-Limited Devices with Split Federated Learning

• arxiv url: http://arxiv.org/abs/2504.09114v1
• Date: Sat, 12 Apr 2025 07:55:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:50:38.430070
• Title: Deploying Large AI Models on Resource-Limited Devices with Split Federated Learning
• Title（参考訳）: 分割フェデレーション学習によるリソース制限デバイスへの大規模AIモデル展開
• Authors: Xianke Qiang, Hongda Liu, Xinran Zhang, Zheng Chang, Ying-Chang Liang,
• Abstract要約: 本稿では、SFLAM(Quantized Split Federated Fine-Tuning Large AI Model)と呼ばれる新しいフレームワークを提案する。 エッジデバイスとサーバ間のトレーニング負荷を分割することで、SFLAMはデバイス上の大規模なモデルの操作を容易にすることができる。 SFLAMは、トレーニング効率を高めるために、量子化管理、電力制御、帯域幅割り当て戦略を取り入れている。
• 参考スコア（独自算出の注目度）: 39.73152182572741
• License:
• Abstract: Large Artificial Intelligence Models (LAMs) powered by massive datasets, extensive parameter scales, and extensive computational resources, leading to significant transformations across various industries. Yet, their practical deployment on resource-limited mobile edge devices is hindered by critical challenges such as data privacy, constrained resources, and high overhead costs. Addressing this gap, this paper proposes a novel framework, named Quantized Split Federated Fine-Tuning Large AI Model (SFLAM). By partitioning the training load between edge devices and servers using a split learning paradigm, SFLAM can facilitate the operation of large models on devices and significantly lowers the memory requirements on edge devices. Additionally, SFLAM incorporates quantization management, power control, and bandwidth allocation strategies to enhance training efficiency while concurrently reducing energy consumption and communication latency. A theoretical analysis exploring the latency-energy trade-off is presented, and the framework's efficacy is validated via comprehensive simulations. The findings indicate that SFLAM achieves superior performance in terms of learning efficiency and scalability compared to conventional methods, thereby providing a valuable approach for enabling advanced AI services in resource-constrained scenarios.
• Abstract（参考訳）: 大規模人工知能モデル(LAM)は、膨大なデータセット、広範囲のパラメータスケール、広範な計算資源を動力とし、様々な産業で大きな変革をもたらしている。 しかし、リソース制限されたモバイルエッジデバイスへの実践的なデプロイは、データプライバシや制約されたリソース、高いオーバーヘッドコストといった重要な課題によって妨げられている。 本稿では,このギャップに対処する新しいフレームワーク,Quantized Split Federated Fine-Tuning Large AI Model (SFLAM)を提案する。 分割学習パラダイムを使用して、エッジデバイスとサーバ間のトレーニング負荷を分割することにより、SFLAMはデバイス上の大規模モデルの操作を容易にし、エッジデバイスのメモリ要求を大幅に低減することができる。 さらに、SFLAMは、量子化管理、電力制御、帯域幅割り当て戦略を導入し、エネルギー消費と通信遅延を同時に低減しつつ、トレーニング効率を向上させる。 遅延-エネルギートレードオフを探索する理論的解析を行い、そのフレームワークの有効性を総合シミュレーションにより検証する。 その結果,SFLAMは従来の手法に比べて学習効率とスケーラビリティにおいて優れた性能を示し,資源制約のあるシナリオにおいて高度なAIサービスを実現するための貴重なアプローチを提供する。

関連論文リスト

• DSMoE: Matrix-Partitioned Experts with Dynamic Routing for Computation-Efficient Dense LLMs [70.91804882618243]
  本稿では,事前学習したFFN層を計算ブロックに分割することで,分散化を実現するDSMoEを提案する。 我々は,Sigmoid アクティベーションとストレートスルー推定器を用いた適応型エキスパートルーティングを実装し,トークンがモデル知識の様々な側面に柔軟にアクセスできるようにする。 LLaMAモデルを用いた実験により、DSMoEは既存のプルーニング法やMoE法に比べて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-02-18T02:37:26Z)
• On Accelerating Edge AI: Optimizing Resource-Constrained Environments [1.7355861031903428]
  リソース制約のあるエッジデプロイメントでは、厳格な計算、メモリ、エネルギー制限とハイパフォーマンスのバランスをとるAIソリューションが要求される。 本稿では,このような制約下でのディープラーニングモデルを加速するための主要な戦略について概観する。
  論文  参考訳（メタデータ） (2025-01-25T01:37:03Z)
• eFedLLM: Efficient LLM Inference Based on Federated Learning [1.6179784294541053]
  大言語モデル(LLMs)は人工知能(AI)の転換期を告げる 本稿では, LLM推論の運用効率と費用対効果を高める効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-11-24T22:50:02Z)
• Fine-Tuning and Deploying Large Language Models Over Edges: Issues and Approaches [64.42735183056062]
  大規模言語モデル(LLM)は、特殊モデルから多目的基礎モデルへと移行してきた。 LLMは印象的なゼロショット能力を示すが、ローカルデータセットとデプロイメントのための重要なリソースを微調整する必要がある。
  論文  参考訳（メタデータ） (2024-08-20T09:42:17Z)
• Efficient Heterogeneous Large Language Model Decoding with Model-Attention Disaggregation [15.35494431928751]
  トランスフォーマーベースの大規模言語モデル(LLM)は、生成タスクにおいて顕著なパフォーマンスを示すと同時に、現実のサービスにおいて大きな課題をもたらす。 LLMデコーディングの効率を高めるために,モデルアテンションデアグリゲーションを導入する。 分散ヘテロジニアスクラスタにモデルアテンションデアグリゲーションを組み込んだLLM推論システムであるLaminaを開発し,展開する。
  論文  参考訳（メタデータ） (2024-05-03T02:15:15Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• Boosting Inference Efficiency: Unleashing the Power of Parameter-Shared Pre-trained Language Models [109.06052781040916]
  本稿ではパラメータ共有言語モデルの推論効率を向上させる手法を提案する。 また、完全あるいは部分的に共有されたモデルにつながる単純な事前学習手法を提案する。 その結果,本手法が自己回帰的および自己符号化的PLMに与える影響が示された。
  論文  参考訳（メタデータ） (2023-10-19T15:13:58Z)
• Towards Scalable Wireless Federated Learning: Challenges and Solutions [40.68297639420033]
  効果的な分散機械学習フレームワークとして、フェデレートラーニング(FL)が登場します。 本稿では,ネットワーク設計と資源オーケストレーションの両面から,スケーラブルな無線FLを実現する上での課題と解決策について論じる。
  論文  参考訳（メタデータ） (2023-10-08T08:55:03Z)
• REFT: Resource-Efficient Federated Training Framework for Heterogeneous and Resource-Constrained Environments [2.117841684082203]
  分散システムでは、フェデレートラーニング(FL)が重要な役割を果たす。 FLは、機械学習のプライバシ強化サブドメインとして出現する。 我々は「不均一・資源制約環境のための資源効率の良いフェデレーション・トレーニング・フレームワーク」を提案する。
  論文  参考訳（メタデータ） (2023-08-25T20:33:30Z)
• Computational Intelligence and Deep Learning for Next-Generation Edge-Enabled Industrial IoT [51.68933585002123]
  エッジ対応産業用IoTネットワークにおける計算知能とディープラーニング(DL)の展開方法について検討する。 本稿では,新しいマルチエグジットベースフェデレーションエッジ学習(ME-FEEL)フレームワークを提案する。 特に、提案されたME-FEELは、非常に限られたリソースを持つ産業用IoTネットワークにおいて、最大32.7%の精度を達成することができる。
  論文  参考訳（メタデータ） (2021-10-28T08:14:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。