論文の概要: Hetero-SplitEE: Split Learning of Neural Networks with Early Exits for Heterogeneous IoT Devices

• arxiv url: http://arxiv.org/abs/2512.09313v1
• Date: Wed, 10 Dec 2025 04:58:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-11 15:14:53.394322
• Title: Hetero-SplitEE: Split Learning of Neural Networks with Early Exits for Heterogeneous IoT Devices
• Title（参考訳）: Hetero-SplitEE: 異種IoTデバイスの初期出力を持つニューラルネットワークの分割学習
• Authors: Yuki Oda, Yuta Ono, Hiroshi Nakamura, Hideki Takase,
• Abstract要約: Hetero-SplitEEは、異種IoTデバイスが共通のディープニューラルネットワークを並列にトレーニングすることを可能にする新しい方法である。 ヘテロジニアス早期出口を階層的訓練に組み込むことで、各クライアントは計算能力に合わせて異なる分割点を選択できる。 さらに,2つの協調学習戦略,シークエンシャル・ストラテジーと平均的ストラテジーを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The continuous scaling of deep neural networks has fundamentally transformed machine learning, with larger models demonstrating improved performance across diverse tasks. This growth in model size has dramatically increased the computational resources required for the training process. Consequently, distributed approaches, such as Federated Learning and Split Learning, have become essential paradigms for scalable deployment. However, existing Split Learning approaches assume client homogeneity and uniform split points across all participants. This critically limits their applicability to real-world IoT systems where devices exhibit heterogeneity in computational resources. To address this limitation, this paper proposes Hetero-SplitEE, a novel method that enables heterogeneous IoT devices to train a shared deep neural network in parallel collaboratively. By integrating heterogeneous early exits into hierarchical training, our approach allows each client to select distinct split points (cut layers) tailored to its computational capacity. In addition, we propose two cooperative training strategies, the Sequential strategy and the Averaging strategy, to facilitate this collaboration among clients with different split points. The Sequential strategy trains clients sequentially with a shared server model to reduce computational overhead. The Averaging strategy enables parallel client training with periodic cross-layer aggregation. Extensive experiments on CIFAR-10, CIFAR-100, and STL-10 datasets using ResNet-18 demonstrate that our method maintains competitive accuracy while efficiently supporting diverse computational constraints, enabling practical deployment of collaborative deep learning in heterogeneous IoT ecosystems.
• Abstract（参考訳）: ディープニューラルネットワークの継続的スケーリングは、機械学習を根本的に変えた。 このモデルサイズの増加は、トレーニングプロセスに必要な計算資源を劇的に増加させた。 その結果、フェデレートラーニングやスプリットラーニングといった分散アプローチは、スケーラブルなデプロイメントに不可欠なパラダイムになっています。 しかし、既存のSplit Learningアプローチでは、クライアントの均一性とすべての参加者の均一なスプリットポイントを前提としている。 これにより、デバイスが計算リソースに不均一性を示す現実世界のIoTシステムへの適用性が極めて制限される。 この制限に対処するために、異種IoTデバイスが協調的に共有されたディープニューラルネットワークをトレーニングできる新しい方法であるHetero-SplitEEを提案する。 ヘテロジニアス早期出口を階層的な訓練に組み込むことで、各クライアントは計算能力に合わせて異なる分割点(カット層)を選択できる。 さらに,2つの協調学習戦略,シークエンシャル・ストラテジーと平均的ストラテジーを提案する。 シークエンシャル戦略は、計算オーバーヘッドを減らすために、クライアントに共有サーバモデルでシーケンシャルにトレーニングする。 平均化戦略は、周期的なクロス層アグリゲーションによる並列クライアントトレーニングを可能にする。 ResNet-18を用いたCIFAR-10, CIFAR-100, STL-10データセットの大規模な実験により, 多様な計算制約を効率的にサポートし, 競争精度を向上し, 異種IoTエコシステムにおける協調的深層学習の実践的展開を可能にした。

関連論文リスト

• CollaPipe: Adaptive Segment-Optimized Pipeline Parallelism for Collaborative LLM Training in Heterogeneous Edge Networks [57.95170323315603]
  CollaPipeは、コラボレーティブパイプライン並列性とフェデレーションアグリゲーションを統合し、自己進化型ネットワークをサポートする分散学習フレームワークである。 CollaPipeでは、エンコーダ部分は可変サイズのセグメントに適応的に分割され、パイプライン並列トレーニングのためにモバイルデバイスにデプロイされ、デコーダは生成タスクを処理するためにエッジサーバにデプロイされる。 トレーニング効率を向上させるために,モデルセグメント,マイクロバッチ,帯域幅,送信電力を適応的に割り当てる共同最適化問題を定式化する。
  論文  参考訳（メタデータ） (2025-09-24T07:54:01Z)
• FusionLLM: A Decentralized LLM Training System on Geo-distributed GPUs with Adaptive Compression [55.992528247880685]
  分散トレーニングは、システム設計と効率に関する重要な課題に直面します。 大規模深層ニューラルネットワーク(DNN)のトレーニング用に設計・実装された分散トレーニングシステムFusionLLMを提案する。 本システムと手法は,収束性を確保しつつ,ベースライン法と比較して1.45～9.39倍の高速化を実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-16T16:13:19Z)
• An effective and efficient green federated learning method for one-layer neural networks [0.22499166814992436]
  フェデレート・ラーニング(Federated Learning, FL)は、機械学習における最も活発な研究分野の一つである。 本研究では,1回のトレーニングラウンドでグローバルな協調モデルを生成可能な,隠れた層を持たないニューラルネットワークに基づくFL法を提案する。 本手法は同一および非同一の分散シナリオの両方において等しく機能することを示す。
  論文  参考訳（メタデータ） (2023-12-22T08:52:08Z)
• Effectively Heterogeneous Federated Learning: A Pairing and Split Learning Based Approach [16.093068118849246]
  本稿では,クライアントと異なる計算資源をペアリングする,新しい分割フェデレーション学習(SFL)フレームワークを提案する。 グラフエッジ選択問題として,学習遅延の最適化を再構築し,グレディアルゴリズムを提案する。 シミュレーションの結果,提案手法はFLトレーニング速度を大幅に向上し,高い性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2023-08-26T11:10:54Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Sparse Interaction Additive Networks via Feature Interaction Detection and Sparse Selection [10.191597755296163]
  我々は,必要な特徴の組み合わせを効率的に識別する,抽出可能な選択アルゴリズムを開発した。 提案するスパース・インタラクション・アダプティブ・ネットワーク(SIAN)は,単純かつ解釈可能なモデルから完全に接続されたニューラルネットワークへのブリッジを構築する。
  論文  参考訳（メタデータ） (2022-09-19T19:57:17Z)
• Flexible Parallel Learning in Edge Scenarios: Communication, Computational and Energy Cost [20.508003076947848]
  FogとIoTベースのシナリオでは、両方のアプローチを組み合わせる必要があることが多い。 フレキシブル並列学習(FPL)のためのフレームワークを提案し,データとモデル並列性を両立させる。 我々の実験は、最先端のディープネットワークアーキテクチャと大規模データセットを用いて行われ、FPLが計算コスト、通信オーバーヘッド、学習性能に優れたトレードオフを実現することを確認した。
  論文  参考訳（メタデータ） (2022-01-19T03:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。