論文の概要: Exploiting Label-Aware Channel Scoring for Adaptive Channel Pruning in Split Learning
- arxiv url: http://arxiv.org/abs/2603.09792v1
- Date: Tue, 10 Mar 2026 15:25:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-11 15:25:24.424909
- Title: Exploiting Label-Aware Channel Scoring for Adaptive Channel Pruning in Split Learning
- Title(参考訳): スプリット学習における適応型チャネルプルーニングのためのラベル認識チャネルスコーリング
- Authors: Jialei Tan, Zheng Lin, Xiangming Cai, Ruoxi Zhu, Zihan Fang, Pingping Chen, Wei Ni,
- Abstract要約: Split Learning (SL) はトレーニングワークロードの大部分をサーバに転送する。
これは、多数のクライアントデバイスが関与している場合、かなりの通信オーバーヘッドを引き起こす。
本稿では適応型チャネルプルーニング支援SL(ACP-SL)方式を提案する。
- 参考スコア(独自算出の注目度): 30.881311483100575
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Split learning (SL) transfers most of the training workload to the server, which alleviates computational burden on client devices. However, the transmission of intermediate feature representations, referred to as smashed data, incurs significant communication overhead, particularly when a large number of client devices are involved. To address this challenge, we propose an adaptive channel pruning-aided SL (ACP-SL) scheme. In ACP-SL, a label-aware channel importance scoring (LCIS) module is designed to generate channel importance scores, distinguishing important channels from less important ones. Based on these scores, an adaptive channel pruning (ACP) module is developed to prune less important channels, thereby compressing the corresponding smashed data and reducing the communication overhead. Experimental results show that ACP-SL consistently outperforms benchmark schemes in test accuracy. Furthermore, it reaches a target test accuracy in fewer training rounds, thereby reducing communication overhead.
- Abstract(参考訳): スプリットラーニング(SL)は、トレーニングワークロードの大部分をサーバに転送し、クライアントデバイスでの計算負担を軽減する。
しかし、スマッシュデータと呼ばれる中間的特徴表現の送信は、特に多数のクライアントデバイスが関与している場合、大きな通信オーバーヘッドを引き起こす。
この課題に対処するために,適応型チャネルプルーニング支援SL(ACP-SL)方式を提案する。
ACP-SLでは、ラベル対応チャンネル重要度スコアリング(LCIS)モジュールがチャンネル重要度スコアを生成し、重要度が低いチャンネルと区別するように設計されている。
これらのスコアに基づいて、適応チャネルプルーニング(ACP)モジュールが開発され、より重要でないチャネルをプルークし、対応するスマッシュデータを圧縮し、通信オーバーヘッドを低減する。
実験結果から, ACP-SLは試験精度でベンチマークスキームを一貫して上回っていることがわかった。
さらに、より少ない訓練ラウンドで目標テスト精度に達することにより、通信オーバーヘッドを低減できる。
関連論文リスト
- Channel-Aware Probing for Multi-Channel Imaging [9.507520646516719]
マルチチャネルイメージング(MCI)データを用いたビジョンエンコーダの訓練と評価は依然として困難である。
ChannelAware Probing (CAP)は、エンコーダとプローブの両方で特徴フローを制御することによって、固有のチャネル間多様性を利用する。
論文 参考訳(メタデータ) (2026-02-13T08:03:27Z) - SL-ACC: A Communication-Efficient Split Learning Framework with Adaptive Channel-wise Compression [25.47831071744755]
Split Learning(SL)は、エッジデバイスからサーバへの一次コンピューティング負荷をオフロードすることで、有望なソリューションを提供する。
参加する装置の数が増えるにつれて、過度にスマッシュされたデータの送信がSLの大きなボトルネックとなる。
本稿では,2つの鍵成分からなる通信効率の高いSLフレームワークSL-ACCを提案する。
論文 参考訳(メタデータ) (2025-08-18T15:02:10Z) - SignSGD with Federated Voting [69.06621279967865]
SignSGD with majority voting (signSGD-MV) は1ビット量子化により通信コストを大幅に削減できる効果的な分散学習アルゴリズムである。
我々は、テキストフェデレート投票(signSGD-FV)を用いた新しいサインSGDを提案する。
連合投票の考え方は、学習可能な重量を利用して多数決を行うことである。
提案手法は, エッジデバイスが不均一なミニバッチサイズを使用する場合でも, 理論的収束を保証する。
論文 参考訳(メタデータ) (2024-03-25T02:32:43Z) - Communication and Storage Efficient Federated Split Learning [19.369076939064904]
Federated Split LearningはFLの並列モデルトレーニング原則を保存する。
サーバはクライアントごとに別々のモデルをメンテナンスしなければなりません。
本稿では,コミュニケーションと記憶の効率的なフェデレーションと分割学習戦略を提案する。
論文 参考訳(メタデータ) (2023-02-11T04:44:29Z) - Age of Information in Deep Learning-Driven Task-Oriented Communications [78.84264189471936]
本稿では,その送信機におけるデータを利用した受信機におけるタスク実行を目的とした,タスク指向コミュニケーションにおける年齢概念について検討する。
送信機-受信機操作は、共同で訓練されたディープニューラルネットワーク(DNN)のエンコーダ-デコーダペアとしてモデル化される。
論文 参考訳(メタデータ) (2023-01-11T04:15:51Z) - Match to Win: Analysing Sequences Lengths for Efficient Self-supervised
Learning in Speech and Audio [19.865050806327147]
自己教師型学習は、音声および音声関連アプリケーションにおいて不可欠であることが証明されている。
本稿では、特定配列長の異なるSSL事前トレーニングに関する最初の実証的研究について述べる。
ショートシーケンスでのトレーニングは、すべてのタスクで満足なパフォーマンスを維持しながら、リソースコストを劇的に削減できることがわかった。
論文 参考訳(メタデータ) (2022-09-30T16:35:42Z) - Disentangled Representation Learning for RF Fingerprint Extraction under
Unknown Channel Statistics [77.13542705329328]
本稿では,まず,不整合表現学習(DRL)の枠組みを提案し,入力信号を逆学習によりデバイス関連成分とデバイス関連成分に分解する。
提案フレームワークにおける暗黙的なデータ拡張は、デバイス非関連チャネル統計の過度な適合を避けるために、RFF抽出器に正規化を課す。
実験により、DR-RFFと呼ばれる提案手法は、未知の複雑な伝播環境に対する一般化可能性の観点から従来の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2022-08-04T15:46:48Z) - You Only Need End-to-End Training for Long-Tailed Recognition [8.789819609485225]
クロスエントロピー損失は、不均衡なデータに非常に相関した特徴をもたらす傾向にある。
ブロックベース相対平衡バッチサンプリング(B3RS)とバッチ埋め込みトレーニング(BET)の2つの新しいモジュールを提案する。
CIFAR-LT と ImageNet-LT の長期分類ベンチマークによる実験結果から,本手法の有効性が示された。
論文 参考訳(メタデータ) (2021-12-11T11:44:09Z) - CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。
CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。
CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
論文 参考訳(メタデータ) (2021-10-21T06:26:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。