Fugu-MT 論文翻訳(概要): Importance-Aware Feature Sparsification for Wireless Split Learning

論文の概要: Importance-Aware Feature Sparsification for Wireless Split Learning

arxiv url: http://arxiv.org/abs/2609.39194v1
Date: Wed, 30 Sep 2026 07:46:35 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-01 18:57:27.401625
Title: Importance-Aware Feature Sparsification for Wireless Split Learning
Title（参考訳）: ワイヤレススプリット学習における重要度を考慮した特徴空間分割
Abstract要約: 無線分割学習(SL)は、上位層をサーバにオフロードすることでデバイス上の計算を減らす。既存のメソッドは、サイズ、統計、クラスタリングといったタスクに依存しない基準を使用して、クライアント側で機能を選択する。サーバがGrad-CAMベースのスコアを用いて特徴チャネルをランク付けする軽量なアプローチとして,重要度の高いクラスバランススペーシフィケーション(ICS)を提案する。
参考スコア（独自算出の注目度）: 11.081362968373378
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Wireless split learning (SL) reduces on-device computation by offloading upper layers to a server, yet transmitting high-dimensional intermediate features at each iteration remains a major communication bottleneck. Existing methods select features at the client side using task-agnostic criteria such as magnitude, statistics, or clustering, which increases client-side processing and often degrades accuracy under non-independent and identically distributed (non-i.i.d.) client data. We propose importance-aware class-balanced sparsification (ICS), a lightweight approach in which the server ranks feature channels using Grad-CAM-based scores obtained from the true-class logit during backpropagation. The per-class scores are aggregated into a class-balanced, label-agnostic importance vector that mitigates head-class bias under label skew, and each client reuses this vector in the next round to retain the top-$N$ feature channels, incurring no additional client-side forward or backward passes. We further derive a non-asymptotic convergence bound that isolates the sparsification-induced error and characterizes how the sparsification ratio and mini-batch size jointly affect convergence under a fixed communication budget, and we analyze the communication and computational overhead of ICS against representative baselines. Beyond sequential CNN-based SL, we extend ICS to parallel split learning and to transformer-based models. Experiments show that ICS consistently outperforms the baselines, with larger gains under severe non-i.i.d. partitions.
Abstract（参考訳）: 無線分割学習(SL)は上層をサーバにオフロードすることでデバイス上の計算を減らしますが、各イテレーションで高次元の中間機能を伝達することは大きな通信ボトルネックのままです。既存のメソッドは、サイズ、統計、クラスタリングなどのタスクに依存しない基準を使用してクライアント側で機能を選択する。本稿では,サーバがバックプロパゲーション中に真のクラスロジットから得られるGrad-CAMベースのスコアを用いて特徴チャネルをランク付けする軽量なアプローチである,重要対応型クラスバランススペーシフィケーション(ICS)を提案する。クラスごとのスコアは、ラベルスキューの下でヘッドクラスのバイアスを緩和するクラスバランスのラベルに依存しない重要ベクトルに集約され、各クライアントは次のラウンドでこのベクターを再利用して、上位$N$の機能チャネルを保持し、追加のクライアント側フォワードまたはバックワードパスを発生させない。さらに、スカラー化による誤差を分離する非漸近収束境界を導出し、固定された通信予算下でのスカラー化比とミニバッチサイズがコンバージェンスにどのように影響するかを特徴付けるとともに、ICSの通信および計算オーバーヘッドを代表ベースラインに対して解析する。逐次CNNベースのSLを超えて、ICSを並列分割学習やトランスフォーマーベースモデルに拡張する。実験の結果、ICSは厳密な非I.d.パーティションの下で、ベースラインを一貫して上回っていることがわかった。

関連論文リスト

FedEMA-Distill: Exponential Moving Average Guided Knowledge Distillation for Robust Federated Learning [1.1393603788068776]
フェデレーテッド・ラーニング(FL)は、クライアントが不均一な非独立性(non-Independent)およびIdentically Distributed(non-IID)データを保持すると、しばしば劣化する。本稿では,グローバルモデルの指数移動平均(EMA)とクライアント負荷予測ロジットからのアンサンブル知識蒸留を組み合わせたサーバサイドプロシージャであるFedEMA-Distillを提案する。
論文参考訳（メタデータ） (2026-02-15T01:40:45Z)
CycleSL: Server-Client Cyclical Update Driven Scalable Split Learning [60.59553507555341]
本稿では,新たなアグリゲーションフリーな分割学習フレームワークであるCycleSLを紹介する。ブロック座標降下の交互化によって着想を得たCycleSLは、サーバサイドトレーニングを独立した高レベルの機械学習タスクとして扱う。実験結果から,CycleSLのモデル性能向上効果が示唆された。
論文参考訳（メタデータ） (2025-11-23T21:00:21Z)
Asynchronous Federated Stochastic Optimization for Heterogeneous Objectives Under Arbitrary Delays [1.9766522384767224]
underlineAsynchunderlineRonous underlineExact underlineAveraging (textscAREA) textscAREAは勾配推定よりもモデル残差を通信し、勾配反転への露出を減らす。最初は、最低または最大ではなく、平均的なクライアント更新頻度でスケールするレートを取得しました。
論文参考訳（メタデータ） (2024-05-16T14:22:49Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Communication and Storage Efficient Federated Split Learning [19.369076939064904]
Federated Split LearningはFLの並列モデルトレーニング原則を保存する。サーバはクライアントごとに別々のモデルをメンテナンスしなければなりません。本稿では,コミュニケーションと記憶の効率的なフェデレーションと分割学習戦略を提案する。
論文参考訳（メタデータ） (2023-02-11T04:44:29Z)
Fed-CBS: A Heterogeneity-Aware Client Sampling Mechanism for Federated Learning via Class-Imbalance Reduction [76.26710990597498]
本研究では,ランダムに選択したクライアントからのグループデータのクラス不均衡が,性能の大幅な低下につながることを示す。我々のキーとなる観測に基づいて、我々は効率的なクライアントサンプリング機構、すなわちフェデレートクラスバランスサンプリング(Fed-CBS)を設計する。特に、クラス不均衡の尺度を提案し、その後、同型暗号化を用いてプライバシー保護方式でこの尺度を導出する。
論文参考訳（メタデータ） (2022-09-30T05:42:56Z)
Optimizing the Communication-Accuracy Trade-off in Federated Learning with Rate-Distortion Theory [1.5771347525430772]
連合学習における重要なボトルネックは、クライアントデバイスから中央サーバにモデル更新を送信する際のネットワーク通信コストである。本手法は,その経験的分布を考慮し,量子化された更新を適切な普遍コードで符号化する。量子化は誤差をもたらすので、平均的な全勾配と歪みにおける所望のトレードオフを最適化することで量子化レベルを選択する。
論文参考訳（メタデータ） (2022-01-07T20:17:33Z)
Multi-Armed Bandit Based Client Scheduling for Federated Learning [91.91224642616882]
統合学習(FL)は、通信オーバーヘッドの低減やデータのプライバシの保護など、ユビキタスな特性を特徴とする。 FLの各通信ラウンドでは、クライアントは自身のデータに基づいてローカルモデルを更新し、無線チャネル経由でローカル更新をアップロードする。本研究は、無線チャネルの状態情報やクライアントの統計的特性を知ることなく、FLにおけるオンラインクライアントスケジューリング(CS)のためのマルチアームバンディットベースのフレームワークを提供する。
論文参考訳（メタデータ） (2020-07-05T12:32:32Z)
Byzantine-Resilient High-Dimensional Federated Learning [10.965065178451104]
我々は、悪意のある/ビザンツ人クライアントの存在下で、局所的な反復を伴う勾配CV降下(SGD)を採用する。クライアントは独自の勾配ベクトルのサブセットを取得してイテレーションを更新し、その後、ネットと通信する。我々のアルゴリズムは、ローカルデータセットを用いた最初のビザンチン耐性アルゴリズムと分析であると信じている。
論文参考訳（メタデータ） (2020-06-22T03:54:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。