Fugu-MT 論文翻訳(概要): Decoupled Split Learning via Auxiliary Loss

論文の概要: Decoupled Split Learning via Auxiliary Loss

arxiv url: http://arxiv.org/abs/2601.19261v1
Date: Tue, 27 Jan 2026 06:41:42 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-28 15:26:51.209345
Title: Decoupled Split Learning via Auxiliary Loss
Title（参考訳）: 補助損失による分離分割学習
Authors: Anower Zihad, Felix Owino, Haibo Yang, Ming Tang, Chao Huang,
Abstract要約: Split Learningは、ニューラルネットワークをクライアントとサーバ間で分割する分散トレーニングパラダイムである。従来のスプリットラーニングは、クライアントとサーバのスプリットポイントをまたいだエンドツーエンドのバックプロパゲーションに依存しています。分割学習のための超越的バックプロパゲーション学習法を開発した。
参考スコア（独自算出の注目度）: 11.21293654556267
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Split learning is a distributed training paradigm where a neural network is partitioned between clients and a server, which allows data to remain at the client while only intermediate activations are shared. Traditional split learning relies on end-to-end backpropagation across the client-server split point. This incurs a large communication overhead (i.e., forward activations and backward gradients need to be exchanged every iteration) and significant memory use (for storing activations and gradients). In this paper, we develop a beyond-backpropagation training method for split learning. In this approach, the client and server train their model partitions semi-independently, using local loss signals instead of propagated gradients. In particular, the client's network is augmented with a small auxiliary classifier at the split point to provide a local error signal, while the server trains on the client's transmitted activations using the true loss function. This decoupling removes the need to send backward gradients, which cuts communication costs roughly in half and also reduces memory overhead (as each side only stores local activations for its own backward pass). We evaluate our approach on CIFAR-10 and CIFAR-100. Our experiments show two key results. First, the proposed approach achieves performance on par with standard split learning that uses backpropagation. Second, it significantly reduces communication (of transmitting activations/gradient) by 50% and peak memory usage by up to 58%.
Abstract（参考訳）: Split Learning(スプリットラーニング)は、ニューラルネットワークをクライアントとサーバの間で分割する分散トレーニングパラダイムである。従来のスプリットラーニングは、クライアントとサーバのスプリットポイントをまたいだエンドツーエンドのバックプロパゲーションに依存しています。これにより、大きな通信オーバーヘッド(前方アクティベーションと後方勾配の交換が必要)とメモリ使用量(アクティベーションとグラデーションの保存)が生じる。本稿では,スプリット・ラーニングのためのクロス・バック・プロパゲーション・トレーニング手法を開発する。このアプローチでは、クライアントとサーバは、伝播勾配の代わりに局所的な損失信号を使用して、モデルパーティションを半独立にトレーニングする。特に、クライアントのネットワークはスプリットポイントの小さな補助分類器で拡張され、ローカルエラー信号を提供する一方、サーバは真の損失関数を使用してクライアントの送信されたアクティベーションを訓練する。このデカップリングは、通信コストを約半分に削減し、メモリオーバーヘッドを低減させる(各サイドは、独自の後方パスのためにローカルアクティベーションのみを保持するため)。 CIFAR-10とCIFAR-100について検討した。我々の実験は2つの重要な結果を示している。まず、提案手法は、バックプロパゲーションを用いた標準的な分割学習と同等のパフォーマンスを実現する。第2に、通信(アクティベーション/グラディエント)を50%削減し、ピークメモリ使用量を最大58%削減する。

関連論文リスト

CycleSL: Server-Client Cyclical Update Driven Scalable Split Learning [60.59553507555341]
本稿では,新たなアグリゲーションフリーな分割学習フレームワークであるCycleSLを紹介する。ブロック座標降下の交互化によって着想を得たCycleSLは、サーバサイドトレーニングを独立した高レベルの機械学習タスクとして扱う。実験結果から,CycleSLのモデル性能向上効果が示唆された。
論文参考訳（メタデータ） (2025-11-23T21:00:21Z)
FSL-SAGE: Accelerating Federated Split Learning via Smashed Activation Gradient Estimation [13.034619943612311]
フェデレートラーニング(FL)やスプリットラーニング(SL)のような協調学習手法は、生データを共有せずに分散機械学習を可能にする。補助モデルを用いてサーバ側勾配フィードバックを推定する新しいフェデレーション分割学習アルゴリズムであるFSL-SAGEを提案する。
論文参考訳（メタデータ） (2025-05-29T07:18:59Z)
SafeSplit: A Novel Defense Against Client-Side Backdoor Attacks in Split Learning (Full Version) [53.16528046390881]
Split Learning(SL)は、複数のクライアントとサーバが共同で学習し、共有ディープラーニング(DNN)上で推論できる分散ディープラーニングアプローチである。本稿では,split Learning(SL)におけるクライアント側のバックドア攻撃に対する最初の防御であるSafeSplitについて述べる。クライアントが引き起こした変更を特定し、有毒なモデルを検出するために、2倍の分析を使用する。
論文参考訳（メタデータ） (2025-01-11T22:20:20Z)
SplitFedZip: Learned Compression for Data Transfer Reduction in Split-Federated Learning [5.437298646956505]
SplitFederated(SplitFed)学習は、さまざまなドメインにわたる理想的な学習フレームワークです。 SplitFedZipは、SplitFed学習におけるデータ転送を減らすために学習圧縮を利用する新しい方法である。
論文参考訳（メタデータ） (2024-12-18T19:04:19Z)
Subspace based Federated Unlearning [75.90552823500633]
フェデレート・アンラーニング(FL)は、ユーザが忘れられる権利を満たすために、特定のターゲットクライアントのFLへの貢献を取り除くことを目的としている。既存のフェデレートされた未学習アルゴリズムでは、パラメータの更新履歴をサーバに格納する必要がある。そこで我々は,SFUと呼ばれる,単純なyet効率のサブスペースに基づくフェデレーションアンラーニング手法を提案する。
論文参考訳（メタデータ） (2023-02-24T04:29:44Z)
SplitOut: Out-of-the-Box Training-Hijacking Detection in Split Learning via Outlier Detection [0.0]
分割学習は、ニューラルネットワークを分割して、クライアント(データ保持者)が最初のレイヤを計算し、中間出力を中央の計算量の多いサーバと共有するようにすることで、ディープニューラルネットワークの効率的でプライバシーに配慮したトレーニングを可能にする。サーバはすでにクライアントのプライベートデータを推測し、クライアントモデルにバックドアを実装するために利用されています。そこで本研究では,クライアントの計算能力に関する微妙な仮定を前提として,ほぼゼロの偽陽性率で既存のトレーニング・ハイジャック攻撃を検知するアウト・オブ・ボックス検出手法を提案する。
論文参考訳（メタデータ） (2023-02-16T23:02:39Z)
Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文参考訳（メタデータ） (2022-11-20T10:49:22Z)
Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
論文参考訳（メタデータ） (2022-03-05T02:31:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。