論文の概要: Sparse Federated Echo State Networks for Time-Series Classification via Smooth-L1 Regularization

• arxiv url: http://arxiv.org/abs/2610.21742v2
• Date: Mon, 19 Oct 2026 08:39:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 06:32:45.313689
• Title: Sparse Federated Echo State Networks for Time-Series Classification via Smooth-L1 Regularization
• Title（参考訳）: Smooth-L1正規化による時系列分類のためのスパースフェデレーションエコー状態ネットワーク
• Abstract要約: Echo State Networks (ESN) は貯水池コンピューティングの軽量実装である。 高い読み出し層は、格納されたモデルとサンプルごとの推論コストを増大させる。 本稿では,Smooth-L1正規化ESNを提案する。
• 参考スコア（独自算出の注目度）: 0.7136933021609076
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Echo State Networks (ESNs), as lightweight implementations of reservoir computing, provide efficient solutions for temporal data processing in resource-constrained environments. While standard ESNs offer computational efficiency, their dense readout layers inflate the stored model and the per-sample inference cost. This paper introduces a Smooth-L1 regularized ESN (SL1ESN) that promotes sparsity in the readout layer while preserving differentiability for gradient-based optimization. The method employs a twice-differentiable Smooth-L1 approximation compatible with Newton's method, which we exploit both for centralized training and for a second-order (Newton-step) federated aggregation scheme. Under a single fixed shrinkage threshold shared by every dataset and both settings, experiments on seven time-series classification benchmarks show that SL1ESN learns readouts that are $77$--$95\%$ sparse in the centralized setting and $75$--$95\%$ sparse in the federated one, while staying within $0.7$ accuracy points of the strongest dense baseline on five of the seven benchmarks in the centralized setting and within $1.6$ points on the same five in the federated one, and the second-order federated update converges in only a few rounds. The resulting sparsity compresses the stored model, the per-sample inference cost, and the server-to-client broadcast by a comparable factor. These results demonstrate the practical value of sparse readouts for edge computing and IoT deployments.
• Abstract（参考訳）: Echo State Networks (ESNs) は貯水池コンピューティングの軽量な実装であり、資源制約のある環境での時間的データ処理のための効率的なソリューションを提供する。 標準的なESNは計算効率を提供するが、その高密度な読み出し層はストアドモデルとサンプルごとの推論コストを増大させる。 本稿では,Smooth-L1正規化ESN(SL1ESN)を提案する。 本手法は,ニュートン法に適合する2次微分可能なSmooth-L1近似を用いて,集中学習と2次(ニュートン段階)のフェデレーションアグリゲーション方式の両方に活用する。 各データセットと両方の設定で共有される1つの固定縮小しきい値の下で、SL1ESNは7つの時系列分類ベンチマークで、7,7$--95\%$スパースと75$--95\%$スパースを学習し、中央設定の7つのベンチマークのうち5つのベンチマークの0.7$の精度ポイントと、同じ5つのフェデレーションで1.6$ポイント以内に留まり、2階フェデレーション更新はわずか数ラウンドで収束する。 結果として得られたスパーシリティは、格納されたモデル、サンプルごとの推論コスト、サーバからクライアントへのブロードキャストを同等の要因で圧縮する。 これらの結果は、エッジコンピューティングとIoTデプロイメントのためのスパース読み込みの実践的価値を示しています。

関連論文リスト

• High-Probability Convergence in Decentralized Stochastic Optimization with Gradient Tracking [69.90407799170687]
  分散最適化における高確率収束保証について検討する。 その結果, 地平線上の条件は, 比較時間と同一であることがわかった。
  論文  参考訳（メタデータ） (2026-04-30T22:45:21Z)
• FedSLoP: Memory-Efficient Federated Learning with Low-Rank Gradient Projection [5.476264433576713]
  FedSLoPは効率的なフェデレート学習アルゴリズムである。 We show that FedSLoP converges to a first-order stationary point at a rate of $O (1/sqrNT)$。
  論文  参考訳（メタデータ） (2026-04-27T03:47:50Z)
• $V_1$: Unifying Generation and Self-Verification for Parallel Reasoners [69.66089681814013]
  $V_$は、効率的なペアワイドランキングを通じて生成と検証を統合するフレームワークである。 V_$-Inferはポイントワイド検証でPass@1を最大10%改善する。 V_$-PairRLは、標準のRLとポイントワイドのジョイントトレーニングよりも、テストタイムのスケーリングが7ドル--9%で向上する。
  論文  参考訳（メタデータ） (2026-03-04T17:22:16Z)
• Smoothed Normalization for Efficient Distributed Private Optimization [54.197255548244705]
  フェデレートされた学習は、参加者のプライバシを備えた機械学習モデルを可能にする。 トレーニングやフィードバックのない問題に対して、差分にプライベートな分散手法は存在しない。 証明可能な収束保証付き分散アルゴリズム$alpha$-$sf NormEC$を導入する。
  論文  参考訳（メタデータ） (2025-02-19T07:10:32Z)
• Efficient Federated Learning against Byzantine Attacks and Data Heterogeneity via Aggregating Normalized Gradients [27.433334322019675]
  Federated Learning (FL)は、クライアントが生データを共有せずに、協力的にモデルをトレーニングすることを可能にする。 FLはByzantine攻撃やデータ不均一性の反復に弱いため、パフォーマンスが著しく低下する可能性がある。 フェデレート正規化勾配アルゴリズム (Federated Normalized Gradients Algorithm, NGA) を提案する。 既存手法に対するベンチマーク収束の実験結果
  論文  参考訳（メタデータ） (2024-08-18T16:50:39Z)
• A Specialized Semismooth Newton Method for Kernel-Based Optimal Transport [92.96250725599958]
  カーネルベース最適輸送(OT)推定器は、サンプルからOT問題に対処するための代替的機能的推定手順を提供する。 SSN法は, 標準正規性条件下でのグローバル収束率$O (1/sqrtk)$, 局所二次収束率を達成できることを示す。
  論文  参考訳（メタデータ） (2023-10-21T18:48:45Z)
• On the Convergence of Federated Averaging under Partial Participation for Over-parameterized Neural Networks [13.2844023993979]
  フェデレートラーニング(FL)は、ローカルデータを共有せずに複数のクライアントから機械学習モデルを協調的に作成するための分散パラダイムである。 本稿では,FedAvgが世界規模で世界規模で収束していることを示す。
  論文  参考訳（メタデータ） (2023-10-09T07:56:56Z)
• Matching Pursuit Based Scheduling for Over-the-Air Federated Learning [67.59503935237676]
  本稿では,フェデレートラーニング手法を用いて,オーバー・ザ・エアラーニングのための低複雑さデバイススケジューリングアルゴリズムのクラスを開発する。 最先端の提案方式と比較すると,提案方式は極めて低効率なシステムである。 提案手法の有効性は,CIFARデータセットを用いた実験により確認した。
  論文  参考訳（メタデータ） (2022-06-14T08:14:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。