論文の概要: Learning Theory of Decentralized Robust Kernel-Based Learning Algorithm

• arxiv url: http://arxiv.org/abs/2506.05215v1
• Date: Thu, 05 Jun 2025 16:30:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.823371
• Title: Learning Theory of Decentralized Robust Kernel-Based Learning Algorithm
• Title（参考訳）: 分散ロバストカーネルに基づく学習アルゴリズムの学習理論
• Authors: Zhan Yu,
• Abstract要約: 我々は、カーネルヒルベルト空間(RKHS)を再現する枠組みの中で、新しい堅牢なカーネルベース学習アルゴリズムを提案する。 分散化アルゴリズムから生成された各局所ロバスト推定器を用いて回帰関数を近似することができることを示す。 局所的なサンプルサイズに対する厳密な選択ルールを提供し、適切に選択されたステップサイズとスケーリングパラメータ$sigma$では、分散化されたロバストアルゴリズムが最適な学習率を達成することができることを示す。
• 参考スコア（独自算出の注目度）: 1.3597551064547502
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a new decentralized robust kernel-based learning algorithm within the framework of reproducing kernel Hilbert space (RKHS) by utilizing a networked system that can be represented as a connected graph. The robust loss function $\mathcal{L}_\sigma$ induced by a windowing function $W$ and a robustness scaling parameter $\sigma>0$, can encompass a broad spectrum of robust losses. Consequently, the proposed algorithm effectively provides a unified decentralized learning framework for robust regression, which fundamentally differs from the existing distributed robust kernel learning schemes, all of which are divide-and-conquer based. We rigorously establish the learning theory and offer a comprehensive convergence analysis for the algorithm. We show each local robust estimator generated from the decentralized algorithm can be utilized to approximate the regression function. Based on kernel-based integral operator techniques, we derive general high confidence convergence bounds for each local approximating sequence in terms of the mean square distance, RKHS norm, and generalization error, respectively. Moreover, we provide rigorous selection rules for local sample size and show that, under properly selected step size and scaling parameter $\sigma$, the decentralized robust algorithm can achieve optimal learning rates (up to logarithmic factors) in both norms. The parameter $\sigma$ is shown to be essential for enhancing robustness while also ensuring favorable convergence behavior. The intrinsic connection among decentralization, sample selection, robustness of the algorithm, and its convergence is clearly reflected.
• Abstract（参考訳）: 本稿では,連結グラフとして表現可能なネットワークシステムを利用して,カーネルヒルベルト空間(RKHS)を再生するフレームワーク内で,分散化された堅牢なカーネルベース学習アルゴリズムを提案する。 ウィンドウリング関数$W$とロバストネススケーリングパラメータ$\sigma>0$によって誘導されるロバストロス関数$\mathcal{L}_\sigma$は、ロバストロスの広い範囲を包含することができる。 その結果,提案アルゴリズムは,分散化された分散カーネル学習方式とは根本的に異なり,いずれも分割・分散型であるロバストレグレッションのための統一型分散学習フレームワークを効果的に提供する。 学習理論を厳格に確立し,アルゴリズムの総合的な収束解析を行う。 分散化アルゴリズムから生成された各局所ロバスト推定器を用いて回帰関数を近似することができることを示す。 カーネルベースの積分作用素法に基づき,各局所近似列の平均二乗距離, RKHSノルム, 一般化誤差の一般高信頼収束境界を導出する。 さらに,局所的なサンプルサイズに対する厳密な選択ルールを提案し,適切に選択されたステップサイズとスケーリングパラメータ$\sigma$では,分散化されたロバストアルゴリズムが両方のノルムにおいて最適な学習率(対数因子まで)を達成可能であることを示す。 パラメータ $\sigma$ は強靭性を高めつつ、良好な収束挙動を確保するために必須であることが示されている。 分散化, サンプル選択, アルゴリズムの堅牢性, 収束性における本質的な関係は, 明確に反映されている。

関連論文リスト

• Learning based convex approximation for constrained parametric optimization [11.379408842026981]
  本稿では、制約付き最適化問題を解決するために、入力ニューラルネットワーク(ICNN)に基づく自己教師付き学習フレームワークを提案する。 厳密な収束解析を行い、このフレームワークが元の問題のKKT近似点に収束することを示す。 提案手法は精度,実現可能性,計算効率の両立を実現している。
  論文  参考訳（メタデータ） (2025-05-07T00:33:14Z)
• Stability and Generalization of the Decentralized Stochastic Gradient Descent Ascent Algorithm [80.94861441583275]
  本稿では,分散勾配勾配(D-SGDA)アルゴリズムの一般化境界の複雑さについて検討する。 本研究は,D-SGDAの一般化における各因子の影響を解析した。 また、最適凸凹設定を得るために一般化とバランスをとる。
  論文  参考訳（メタデータ） (2023-10-31T11:27:01Z)
• Stochastic Unrolled Federated Learning [85.6993263983062]
  本稿では,UnRolled Federated Learning (SURF)を導入する。 提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
  論文  参考訳（メタデータ） (2023-05-24T17:26:22Z)
• Asynchronous Distributed Reinforcement Learning for LQR Control via Zeroth-Order Block Coordinate Descent [7.6860514640178]
  分散強化学習のための新しいゼロ階最適化アルゴリズムを提案する。 これにより、各エージェントはコンセンサスプロトコルを使わずに、コスト評価を独立してローカル勾配を推定できる。
  論文  参考訳（メタデータ） (2021-07-26T18:11:07Z)
• Byzantine-Resilient Non-Convex Stochastic Gradient Descent [61.6382287971982]
  敵対的レジリエントな分散最適化。 機械は独立して勾配を計算し 協力することができます 私達のアルゴリズムは新しい集中の技術およびサンプル複雑性に基づいています。 それは非常に実用的です:それはないときすべての前の方法の性能を改善します。 セッティングマシンがあります。
  論文  参考訳（メタデータ） (2020-12-28T17:19:32Z)
• Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
  直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。 提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-03-30T15:37:50Z)
• A Distributional Analysis of Sampling-Based Reinforcement Learning Algorithms [67.67377846416106]
  定常ステップサイズに対する強化学習アルゴリズムの理論解析に対する分布的アプローチを提案する。 本稿では,TD($lambda$)や$Q$-Learningのような値ベースの手法が,関数の分布空間で制約のある更新ルールを持つことを示す。
  論文  参考訳（メタデータ） (2020-03-27T05:13:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。