論文の概要: Markov Chain Mirror Descent On Data Federation

• arxiv url: http://arxiv.org/abs/2309.14775v1
• Date: Tue, 26 Sep 2023 09:18:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-27 14:24:04.855266
• Title: Markov Chain Mirror Descent On Data Federation
• Title（参考訳）: Markov Chain Mirror氏がデータフェデレーションについて語る
• Authors: Yawei Zhao
• Abstract要約: マーチオンと呼ばれるミラー降下の新バージョンを提案する。 分散ネットワークが与えられた場合、モデルはノードから隣のノードへの勾配降下を分析する。
• 参考スコア（独自算出の注目度）: 1.773120658816994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stochastic optimization methods such as mirror descent have wide applications due to low computational cost. Those methods have been well studied under assumption of the independent and identical distribution, and usually achieve sublinear rate of convergence. However, this assumption may be too strong and unpractical in real application scenarios. Recent researches investigate stochastic gradient descent when instances are sampled from a Markov chain. Unfortunately, few results are known for stochastic mirror descent. In the paper, we propose a new version of stochastic mirror descent termed by MarchOn in the scenario of the federated learning. Given a distributed network, the model iteratively travels from a node to one of its neighbours randomly. Furthermore, we propose a new framework to analyze MarchOn, which yields best rates of convergence for convex, strongly convex, and non-convex loss. Finally, we conduct empirical studies to evaluate the convergence of MarchOn, and validate theoretical results.
• Abstract（参考訳）: ミラー降下のような確率的最適化手法は計算コストの低いために広く応用されている。 これらの手法は独立分布と同一分布の仮定の下でよく研究され、通常は部分線形収束率を達成する。 しかし、実際のアプリケーションシナリオでは、この仮定は強すぎるし、実践的ではないかもしれない。 最近の研究では、マルコフ連鎖からサンプルを採取した際の確率的勾配降下が研究されている。 不幸なことに、確率的ミラー降下で知られている結果はほとんどない。 本稿では,連合学習のシナリオにおいて,マーチオンと呼ばれる確率的ミラー降下の新たなバージョンを提案する。 分散ネットワークが与えられると、モデルはランダムにノードから隣り合うノードへと反復的に移動する。 さらに, コンベックス, 強凸, 非凸損失の収束率を最良とする, マーチオン解析のための新しい枠組みを提案する。 最後に,マーチオンの収束を評価するための実証的研究を行い,理論的結果を検証する。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• von Mises Quasi-Processes for Bayesian Circular Regression [57.88921637944379]
  円値ランダム関数上の表現的および解釈可能な分布の族を探索する。 結果の確率モデルは、統計物理学における連続スピンモデルと関係を持つ。 後続推論のために、高速マルコフ連鎖モンテカルロサンプリングに寄与するストラトノビッチのような拡張を導入する。
  論文  参考訳（メタデータ） (2024-06-19T01:57:21Z)
• SimPro: A Simple Probabilistic Framework Towards Realistic Long-Tailed Semi-Supervised Learning [49.94607673097326]
  ラベルなしデータの分散に関する前提を前提としない、高度に適応可能なフレームワークをSimProとして提案する。 我々のフレームワークは確率モデルに基づいており、期待最大化アルゴリズムを革新的に洗練する。 本手法は,様々なベンチマークやデータ分散シナリオにまたがる一貫した最先端性能を示す。
  論文  参考訳（メタデータ） (2024-02-21T03:39:04Z)
• Stochastic Localization via Iterative Posterior Sampling [2.1383136715042417]
  我々は、一般的なローカライゼーションフレームワークを検討し、フレキシブルなdenoisingスケジュールに関連する観察プロセスの明示的なクラスを導入する。 我々は、このダイナミクスの近似的なサンプルを得るために、SLIPS (Iterative Posterior Sampling$) による完全な方法論である $textitStochastic Localization を提供する。 SLIPSの利点と適用性について,数種類のマルチモーダル分布のベンチマークで論じる。例えば,増加次元の混合,ロジスティック回帰,統計力学からの高次元場システムなどである。
  論文  参考訳（メタデータ） (2024-02-16T15:28:41Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Accelerating Distributed Stochastic Optimization via Self-Repellent Random Walks [11.3631620309434]
  エージェントのネットワークをランダムウォーク方式で横断するトークンによって勾配をサンプリングする分散最適化アルゴリズムの一群について検討する。 我々は、正則線型マルコフトークンを非線形マルコフ連鎖、すなわち自己推進ラドムウォーク(SRRW)に従うものに置き換えることで、新しいアプローチをとる。 結果のSA-SRRWの最適化誤差はほぼ確実にゼロに収束し、中心極限定理を証明する。
  論文  参考訳（メタデータ） (2024-01-18T00:50:37Z)
• Self-Repellent Random Walks on General Graphs -- Achieving Minimal Sampling Variance via Nonlinear Markov Chains [11.3631620309434]
  ランダムウォーカーは、サンプリングと近傍探索により、ネットワークトポロジ上のターゲット量を近似するように設計されている。 目的とする確率分布に対応するマルコフ連鎖が与えられた場合、過去に頻繁に訪れたノードに遷移する可能性が低く、滅多に訪れないノードに遷移する可能性が低い自己反発ランダムウォーク(SRRW)を設計する。 正の実アルファでパラメータ化されたSRRWのクラスに対して、プロセスの経験的分布がターゲットにほぼ確実に収束することを証明する。
  論文  参考訳（メタデータ） (2023-05-08T23:59:09Z)
• Stochastic Gradient Descent under Markovian Sampling Schemes [3.04585143845864]
  マルコフ型サンプリングスキームにのみアクセス可能なバニラ勾配勾配の変動について検討する。 我々は、基礎となるマルコフ連鎖で可能な最小限の制限的な仮定の下で収束率を得ることに焦点をあてる。
  論文  参考訳（メタデータ） (2023-02-28T09:18:00Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• A Stochastic Newton Algorithm for Distributed Convex Optimization [62.20732134991661]
  均質な分散凸最適化のためのNewtonアルゴリズムを解析し、各マシンが同じ人口目標の勾配を計算する。 提案手法は,既存の手法と比較して,性能を損なうことなく,必要な通信ラウンドの数,頻度を低減できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:51:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。