論文の概要: Impact of Community Structure on Consensus Machine Learning

• arxiv url: http://arxiv.org/abs/2011.01334v1
• Date: Mon, 2 Nov 2020 21:41:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 13:28:47.553867
• Title: Impact of Community Structure on Consensus Machine Learning
• Title（参考訳）: コンセンサス機械学習におけるコミュニティ構造の影響
• Authors: Bao Huynh, Haimonti Dutta, Dane Taylor
• Abstract要約: ブロックモデルから引き出されたネットワーク上でのコンセンサス機械学習について検討する。 私たちは、$tau_epsilon$が低い境界に達するような、コミュニティ構造の重要なレベルが存在することに気付きました。
• 参考スコア（独自算出の注目度）: 0.17188280334580192
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Consensus dynamics support decentralized machine learning for data that is distributed across a cloud compute cluster or across the internet of things. In these and other settings, one seeks to minimize the time $\tau_\epsilon$ required to obtain consensus within some $\epsilon>0$ margin of error. $\tau_\epsilon$ typically depends on the topology of the underlying communication network, and for many algorithms $\tau_\epsilon$ depends on the second-smallest eigenvalue $\lambda_2\in[0,1]$ of the network's normalized Laplacian matrix: $\tau_\epsilon\sim\mathcal{O}(\lambda_2^{-1})$. Here, we analyze the effect on $\tau_\epsilon$ of network community structure, which can arise when compute nodes/sensors are spatially clustered, for example. We study consensus machine learning over networks drawn from stochastic block models, which yield random networks that can contain heterogeneous communities with different sizes and densities. Using random matrix theory, we analyze the effects of communities on $\lambda_2$ and consensus, finding that $\lambda_2$ generally increases (i.e., $\tau_\epsilon$ decreases) as one decreases the extent of community structure. We further observe that there exists a critical level of community structure at which $\tau_\epsilon$ reaches a lower bound and is no longer limited by the presence of communities. We support our findings with empirical experiments for decentralized support vector machines.
• Abstract（参考訳）: コンセンサスダイナミクスは、クラウドコンピュートクラスタにまたがる、あるいはモノのインターネットに分散したデータに対して、分散機械学習をサポートする。 これらのその他の設定では、$\tau_\epsilon$が$\epsilon>0$の誤差の範囲内でコンセンサスを得るのに必要な時間を最小限に抑えることを目指している。 一般に$\tau_\epsilon$は基礎となる通信ネットワークのトポロジーに依存し、多くのアルゴリズムでは$\tau_\epsilon$はネットワークの正規化されたラプラシアン行列の2番目に小さい固有値$\lambda_2\in[0,1]$に依存する。 ここでは、例えば計算ノード/センサが空間的にクラスタ化されている場合に発生するネットワークコミュニティ構造の$\tau_\epsilon$の効果を分析する。 確率ブロックモデルから抽出されたネットワーク上でのコンセンサス機械学習について検討し、異なる大きさと密度の異種コミュニティを含むランダムネットワークを生成する。 ランダム行列理論を用いて、コミュニティが$\lambda_2$とコンセンサスに与える影響を分析し、コミュニティ構造を減少させるにつれて、$\lambda_2$は一般的に増加する(つまり、$\tau_\epsilon$が減少する)。 さらに、$\tau_\epsilon$が下限に達し、もはやコミュニティの存在によって制限されない、コミュニティ構造の臨界レベルが存在することも観察する。 分散支援ベクトルマシンの実証実験により,本研究を支援した。

関連論文リスト

• Bayesian Inference with Deep Weakly Nonlinear Networks [57.95116787699412]
  我々は,完全連結ニューラルネットワークによるベイズ推定が解けることを示す物理レベルの厳密さを示す。 我々はモデルエビデンスを計算し、任意の温度で1/N$で任意の順序に後続する手法を提供する。
  論文  参考訳（メタデータ） (2024-05-26T17:08:04Z)
• Efficiently Learning One-Hidden-Layer ReLU Networks via Schur Polynomials [50.90125395570797]
  正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。 本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
  論文  参考訳（メタデータ） (2023-07-24T14:37:22Z)
• Most Neural Networks Are Almost Learnable [52.40331776572531]
  固定された$epsilon>0$とdeep $i$に対して、深さ$i$のランダムなXavierネットワークを学習するポリ時間アルゴリズムが存在することを示す。 このアルゴリズムは時間とサンプルの複雑さが$(bard)mathrmpoly(epsilon-1)$であり、$bar d$はネットワークのサイズである。 シグモイドやReLU様の活性化の場合、境界は$(bard)mathrmpolylog(eps)に改善できる。
  論文  参考訳（メタデータ） (2023-05-25T22:27:42Z)
• Learning the Structure of Large Networked Systems Obeying Conservation Laws [5.86054250638667]
  ネットワーク系における保存法則は、$X = B* Y$という形のバランス方程式としてモデル化することができる。 いくつかの実用的なシステムでは、ネットワーク構造はよく知られておらず、データから推定する必要がある。 高次元状態におけるこの問題に対する新たな$ell_1$-regularized maximum max 推定器を提案する。
  論文  参考訳（メタデータ） (2022-06-14T18:16:52Z)
• Distributed Sparse Feature Selection in Communication-Restricted Networks [6.9257380648471765]
  疎線形回帰と特徴選択のための新しい分散スキームを提案し,理論的に解析する。 データセット全体から因果次元を推定するために,ネットワーク内の情報共有をシンプルかつ効果的に行う手法を提案する。
  論文  参考訳（メタデータ） (2021-11-02T05:02:24Z)
• Distributed Saddle-Point Problems Under Similarity [173.19083235638104]
  与えられたサブ最適度$epsilon0$は、$Omegabigのマスター/ワーカーネットワークで達成されることを示す。 次に,ネットワークの下位の型(ログオーバまで)に適合するアルゴリズムを提案する。 頑健なロジスティック回帰問題に対して提案アルゴリズムの有効性を評価する。
  論文  参考訳（メタデータ） (2021-07-22T14:25:16Z)
• Maximizing Influence of Leaders in Social Networks [15.05158252504978]
  我々は、$n$ノードと$m$エッジを持つソーシャルネットワークにおける意見力学のDeGrootモデルに対するエッジ加算問題を考察する。 提案アルゴリズムは,100万以上のノードを持つ大規模ネットワークに対して,効率的かつ効果的であることを示す。
  論文  参考訳（メタデータ） (2021-06-11T02:31:46Z)
• Small Covers for Near-Zero Sets of Polynomials and Learning Latent Variable Models [56.98280399449707]
  我々は、s$ of cardinality $m = (k/epsilon)o_d(k1/d)$ に対して $epsilon$-cover が存在することを示す。 構造的結果に基づいて,いくつかの基本的高次元確率モデル隠れ変数の学習アルゴリズムを改良した。
  論文  参考訳（メタデータ） (2020-12-14T18:14:08Z)
• Learning Over-Parametrized Two-Layer ReLU Neural Networks beyond NTK [58.5766737343951]
  2層ニューラルネットワークを学習する際の降下のダイナミクスについて考察する。 過度にパラメータ化された2層ニューラルネットワークは、タンジェントサンプルを用いて、ほとんどの地上で勾配損失を許容的に学習できることを示す。
  論文  参考訳（メタデータ） (2020-07-09T07:09:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。