論文の概要: Self-Duplicating Random Walks for Resilient Decentralized Learning on Graphs

• arxiv url: http://arxiv.org/abs/2407.11762v1
• Date: Tue, 16 Jul 2024 14:22:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 14:42:40.487154
• Title: Self-Duplicating Random Walks for Resilient Decentralized Learning on Graphs
• Title（参考訳）: グラフ上での弾力的な分散学習のための自己複製ランダムウォーク
• Authors: Maximilian Egger, Ghadir Ayache, Rawad Bitar, Antonia Wachter-Zeh, Salim El Rouayheb,
• Abstract要約: 本稿では,任意の故障があっても,所望値の周りのグラフ内のRW数を維持できるDECAFORKという分散アルゴリズムを提案する。 本稿では,DECAFORKの高速検出と故障に対する反応について,広範囲な数値シミュレーションを行った。
• 参考スコア（独自算出の注目度）: 27.119118776482477
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Consider the setting of multiple random walks (RWs) on a graph executing a certain computational task. For instance, in decentralized learning via RWs, a model is updated at each iteration based on the local data of the visited node and then passed to a randomly chosen neighbor. RWs can fail due to node or link failures. The goal is to maintain a desired number of RWs to ensure failure resilience. Achieving this is challenging due to the lack of a central entity to track which RWs have failed to replace them with new ones by forking (duplicating) surviving ones. Without duplications, the number of RWs will eventually go to zero, causing a catastrophic failure of the system. We propose a decentralized algorithm called DECAFORK that can maintain the number of RWs in the graph around a desired value even in the presence of arbitrary RW failures. Nodes continuously estimate the number of surviving RWs by estimating their return time distribution and fork the RWs when failures are likely to happen. We present extensive numerical simulations that show the performance of DECAFORK regarding fast detection and reaction to failures. We further present theoretical guarantees on the performance of this algorithm.
• Abstract（参考訳）: 特定の計算タスクを実行するグラフ上の多重ランダムウォーク(RW)の設定を考える。 例えば、RWによる分散学習では、訪問したノードのローカルデータに基づいて各イテレーションでモデルが更新され、ランダムに選択された隣人に渡される。 RWはノードやリンクの障害によって失敗する可能性がある。 目標は、障害のレジリエンスを確保するために、望ましい数のRWを維持することです。 この達成は、RWが生き残ったものをフォーク(複製)することによって新しいエンティティに置き換えられなかったことを追跡する中心的なエンティティがないため、難しい。 重複がなければ、RWの数は最終的にゼロとなり、システムの破滅的な失敗を引き起こす。 本稿では,任意のRW故障があっても,所望値の周りのグラフ内のRW数を維持できるDECAFORKという分散アルゴリズムを提案する。 ノードは、リターンタイムの分布を推定し、障害が発生した場合にRWをフォークすることで、生存するRWの数を継続的に見積もる。 本稿では,DECAFORKの高速検出と故障に対する反応について,広範囲な数値シミュレーションを行った。 さらに,本アルゴリズムの性能に関する理論的保証を示す。

関連論文リスト

• DPGAN: A Dual-Path Generative Adversarial Network for Missing Data Imputation in Graphs [17.847551850315895]
  本稿では,DPGAN(Dual-Pathrative Adversarial Network)と呼ばれる新しいフレームワークを提案する。 DPGANは、欠落したデータと同時に処理し、過度にスムースな問題を回避することができる。 さまざまなベンチマークデータセットにわたる総合的な実験は、DPGANが既存の最先端の計算アルゴリズムよりも優れていなくても、一貫して競合していることを裏付けている。
  論文  参考訳（メタデータ） (2024-04-26T05:26:10Z)
• Rethinking PGD Attack: Is Sign Function Necessary? [131.6894310945647]
  本稿では,このような手話に基づく更新アルゴリズムが段階的攻撃性能にどのように影響するかを理論的に分析する。 本稿では,手話の使用を排除したRGDアルゴリズムを提案する。 提案したRGDアルゴリズムの有効性は実験で広く実証されている。
  論文  参考訳（メタデータ） (2023-12-03T02:26:58Z)
• Wasserstein distributional robustness of neural networks [9.79503506460041]
  ディープニューラルネットワークは敵攻撃(AA)に弱いことが知られている 画像認識タスクでは、元の小さな摂動によって画像が誤分類される可能性がある。 本稿では,Wassersteinの分散ロバスト最適化(DRO)技術を用いて問題を再検討し,新しいコントリビューションを得た。
  論文  参考訳（メタデータ） (2023-06-16T13:41:24Z)
• Dynamic Causal Explanation Based Diffusion-Variational Graph Neural Network for Spatio-temporal Forecasting [60.03169701753824]
  時間予測のための動的拡散型グラフニューラルネットワーク(DVGNN)を提案する。 提案したDVGNNモデルは最先端のアプローチよりも優れ,Root Mean Squared Errorの結果が優れている。
  論文  参考訳（メタデータ） (2023-05-16T11:38:19Z)
• QuTE: decentralized multiple testing on sensor networks with false discovery rate control [130.7122910646076]
  本稿では、偽発見率(FDR)の証明可能な保証を備えたグラフ上での分散多重仮説検定法を設計する。 異なるエージェントが無向グラフのノードに存在し、各エージェントはそのノードに局所的な1つ以上の仮説に対応するp値を持つ。 各エージェントは、グラフ全体の大域的FDRが予め定義されたレベルで制御されなければならないという共同目的のもと、隣人とのみ通信することで、それぞれのローカル仮説の1つ以上の拒絶を個別に決めなければならない。
  論文  参考訳（メタデータ） (2022-10-09T19:48:39Z)
• Walk for Learning: A Random Walk Approach for Federated Learning from Heterogeneous Data [17.978941229970886]
  私たちは標準的アプリケーションとしてフェデレートラーニング(FL)に注目します。 FLの主な課題の1つは、ノードとパラメータサーバの間の通信ボトルネックである。 適応型ランダムウォーク学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-01T19:53:24Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Edge Rewiring Goes Neural: Boosting Network Resilience via Policy Gradient [62.660451283548724]
  ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。 ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
  論文  参考訳（メタデータ） (2021-10-18T06:14:28Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• Fully Asynchronous Policy Evaluation in Distributed Reinforcement Learning over Networks [14.636457985379746]
  本稿では,有向ピアツーピアネットワーク上での分散強化学習(DisRL)のポリシー評価問題に対する非同期手法を提案する。 ネットワークの他のノードを待つことなく、各ノードは隣人からの(おそらく遅れた)情報を使用して、いつでもローカルに値関数を更新できる。
  論文  参考訳（メタデータ） (2020-03-01T08:12:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。