論文の概要: Exact Subspace Diffusion for Decentralized Multitask Learning

• arxiv url: http://arxiv.org/abs/2304.07358v1
• Date: Fri, 14 Apr 2023 19:42:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-18 19:30:35.688672
• Title: Exact Subspace Diffusion for Decentralized Multitask Learning
• Title（参考訳）: 分散マルチタスク学習における完全部分空間拡散
• Authors: Shreya Wadehra, Roula Nassif, Stefan Vlaski
• Abstract要約: マルチタスク学習のための分散戦略は、よりニュアンスな方法でエージェント間の関係を誘導し、コンセンサスを強制せずにコラボレーションを促進する。 本研究では,ネットワーク上の部分空間制約付きマルチタスク学習のための正確な拡散アルゴリズムの一般化を開発し,その平均二乗偏差の正確な式を導出する。 予測された性能表現の精度を数値的に検証するとともに,近似予測に基づく代替案に対する提案手法の性能向上を検証した。
• 参考スコア（独自算出の注目度）: 17.592204922442832
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Classical paradigms for distributed learning, such as federated or decentralized gradient descent, employ consensus mechanisms to enforce homogeneity among agents. While these strategies have proven effective in i.i.d. scenarios, they can result in significant performance degradation when agents follow heterogeneous objectives or data. Distributed strategies for multitask learning, on the other hand, induce relationships between agents in a more nuanced manner, and encourage collaboration without enforcing consensus. We develop a generalization of the exact diffusion algorithm for subspace constrained multitask learning over networks, and derive an accurate expression for its mean-squared deviation when utilizing noisy gradient approximations. We verify numerically the accuracy of the predicted performance expressions, as well as the improved performance of the proposed approach over alternatives based on approximate projections.
• Abstract（参考訳）: 分散学習のための古典的なパラダイム、例えばフェデレーションや分散勾配降下は、エージェント間の均質性を強制するためにコンセンサス機構を用いる。 これらの戦略は、すなわち、シナリオにおいて有効であることが証明されているが、エージェントが異質な目的やデータに従うと、パフォーマンスが大幅に低下する可能性がある。 一方、マルチタスク学習のための分散戦略は、エージェント間の関係をよりニュアンスな方法で誘導し、合意を強制せずに協力を促進する。 我々は,ネットワーク上の制約付きマルチタスク学習のための正確な拡散アルゴリズムの一般化を開発し,雑音勾配近似を利用する場合の平均二乗偏差の正確な式を導出する。 予測した性能表現の精度を数値的に検証し,近似投影に基づく代替案に対する提案手法の性能向上について検証した。

関連論文リスト

• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• Distributed Markov Chain Monte Carlo Sampling based on the Alternating Direction Method of Multipliers [143.6249073384419]
  本論文では,乗算器の交互方向法に基づく分散サンプリング手法を提案する。 我々は,アルゴリズムの収束に関する理論的保証と,その最先端性に関する実験的証拠の両方を提供する。 シミュレーションでは,線形回帰タスクとロジスティック回帰タスクにアルゴリズムを配置し,その高速収束を既存の勾配法と比較した。
  論文  参考訳（メタデータ） (2024-01-29T02:08:40Z)
• Multi-Agent Reinforcement Learning-Based UAV Pathfinding for Obstacle Avoidance in Stochastic Environment [12.122881147337505]
  マルチエージェント強化学習に基づく分散実行手法を用いた新しい集中型学習法を提案する。 このアプローチでは、エージェントは集中型プランナーとのみ通信し、オンラインで分散的な決定を行う。 訓練効率を高めるため,多段階強化学習において多段階値収束を行う。
  論文  参考訳（メタデータ） (2023-10-25T14:21:22Z)
• Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
  変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。 複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。 提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
  論文  参考訳（メタデータ） (2023-10-10T14:06:56Z)
• Diverse Projection Ensembles for Distributional Reinforcement Learning [6.754994171490016]
  この研究は、分布的アンサンブルにおけるいくつかの異なる射影と表現の組み合わせを研究する。 我々は、平均1ドル=ワッサーシュタイン距離で測定されるアンサンブル不一致を、深層探査のボーナスとして利用するアルゴリズムを導出する。
  論文  参考訳（メタデータ） (2023-06-12T13:59:48Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)
• MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
  近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。 本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。 特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
  論文  参考訳（メタデータ） (2021-07-23T06:57:08Z)
• The Gradient Convergence Bound of Federated Multi-Agent Reinforcement Learning with Efficient Communication [20.891460617583302]
  連立学習パラダイムにおける協調的意思決定のための独立強化学習(IRL)の検討 FLはエージェントとリモート中央サーバ間の過剰な通信オーバーヘッドを生成する。 本稿では,システムの実用性向上のための2つの高度な最適化手法を提案する。
  論文  参考訳（メタデータ） (2021-03-24T07:21:43Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。