論文の概要: Beyond Centralization: Provable Communication Efficient Decentralized Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2512.22675v1
• Date: Sat, 27 Dec 2025 18:44:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.174556
• Title: Beyond Centralization: Provable Communication Efficient Decentralized Multi-Task Learning
• Title（参考訳）: 集中化を超えて: コミュニケーション効率の良い分散マルチタスク学習
• Authors: Donghwa Kang, Shana Moothedath,
• Abstract要約: 特徴が低ランク構造を共有する分散マルチタスク表現学習について検討する。 分散環境では、タスクデータは複数のノードに分散され、ノード間の情報交換は通信ネットワークによって制限される。
• 参考スコア（独自算出の注目度）: 7.147459905796264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Representation learning is a widely adopted framework for learning in data-scarce environments, aiming to extract common features from related tasks. While centralized approaches have been extensively studied, decentralized methods remain largely underexplored. We study decentralized multi-task representation learning in which the features share a low-rank structure. We consider multiple tasks, each with a finite number of data samples, where the observations follow a linear model with task-specific parameters. In the decentralized setting, task data are distributed across multiple nodes, and information exchange between nodes is constrained by a communication network. The goal is to recover the underlying feature matrix whose rank is much smaller than both the parameter dimension and the number of tasks. We propose a new alternating projected gradient and minimization algorithm with provable accuracy guarantees. We provide comprehensive characterizations of the time, communication, and sample complexities. Importantly, the communication complexity is independent of the target accuracy, which significantly reduces communication cost compared to prior methods. Numerical simulations validate the theoretical analysis across different dimensions and network topologies, and demonstrate regimes in which decentralized learning outperforms centralized federated approaches.
• Abstract（参考訳）: 表現学習(representation learning)は、データスカース環境での学習において広く採用されているフレームワークであり、関連するタスクから共通の特徴を抽出することを目的としている。 中央集権的アプローチは広く研究されているが、分権的手法はほとんど探索されていない。 特徴が低ランク構造を共有する分散マルチタスク表現学習について検討する。 複数のタスクを考慮し、それぞれに有限個のデータサンプルがあり、そこでは、観察はタスク固有のパラメータを持つ線形モデルに従う。 分散環境では、タスクデータは複数のノードに分散され、ノード間の情報交換は通信ネットワークによって制限される。 ゴールは、パラメータ次元とタスク数の両方よりもランクがはるかに小さい基礎となる特徴行列を復元することである。 提案手法は,精度の保証が可能な新しい交互予測勾配と最小化アルゴリズムを提案する。 我々は、時間、コミュニケーション、およびサンプルの複雑さを包括的に特徴づける。 重要なことは、通信の複雑さはターゲットの精度とは無関係であり、従来の方法に比べて通信コストを大幅に削減する。 数値シミュレーションは、異なる次元とネットワークトポロジにまたがる理論解析を検証し、分散学習が中央集権的フェデレーションアプローチより優れている状況を示す。

関連論文リスト

• Diffusion-based Decentralized Federated Multi-Task Representation Learning [7.147459905796264]
  本研究はマルチタスク表現学習のための分散化された勾配勾配勾配に基づくアルゴリズムを開発する。 本稿では,複数の線形回帰モデルが共通の低次元線形表現を共有するマルチタスク線形回帰問題に着目する。
  論文  参考訳（メタデータ） (2025-12-29T02:59:24Z)
• Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [86.99017195607077]
  統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。 我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
  論文  参考訳（メタデータ） (2024-04-04T06:24:11Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• Quasi-Global Momentum: Accelerating Decentralized Deep Learning on Heterogeneous Data [77.88594632644347]
  ディープラーニングモデルの分散トレーニングは、ネットワーク上でデータプライバシとデバイス上での学習を可能にする重要な要素である。 現実的な学習シナリオでは、異なるクライアントのローカルデータセットに異質性が存在することが最適化の課題となる。 本稿では,この分散学習の難しさを軽減するために,運動量に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T11:27:14Z)
• Decentralized Deep Learning using Momentum-Accelerated Consensus [15.333413663982874]
  複数のエージェントが協調して分散データセットから学習する分散ディープラーニングの問題を考える。 本稿では,エージェントが固定された通信トポロジ上で対話する分散ディープラーニングアルゴリズムを提案し,解析する。 本アルゴリズムは,勾配に基づくプロトコルで用いられるヘビーボール加速度法に基づく。
  論文  参考訳（メタデータ） (2020-10-21T17:39:52Z)
• Dif-MAML: Decentralized Multi-Agent Meta-Learning [54.39661018886268]
  我々は,MAML や Dif-MAML と呼ばれる協調型マルチエージェントメタ学習アルゴリズムを提案する。 提案手法により, エージェントの集合が線形速度で合意に達し, 集約MAMLの定常点に収束できることを示す。 シミュレーションの結果は従来の非協調的な環境と比較して理論的な結果と優れた性能を示している。
  論文  参考訳（メタデータ） (2020-10-06T16:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。