論文の概要: Diffusion-based Decentralized Federated Multi-Task Representation Learning
- arxiv url: http://arxiv.org/abs/2512.23161v1
- Date: Mon, 29 Dec 2025 02:59:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-30 22:37:30.382896
- Title: Diffusion-based Decentralized Federated Multi-Task Representation Learning
- Title（参考訳）: 拡散に基づく分散フェデレーション型マルチタスク表現学習
- Authors: Donghwa Kang, Shana Moothedath,
- Abstract要約: 本研究はマルチタスク表現学習のための分散化された勾配勾配勾配に基づくアルゴリズムを開発する。
本稿では,複数の線形回帰モデルが共通の低次元線形表現を共有するマルチタスク線形回帰問題に着目する。
- 参考スコア（独自算出の注目度）: 7.147459905796264
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Representation learning is a widely adopted framework for learning in data-scarce environments to obtain a feature extractor or representation from various different yet related tasks. Despite extensive research on representation learning, decentralized approaches remain relatively underexplored. This work develops a decentralized projected gradient descent-based algorithm for multi-task representation learning. We focus on the problem of multi-task linear regression in which multiple linear regression models share a common, low-dimensional linear representation. We present an alternating projected gradient descent and minimization algorithm for recovering a low-rank feature matrix in a diffusion-based decentralized and federated fashion. We obtain constructive, provable guarantees that provide a lower bound on the required sample complexity and an upper bound on the iteration complexity of our proposed algorithm. We analyze the time and communication complexity of our algorithm and show that it is fast and communication-efficient. We performed numerical simulations to validate the performance of our algorithm and compared it with benchmark algorithms.
- Abstract（参考訳）: 表現学習(representation learning)は、様々な異なるタスクから特徴抽出器や表現を得るために、データ共有環境で学習するための広く採用されているフレームワークである。
表現学習に関する広範な研究にもかかわらず、分散化されたアプローチはいまだに未熟である。
本研究はマルチタスク表現学習のための分散化された勾配勾配勾配に基づくアルゴリズムを開発する。
本稿では,複数の線形回帰モデルが共通の低次元線形表現を共有するマルチタスク線形回帰問題に着目する。
拡散型分散・フェデレーション方式で低ランク特徴行列を復元するための交互に投影される勾配降下と最小化アルゴリズムを提案する。
提案アルゴリズムは,要求されるサンプルの複雑さの上限を低くし,提案アルゴリズムの反復複雑性の上限を低くする構成的かつ証明可能な保証を得る。
我々は,アルゴリズムの時間と通信の複雑さを分析し,高速で通信効率が高いことを示す。
提案アルゴリズムの性能評価のために数値シミュレーションを行い,ベンチマークアルゴリズムと比較した。
関連論文リスト
- Beyond Centralization: Provable Communication Efficient Decentralized Multi-Task Learning [7.147459905796264]
特徴が低ランク構造を共有する分散マルチタスク表現学習について検討する。
分散環境では、タスクデータは複数のノードに分散され、ノード間の情報交換は通信ネットワークによって制限される。
論文 参考訳（メタデータ） (2025-12-27T18:44:43Z) - An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。
このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。
本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-09-30T15:57:14Z) - Robust Online Learning over Networks [1.0249620437941]
この作業は、分散学習に固有のいくつかの一般的な課題を特に対象とする。
マルチプライヤの交互方向法(ADMM)の分散演算子理論(DOT)版を適用した。
DOT-ADMM演算子が計量部分正則であれば、凸学習問題のクラスに対する線形率に収束する。
論文 参考訳（メタデータ） (2023-09-01T15:18:05Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳（メタデータ） (2023-05-24T17:26:22Z) - Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。
本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文 参考訳（メタデータ） (2022-12-02T05:07:50Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳（メタデータ） (2022-06-01T23:26:51Z) - Deep Equilibrium Assisted Block Sparse Coding of Inter-dependent
Signals: Application to Hyperspectral Imaging [71.57324258813675]
相互依存信号のデータセットは、列が強い依存を示す行列として定義される。
ニューラルネットワークは、事前に構造として機能し、基礎となる信号相互依存性を明らかにするために使用される。
ディープ・アンローリングとディープ・平衡に基づくアルゴリズムが開発され、高度に解釈可能で簡潔なディープ・ラーニング・ベース・アーキテクチャを形成する。
論文 参考訳（メタデータ） (2022-03-29T21:00:39Z) - Distributed Estimation of Sparse Inverse Covariance Matrices [0.7832189413179361]
分散エージェントが収集したデータからネットワーク構造をリアルタイムで学習する分散スパース逆共分散アルゴリズムを提案する。
我々のアプローチは、エージェントが望ましい構造を協調的に学習できるコンセンサス項を付加した、オンラインのグラフィカル交代最小化アルゴリズムに基づいて構築されている。
論文 参考訳（メタデータ） (2021-09-24T15:26:41Z) - Statistically Guided Divide-and-Conquer for Sparse Factorization of
Large Matrix [2.345015036605934]
統計的問題をスパース係数回帰として定式化し、分割コンカレントアプローチでそれに取り組む。
第1段階分割では、タスクを1組の同時並列推定(CURE)問題に単純化するための2つの潜時並列アプローチについて検討する。
第2段階分割では、CUREの全解を効率的に追跡するために、一連の単純な増分経路からなる段階学習手法を革新する。
論文 参考訳（メタデータ） (2020-03-17T19:12:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。