論文の概要: Tackling Feature and Sample Heterogeneity in Decentralized Multi-Task Learning: A Sheaf-Theoretic Approach

• arxiv url: http://arxiv.org/abs/2502.01145v1
• Date: Mon, 03 Feb 2025 08:25:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 14:58:00.663379
• Title: Tackling Feature and Sample Heterogeneity in Decentralized Multi-Task Learning: A Sheaf-Theoretic Approach
• Title（参考訳）: 分散型マルチタスク学習における特徴とサンプル不均一性 : せん断理論的アプローチ
• Authors: Chaouki Ben Issaid, Praneeth Vepakomma, Mehdi Bennis,
• Abstract要約: We introduced a novel sheaf-theoretic-based approach for Federated Multi-task Learning (FMTL) セルラーシーブを用いてクライアント関係を表現することにより、不均一なクライアントモデル間の相互作用を柔軟にモデル化することができる。 本稿では,提案アルゴリズムであるSheaf-FMTLが,最先端の分散化FMTLアルゴリズムと一致してサブ線形収束率を達成することを示す。
• 参考スコア（独自算出の注目度）: 37.4602828056364
• License:
• Abstract: Federated multi-task learning (FMTL) aims to simultaneously learn multiple related tasks across clients without sharing sensitive raw data. However, in the decentralized setting, existing FMTL frameworks are limited in their ability to capture complex task relationships and handle feature and sample heterogeneity across clients. To address these challenges, we introduce a novel sheaf-theoretic-based approach for FMTL. By representing client relationships using cellular sheaves, our framework can flexibly model interactions between heterogeneous client models. We formulate the sheaf-based FMTL optimization problem using sheaf Laplacian regularization and propose the Sheaf-FMTL algorithm to solve it. We show that the proposed framework provides a unified view encompassing many existing federated learning (FL) and FMTL approaches. Furthermore, we prove that our proposed algorithm, Sheaf-FMTL, achieves a sublinear convergence rate in line with state-of-the-art decentralized FMTL algorithms. Extensive experiments demonstrate that Sheaf-FMTL exhibits communication savings by sending significantly fewer bits compared to decentralized FMTL baselines.
• Abstract（参考訳）: FMTL(Federated Multi-task Learning)は、機密データを共有することなく、クライアント間で複数の関連するタスクを同時に学習することを目的としている。 しかし、分散環境では、既存のFMTLフレームワークは、複雑なタスク関係をキャプチャし、クライアント間の機能やサンプルの不均一性を処理できる能力に制限されている。 これらの課題に対処するために, FMTLのための新しいせん断理論に基づくアプローチを提案する。 セルラーシーブを用いてクライアント関係を表現することにより、不均一なクライアントモデル間の相互作用を柔軟にモデル化することができる。 せん断ラプラシアン正規化法を用いて、せん断に基づくFMTL最適化問題を定式化し、それを解決するために、せん断-FMTLアルゴリズムを提案する。 提案するフレームワークは,既存のフェデレートラーニング(FL)とFMTLアプローチを包含した統一的なビューを提供する。 さらに,提案アルゴリズムであるSheaf-FMTLが,最先端の分散化FMTLアルゴリズムと一致してサブ線形収束率を達成することを示す。 大規模な実験により、Sheaf-FMTLは、分散FMTLベースラインに比べて、はるかに少ないビットを送信することで、通信の節約を示すことが示された。

関連論文リスト

• Over-the-Air Fair Federated Learning via Multi-Objective Optimization [52.295563400314094]
  本稿では,公平なFLモデルを訓練するためのOTA-FFL(Over-the-air Fair Federated Learning Algorithm)を提案する。 OTA-FFLの公正性とロバストな性能に対する優位性を示す実験を行った。
  論文  参考訳（メタデータ） (2025-01-06T21:16:51Z)
• R-MTLLMF: Resilient Multi-Task Large Language Model Fusion at the Wireless Edge [78.26352952957909]
  マルチタスク大言語モデル(MTLLM)は、ユーザが複数のタスクを効率的に処理するための特殊なモデルを要求する無線エッジにおける多くのアプリケーションにとって重要である。 タスクベクトルによるモデル融合の概念は、MDLLMを生成するための微調整パラメータを組み合わせるための効率的なアプローチとして登場した。 本稿では,最悪の逆攻撃を前提として,エッジユーザがタスクベクトルを介して協調的にMTLMを作成できる問題について検討する。
  論文  参考訳（メタデータ） (2024-11-27T10:57:06Z)
• 3FM: Multi-modal Meta-learning for Federated Tasks [2.117841684082203]
  マルチモーダルなフェデレーションタスクに特化して設計されたメタラーニングフレームワークを提案する。 当社のアプローチは,新たなモダリティに曝露した場合に,フェデレーションモデルによる堅牢な適応を可能にする必要性に起因している。 提案アルゴリズムは,欠落したモダリティシナリオのサブセットにおいて,ベースラインよりも優れた性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-12-15T20:03:24Z)
• FedHCA$^2$: Towards Hetero-Client Federated Multi-Task Learning [18.601886059536326]
  Federated Learning (FL)は、ローカルデータをプライベートに使用して、分散クライアント間の共同トレーニングを可能にする。 我々は,多様なタスク設定に対応するために,新しい問題設定であるヘテロクライアントフェデレーション・マルチタスク学習(HC-FMTL)を導入する。 我々は、異種クライアント間の関係をモデル化することでパーソナライズされたモデルのフェデレーショントレーニングを可能にするFedHCA$2$フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-22T09:12:50Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)
• FedFM: Anchor-based Feature Matching for Data Heterogeneity in Federated Learning [91.74206675452888]
  本稿では,各クライアントの特徴を共有カテゴリーのアンカーにマッチさせる新しいFedFM法を提案する。 効率と柔軟性を向上させるため,FedFM-Liteと呼ばれるFedFM変種を提案し,クライアントは同期時間と通信帯域幅のコストを少なくしてサーバと通信する。
  論文  参考訳（メタデータ） (2022-10-14T08:11:34Z)
• Low-Latency Federated Learning over Wireless Channels with Differential Privacy [142.5983499872664]
  フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。 本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
  論文  参考訳（メタデータ） (2021-06-20T13:51:18Z)
• Federated Matrix Factorization: Algorithm Design and Application to Data Clustering [18.917444528804463]
  データプライバシに関する近年の要求は、大規模で異種ネットワークにおける新たな分散学習パラダイムとして、フェデレートラーニング(FL)を提唱している。 我々は,モデル平均化と勾配共有原理に基づく2つの新しいFedMFアルゴリズム,すなわちFedMAvgとFedMGSを提案する。
  論文  参考訳（メタデータ） (2020-02-12T11:48:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。