論文の概要: ColNet: Collaborative Optimization in Decentralized Federated Multi-task Learning Systems

• arxiv url: http://arxiv.org/abs/2501.10347v1
• Date: Fri, 17 Jan 2025 18:40:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 13:59:11.897690
• Title: ColNet: Collaborative Optimization in Decentralized Federated Multi-task Learning Systems
• Title（参考訳）: ColNet: 分散型マルチタスク学習システムにおける協調最適化
• Authors: Chao Feng, Nicolas Fazli Kohler, Alberto Huertas Celdran, Gerome Bovet, Burkhard Stiller,
• Abstract要約: ColNetは、分散化されたフェデレーション環境における異種タスク用に設計されたフレームワークである。 異なるフェデレーションによる実験のプールは、ColNetが分散化された環境で比較したアグリゲーションスキームよりも優れていることを示した。
• 参考スコア（独自算出の注目度）: 7.228253116465784
• License:
• Abstract: The integration of Federated Learning (FL) and Multi-Task Learning (MTL) has been explored to address client heterogeneity, with Federated Multi-Task Learning (FMTL) treating each client as a distinct task. However, most existing research focuses on data heterogeneity (e.g., addressing non-IID data) rather than task heterogeneity, where clients solve fundamentally different tasks. Additionally, much of the work relies on centralized settings with a server managing the federation, leaving the more challenging domain of decentralized FMTL largely unexplored. Thus, this work bridges this gap by proposing ColNet, a framework designed for heterogeneous tasks in decentralized federated environments. ColNet divides models into the backbone and task-specific layers, forming groups of similar clients, with group leaders performing conflict-averse cross-group aggregation. A pool of experiments with different federations demonstrated ColNet outperforms the compared aggregation schemes in decentralized settings with label and task heterogeneity scenarios.
• Abstract（参考訳）: フェデレート・ラーニング(FL)とマルチタスク・ラーニング(MTL)の統合は、クライアントの不均一性に対処するために検討され、フェデレート・マルチタスク・ラーニング(FMTL)は各クライアントを個別のタスクとして扱う。 しかし、既存の研究のほとんどはタスクの不均一性ではなくデータ不均一性(例えば、非IIDデータに対処するなど)に焦点を当てており、クライアントは基本的に異なるタスクを解決している。 さらに、多くの作業は、フェデレーションを管理するサーバによる集中的な設定に依存しており、分散化されたFMTLのドメインは、ほとんど探索されていないままである。 この作業は、分散化されたフェデレーション環境における異種タスク用に設計されたフレームワークであるColNetの提案によって、このギャップを埋める。 ColNetはモデルをバックボーン層とタスク固有の層に分割し、類似したクライアントのグループを形成し、グループリーダーはコンフリクト-アバース・クロスグループアグリゲーションを実行する。 異なるフェデレーションによる実験のプールは、ラベルとタスクの不均一性シナリオによる分散された設定において、ColNetが比較したアグリゲーションスキームよりも優れていることを示した。

関連論文リスト

• Data Similarity-Based One-Shot Clustering for Multi-Task Hierarchical Federated Learning [8.37314799155978]
  本研究では,データの類似性に基づいてユーザを効果的に識別し,グループ化できるワンショットクラスタリングアルゴリズムを提案する。 提案アルゴリズムはクラスタリングプロセスを強化するだけでなく,プライバシの懸念や通信のオーバーヘッド,学習モデルや損失関数の振る舞いに関する事前知識の必要性といった課題も克服する。
  論文  参考訳（メタデータ） (2024-10-03T17:51:21Z)
• FedCCL: Federated Dual-Clustered Feature Contrast Under Domain Heterogeneity [43.71967577443732]
  フェデレートラーニング(FL)は、エッジクライアントと中央サーバとのコラボレーションを通じて、プライバシ保護のニューラルネットワークトレーニングパラダイムを促進する。 最近の研究は、単に正規化の形式として平均的な信号を使い、これらの非IID課題の1つの側面にのみ焦点をあてることに限られている。 マルチクラスタ機能を持つコントラストベースのFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-14T13:56:30Z)
• FedHCA$^2$: Towards Hetero-Client Federated Multi-Task Learning [18.601886059536326]
  Federated Learning (FL)は、ローカルデータをプライベートに使用して、分散クライアント間の共同トレーニングを可能にする。 我々は,多様なタスク設定に対応するために,新しい問題設定であるヘテロクライアントフェデレーション・マルチタスク学習(HC-FMTL)を導入する。 我々は、異種クライアント間の関係をモデル化することでパーソナライズされたモデルのフェデレーショントレーニングを可能にするFedHCA$2$フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-22T09:12:50Z)
• Federated cINN Clustering for Accurate Clustered Federated Learning [33.72494731516968]
  フェデレートラーニング(FL)は、プライバシを保存する分散機械学習に対する革新的なアプローチである。 本稿では,クライアントを複数のグループに頑健にクラスタリングするFederated cINN Clustering Algorithm (FCCA)を提案する。
  論文  参考訳（メタデータ） (2023-09-04T10:47:52Z)
• Generalizable Metric Network for Cross-domain Person Re-identification [55.71632958027289]
  クロスドメイン(ドメインの一般化)シーンは、Re-IDタスクにおいて課題となる。 既存のほとんどのメソッドは、すべてのドメインのドメイン不変またはロバストな機能を学ぶことを目的としています。 本稿では,サンプルペア空間における標本類似性を調べるために,GMN(Generalizable Metric Network)を提案する。
  論文  参考訳（メタデータ） (2023-06-21T03:05:25Z)
• DivClust: Controlling Diversity in Deep Clustering [47.85350249697335]
  DivClustはコンセンサスクラスタリングソリューションを生成し、単一クラスタリングベースラインを一貫して上回る。 提案手法は, フレームワークやデータセット間の多様性を, 計算コストを極めて小さく効果的に制御する。
  論文  参考訳（メタデータ） (2023-04-03T14:45:43Z)
• Efficient Distribution Similarity Identification in Clustered Federated Learning via Principal Angles Between Client Data Subspaces [59.33965805898736]
  クラスタ学習は、クライアントをクラスタにグループ化することで、有望な結果をもたらすことが示されている。 既存のFLアルゴリズムは基本的に、クライアントを同様のディストリビューションでグループ化しようとしている。 以前のFLアルゴリズムは、訓練中に間接的に類似性を試みていた。
  論文  参考訳（メタデータ） (2022-09-21T17:37:54Z)
• Heterogeneous Federated Learning via Grouped Sequential-to-Parallel Training [60.892342868936865]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ保護のためのコラボレーション機械学習パラダイムである。 本稿では,この課題に対処するため,データヘテロジニアス・ロバストFLアプローチであるFedGSPを提案する。 その結果,FedGSPは7つの最先端アプローチと比較して平均3.7%の精度向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-01-31T03:15:28Z)
• Federated Multi-Target Domain Adaptation [99.93375364579484]
  フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。 分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。 本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:53:05Z)
• Aggregation Delayed Federated Learning [20.973999078271483]
  フェデレーション学習(Federated Learning)は、複数のデータ所有者(クライアント)が、自身のデバイスにデータを保持しながら、ひとつのマシンラーニングモデルを協調的にトレーニングする分散機械学習パラダイムである。 非IIDデータ上では、FedAvgのような標準フェデレーションアルゴリズムによる性能低下が報告されている。 非IIDデータを扱うための多くの既存の作業は、FedAvgと同じ集約フレームワークを採用し、サーバ側またはクライアントでモデル更新を改善することに重点を置いている。 本研究では, 集約を遅らせる再分配ラウンドを導入することで, この課題に取り組み, 複数タスクの実験を行い, 提案したフレームワークが非IIDの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2021-08-17T04:06:10Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。