論文の概要: Learning to Collaborate Over Graphs: A Selective Federated Multi-Task Learning Approach

• arxiv url: http://arxiv.org/abs/2506.10102v1
• Date: Wed, 11 Jun 2025 18:39:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 15:37:22.39478
• Title: Learning to Collaborate Over Graphs: A Selective Federated Multi-Task Learning Approach
• Title（参考訳）: グラフ上でコラボレートする学習: 選択的フェデレーション型マルチタスク学習アプローチ
• Authors: Ahmed Elbakary, Chaouki Ben Issaid, Mehdi Bennis,
• Abstract要約: 本稿では,クライアント毎にパーソナライズされた学習を可能にするために,クライアント間の類似性を活用した新しいマルチタスク学習手法を提案する。 本稿では,クライアントのローカルクラスから学んだ特徴を要約したコンパクトなベクトル表現である特徴アンカーを導入する通信効率の高いスキームを提案する。 さらに、クライアントは分類ヘッド、軽量の線形層を共有し、グラフベースの正規化を実行し、クライアント間のコラボレーションを可能にする。
• 参考スコア（独自算出の注目度）: 34.756818299081736
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a novel federated multi-task learning method that leverages cross-client similarity to enable personalized learning for each client. To avoid transmitting the entire model to the parameter server, we propose a communication-efficient scheme that introduces a feature anchor, a compact vector representation that summarizes the features learned from the client's local classes. This feature anchor is shared with the server to account for local clients' distribution. In addition, the clients share the classification heads, a lightweight linear layer, and perform a graph-based regularization to enable collaboration among clients. By modeling collaboration between clients as a dynamic graph and continuously updating and refining this graph, we can account for any drift from the clients. To ensure beneficial knowledge transfer and prevent negative collaboration, we leverage a community detection-based approach that partitions this dynamic graph into homogeneous communities, maximizing the sum of task similarities, represented as the graph edges' weights, within each community. This mechanism restricts collaboration to highly similar clients within their formed communities, ensuring positive interaction and preserving personalization. Extensive experiments on two heterogeneous datasets demonstrate that our method significantly outperforms state-of-the-art baselines. Furthermore, we show that our method exhibits superior computation and communication efficiency and promotes fairness across clients.
• Abstract（参考訳）: 本稿では,クライアント毎にパーソナライズされた学習を可能にするために,クライアント間の類似性を活用した新しいマルチタスク学習手法を提案する。 パラメータサーバに全モデルを送信するのを避けるため,クライアントのローカルクラスから得られた特徴を要約したコンパクトなベクトル表現である特徴アンカーを導入する通信効率の高いスキームを提案する。 この機能アンカーはサーバと共有され、ローカルクライアントの配布を考慮に入れます。 さらに、クライアントは分類ヘッド、軽量の線形層を共有し、グラフベースの正規化を実行し、クライアント間のコラボレーションを可能にする。 クライアント間のコラボレーションを動的グラフとしてモデル化し、このグラフを継続的に更新および精錬することにより、クライアントからのドリフトを考慮できます。 そこで我々は,この動的グラフを均質なコミュニティに分割し,各コミュニティ内でグラフエッジの重みとして表されるタスク類似性の和を最大化する,コミュニティ検出ベースのアプローチを活用する。 このメカニズムは、コミュニティ内の非常に類似したクライアントとのコラボレーションを制限し、ポジティブなインタラクションを確保し、パーソナライズを保護する。 2つの異種データセットに対する大規模な実験により、我々の手法は最先端のベースラインを著しく上回ることを示した。 さらに,本手法は計算効率と通信効率に優れ,クライアント間の公平性を向上することを示す。

関連論文リスト

• Byzantine Resilient Federated Multi-Task Representation Learning [1.6114012813668932]
  欠陥や悪意のあるエージェントを扱うビザンチン耐性のマルチタスク表現学習フレームワークBR-MTRLを提案する。 このアプローチでは、クライアント固有の最終層を除いて、すべてのクライアントが固定層を共有する、共有ニューラルネットワークモデルによる表現学習を活用しています。
  論文  参考訳（メタデータ） (2025-03-24T23:26:28Z)
• FedAGHN: Personalized Federated Learning with Attentive Graph HyperNetworks [19.57993976799076]
  PFLは、クライアントごとにパーソナライズされたモデルを学ぶことで、クライアント間でのデータの統計的不均一性に対処することを目的としている。 Attentive Graph HyperNetworks (FedAGHN) を用いた個人化フェデレーション学習を提案する。 FedAGHNはきめ細かいコラボレーティブな関係を捉え、クライアント固有のパーソナライズされた初期モデルを生成する。
  論文  参考訳（メタデータ） (2025-01-24T10:48:30Z)
• Personalized Federated Knowledge Graph Embedding with Client-Wise Relation Graph [49.66272783945571]
  クライアント関係グラフを用いた個人化フェデレーション知識グラフを提案する。 PFedEGは、近隣のクライアントから埋め込まれたエンティティを集約することで、各クライアントに対してパーソナライズされた補完知識を学習する。 我々は4つのベンチマークデータセットの広範な実験を行い、その手法を最先端モデルに対して評価する。
  論文  参考訳（メタデータ） (2024-06-17T17:44:53Z)
• Personalized Federated Learning via Sequential Layer Expansion in Representation Learning [0.0]
  フェデレーション学習は、個々のクライアントデバイス上で分散トレーニングを行い、中央サーバでモデルウェイトのみを共有することによって、クライアントのプライバシを保証する。 本稿では,ディープラーニングモデル全体をより密に分割した部分に分割し,適切なスケジューリング手法を適用した表現学習に基づく新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-27T06:37:19Z)
• Personalizing Federated Learning with Over-the-Air Computations [84.8089761800994]
  フェデレートされたエッジ学習は、プライバシー保護の方法で無線ネットワークのエッジにインテリジェンスをデプロイする、有望な技術である。 このような設定の下で、複数のクライアントは、エッジサーバの調整の下でグローバルジェネリックモデルを協調的にトレーニングする。 本稿では,アナログオーバー・ザ・エア計算を用いて通信ボトルネックに対処する分散トレーニングパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T08:41:19Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Communication-Efficient Federated Learning with Accelerated Client Gradient [46.81082897703729]
  フェデレーション学習は、クライアントデータセットの不均一な特徴のために、遅くて不安定な収束に悩まされることが多い。 本稿では,クライアント間の一貫性を改善し,サーバモデルの収束を容易にする,シンプルだが効果的なフェデレーション学習フレームワークを提案する。 我々は,アルゴリズムの理論的収束率を示し,精度と通信効率の点で顕著な性能向上を示す。
  論文  参考訳（メタデータ） (2022-01-10T05:31:07Z)
• Federated Multi-Target Domain Adaptation [99.93375364579484]
  フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。 分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。 本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:53:05Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。