論文の概要: Loop Improvement: An Efficient Approach for Extracting Shared Features from Heterogeneous Data without Central Server

• arxiv url: http://arxiv.org/abs/2403.14371v1
• Date: Thu, 21 Mar 2024 12:59:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-22 14:18:45.500331
• Title: Loop Improvement: An Efficient Approach for Extracting Shared Features from Heterogeneous Data without Central Server
• Title（参考訳）: ループ改善: 中央サーバなしの不均一データから共有特徴を抽出する効率的なアプローチ
• Authors: Fei Li, Chu Kiong Loo, Wei Shiung Liew, Xiaofeng Liu,
• Abstract要約: LI(Loop Improvement)は、この分離と特徴抽出を、参加者間の中央サーバやデータ交換を必要とせずに強化する新しい手法である。 パーソナライズされたフェデレーション学習環境では、LIは様々なシナリオで高度なFedALAアルゴリズムよりも精度が高い。 LIの適応性はマルチタスク学習にまで拡張され、タスク間で共通の機能の抽出が合理化され、同時にトレーニングする必要がなくなる。
• 参考スコア（独自算出の注目度）: 16.249442761713322
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In federated learning, data heterogeneity significantly impacts performance. A typical solution involves segregating these parameters into shared and personalized components, a concept also relevant in multi-task learning. Addressing this, we propose "Loop Improvement" (LI), a novel method enhancing this separation and feature extraction without necessitating a central server or data interchange among participants. Our experiments reveal LI's superiority in several aspects: In personalized federated learning environments, LI consistently outperforms the advanced FedALA algorithm in accuracy across diverse scenarios. Additionally, LI's feature extractor closely matches the performance achieved when aggregating data from all clients. In global model contexts, employing LI with stacked personalized layers and an additional network also yields comparable results to combined client data scenarios. Furthermore, LI's adaptability extends to multi-task learning, streamlining the extraction of common features across tasks and obviating the need for simultaneous training. This approach not only enhances individual task performance but also achieves accuracy levels on par with classic multi-task learning methods where all tasks are trained simultaneously. LI integrates a loop topology with layer-wise and end-to-end training, compatible with various neural network models. This paper also delves into the theoretical underpinnings of LI's effectiveness, offering insights into its potential applications. The code is on https://github.com/axedge1983/LI
• Abstract（参考訳）: フェデレーション学習では、データの異質性はパフォーマンスに大きく影響する。 典型的な解決策は、これらのパラメータを共有およびパーソナライズされたコンポーネントに分離することであり、これはマルチタスク学習にも関係している。 そこで我々は,この分離と特徴抽出を,参加者間の中央サーバやデータ交換を必要とせずに促進する手法である"Loop Improvement"(LI)を提案する。 パーソナライズされた学習環境において、LIは様々なシナリオにおいて高度なFedALAアルゴリズムよりも常に優れています。 さらに、LIの機能抽出器は、すべてのクライアントからデータを集約する際に達成されたパフォーマンスと密接に一致します。 グローバルなモデルコンテキストでは、LIをスタック化されたパーソナライズされたレイヤと追加のネットワークで使用することで、クライアントデータシナリオの組み合わせに匹敵する結果が得られる。 さらに、LIの適応性はマルチタスク学習にまで拡張され、タスク間で共通の機能の抽出が合理化され、同時にトレーニングする必要がなくなる。 このアプローチは個々のタスクのパフォーマンスを向上させるだけでなく、すべてのタスクを同時に訓練する古典的なマルチタスク学習手法と同等の精度を達成する。 LIは、様々なニューラルネットワークモデルと互換性のある、レイヤワイドおよびエンドツーエンドのトレーニングとループトポロジを統合している。 本稿では,LIの有効性の理論的基盤についても考察し,その可能性について考察する。 コードはhttps://github.com/axedge 1983/LIにある。

関連論文リスト

• Collaborative and Efficient Personalization with Mixtures of Adaptors [5.195669033269619]
  マルチタスク学習問題に対処するパラメータ効率の枠組みを提案する。 FLoRAL(Federated Low-Rank Adaptive Learning)と呼ぶフレームワークがあります。 人工データセットと実世界のフェデレートされたマルチタスク問題に関する有望な実験結果を示す。
  論文  参考訳（メタデータ） (2024-10-04T15:11:15Z)
• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Personalized Federated Learning with Feature Alignment and Classifier Collaboration [13.320381377599245]
  データの不均一性は、フェデレートラーニングにおける最も難しい問題の1つです。 ディープニューラルネットワークベースのタスクにおけるそのようなアプローチの1つは、共有された特徴表現を採用し、クライアントごとにカスタマイズされた分類子ヘッドを学ぶことである。 本研究では,グローバルなセマンティックな知識を活用して,より優れた表現を学習することで,ローカル・グローバルな特徴アライメントを実現する。
  論文  参考訳（メタデータ） (2023-06-20T19:58:58Z)
• Personalized Decentralized Multi-Task Learning Over Dynamic Communication Graphs [59.96266198512243]
  本稿では,正と負の相関関係を持つタスクに対する分散・フェデレーション学習アルゴリズムを提案する。 本アルゴリズムでは,タスク間の相関関係を自動的に計算し,コミュニケーショングラフを動的に調整して相互に有益なタスクを接続し,互いに悪影響を及ぼす可能性のあるタスクを分離する。 合成ガウスデータセットと大規模セレブ属性(CelebA)データセットについて実験を行った。
  論文  参考訳（メタデータ） (2022-12-21T18:58:24Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Learning to Match Jobs with Resumes from Sparse Interaction Data using Multi-View Co-Teaching Network [83.64416937454801]
  ジョブ列のインタラクションデータは疎結合でノイズが多く、ジョブ列のマッチングアルゴリズムのパフォーマンスに影響する。 求人情報マッチングのための疎相互作用データから,新しいマルチビュー協調学習ネットワークを提案する。 我々のモデルは求人マッチングの最先端手法より優れている。
  論文  参考訳（メタデータ） (2020-09-25T03:09:54Z)
• Task-Feature Collaborative Learning with Application to Personalized Attribute Prediction [166.87111665908333]
  本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。 具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。 実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
  論文  参考訳（メタデータ） (2020-04-29T02:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。