論文の概要: Exploring Semantic Attributes from A Foundation Model for Federated Learning of Disjoint Label Spaces

• arxiv url: http://arxiv.org/abs/2208.13465v2
• Date: Tue, 28 Nov 2023 16:49:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 17:26:34.971231
• Title: Exploring Semantic Attributes from A Foundation Model for Federated Learning of Disjoint Label Spaces
• Title（参考訳）: 分散ラベル空間のフェデレーション学習のための基礎モデルからのセマンティック属性の探索
• Authors: Shitong Sun, Chenyang Si, Guile Wu, Shaogang Gong
• Abstract要約: 本研究では,特定の対象に敏感でない中レベルの意味的知識(属性など)の伝達を検討する。 我々はFZSL(Federated Zero-Shot Learning)パラダイムを定式化し、複数のローカルクライアントで中レベルのセマンティック知識を学習する。 モデル識別能力を向上させるために,外的知識からの意味的知識増強について検討する。
• 参考スコア（独自算出の注目度）: 46.59992662412557
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conventional centralised deep learning paradigms are not feasible when data from different sources cannot be shared due to data privacy or transmission limitation. To resolve this problem, federated learning has been introduced to transfer knowledge across multiple sources (clients) with non-shared data while optimising a globally generalised central model (server). Existing federated learning paradigms mostly focus on transferring holistic high-level knowledge (such as class) across models, which are closely related to specific objects of interest so may suffer from inverse attack. In contrast, in this work, we consider transferring mid-level semantic knowledge (such as attribute) which is not sensitive to specific objects of interest and therefore is more privacy-preserving and scalable. To this end, we formulate a new Federated Zero-Shot Learning (FZSL) paradigm to learn mid-level semantic knowledge at multiple local clients with non-shared local data and cumulatively aggregate a globally generalised central model for deployment. To improve model discriminative ability, we propose to explore semantic knowledge augmentation from external knowledge for enriching the mid-level semantic space in FZSL. Extensive experiments on five zeroshot learning benchmark datasets validate the effectiveness of our approach for optimising a generalisable federated learning model with mid-level semantic knowledge transfer.
• Abstract（参考訳）: 従来の集中型ディープラーニングパラダイムは、データプライバシや送信制限のため、異なるソースからのデータを共有できない場合、実現不可能である。 この問題を解決するために、グローバルに一般化された中央モデル(サーバ)を最適化しながら、複数のソース(クライアント)に非共有データで知識を伝達するフェデレーション学習が導入された。 既存のフェデレートされた学習パラダイムは、主にモデルの全体的高レベルな知識(クラスなど)の伝達に焦点を当てており、これは特定の関心の対象と密接に関連しているため、逆攻撃に悩まされる可能性がある。 対照的に、本研究では、特定の関心対象に敏感でないため、よりプライバシー保護的でスケーラブルな中レベルの意味知識(属性など)の転送を検討する。 この目的のために,共有されていないローカルデータを用いて,複数のローカルクライアントで中レベルの意味知識を学習し,グローバルに一般化されたデプロイメントの中央モデルを累積集約する,新しいフェデレーションゼロショット学習(fzsl)パラダイムを策定する。 モデル識別能力を向上させるために,FZSLの中間レベル意味空間を充実させるために,外部知識からのセマンティック知識増強を提案する。 5つのゼロショット学習ベンチマークデータセットの大規模な実験により、中間レベルの意味的知識伝達を伴う一般化可能なフェデレーション学習モデルを最適化するためのアプローチの有効性が検証された。

関連論文リスト

• Cross-Training with Multi-View Knowledge Fusion for Heterogenous Federated Learning [13.796783869133531]
  本稿では,多視点情報を活用したクロストレーニング手法により,フェデレーション学習を促進する新しい手法を提案する。 具体的には、FedCTと呼ばれる提案手法には、3つの主要なモジュールが含まれており、整合性を考慮した知識放送モジュールはモデルの割り当て戦略を最適化することを目的としている。 多視点知識誘導表現学習モジュールは、グローバルな視点とローカルな視点の両方から融合した知識を活用し、モデル交換前後の局所的な知識の保存を強化する。 ミックスアップベースの機能拡張モジュールは、豊富な情報を集約して、機能空間の多様性をさらに高める。
  論文  参考訳（メタデータ） (2024-05-30T13:27:30Z)
• Personalized Federated Learning with Feature Alignment and Classifier Collaboration [13.320381377599245]
  データの不均一性は、フェデレートラーニングにおける最も難しい問題の1つです。 ディープニューラルネットワークベースのタスクにおけるそのようなアプローチの1つは、共有された特徴表現を採用し、クライアントごとにカスタマイズされた分類子ヘッドを学ぶことである。 本研究では,グローバルなセマンティックな知識を活用して,より優れた表現を学習することで,ローカル・グローバルな特徴アライメントを実現する。
  論文  参考訳（メタデータ） (2023-06-20T19:58:58Z)
• Knowledge-Aware Federated Active Learning with Non-IID Data [75.98707107158175]
  本稿では,アノテーション予算に制限のあるグローバルモデルを効率的に学習するための,連合型アクティブラーニングパラダイムを提案する。 フェデレートされたアクティブラーニングが直面する主な課題は、サーバ上のグローバルモデルのアクティブサンプリング目標と、ローカルクライアントのアクティブサンプリング目標とのミスマッチである。 本稿では,KSAS (Knowledge-Aware Federated Active Learning) とKCFU (Knowledge-Compensatory Federated Update) を組み合わせた,知識対応型アクティブ・ラーニング(KAFAL)を提案する。
  論文  参考訳（メタデータ） (2022-11-24T13:08:43Z)
• Feature Correlation-guided Knowledge Transfer for Federated Self-supervised Learning [19.505644178449046]
  特徴相関に基づくアグリゲーション(FedFoA)を用いたフェデレーション型自己教師型学習法を提案する。 私たちの洞察は、機能相関を利用して、特徴マッピングを整列し、ローカルトレーニングプロセス中にクライアント間でローカルモデルの更新を校正することにあります。 我々はFedFoAがモデルに依存しないトレーニングフレームワークであることを証明する。
  論文  参考訳（メタデータ） (2022-11-14T13:59:50Z)
• FedClassAvg: Local Representation Learning for Personalized Federated Learning on Heterogeneous Neural Networks [21.613436984547917]
  我々は、フェデレーション分類器平均化(FedClassAvg)と呼ばれる、新しいパーソナライズされたフェデレーション学習手法を提案する。 FedClassAvgは、特徴空間上の決定境界に関する合意として重みを集約する。 異質なパーソナライズされたフェデレーション学習タスクにおいて、現在の最先端のアルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-10-25T08:32:08Z)
• Meta Knowledge Condensation for Federated Learning [65.20774786251683]
  既存のフェデレートされた学習パラダイムは通常、より強力なモデルを達成するために、中央の解決器で分散モデルを広範囲に交換する。 これにより、特にデータ分散が不均一である場合、サーバと複数のクライアントの間で深刻な通信負荷が発生します。 既存のパラダイムとは違って,フェデレート学習におけるコミュニケーションコストを大幅に削減する新たな視点を導入する。
  論文  参考訳（メタデータ） (2022-09-29T15:07:37Z)
• Personalized Federated Learning through Local Memorization [10.925242558525683]
  フェデレーション学習により、クライアントはデータをローカルに保ちながら、統計的モデルを協調的に学習することができる。 最近のパーソナライズされた学習方法は、他のクライアントで利用可能な知識を活用しながら、各クライアントに対して別々のモデルを訓練する。 本稿では,この手法が最先端手法よりも精度と公平性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-11-17T19:40:07Z)
• Decentralised Person Re-Identification with Selective Knowledge Aggregation [56.40855978874077]
  既存の人物再識別(Re-ID)手法は、主に、モデル学習のためのコレクションにすべてのトレーニングデータを共有する集中型学習パラダイムに従っている。 グローバルに一般化されたモデル(サーバ)を構築するための分散(フェデレーション)Re-ID学習を導入した最近の2つの作品がある。 しかし、これらの手法は、個々のクライアントドメインのRe-IDタスクのパフォーマンスを最大化するために一般化されたモデルを適用する方法に乏しい。 我々は、モデルパーソナライゼーションと一般化のトレードオフを最適化するために、分散化されたRe-IDに対して、新しい選択的知識集約アプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-21T18:09:53Z)
• Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
  本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。 提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。 この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
  論文  参考訳（メタデータ） (2021-02-14T05:36:25Z)
• Multi-Center Federated Learning [62.57229809407692]
  本稿では,フェデレート学習のための新しい多中心集約機構を提案する。 非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。 ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
  論文  参考訳（メタデータ） (2020-05-03T09:14:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。