論文の概要: A Mutual Information Perspective on Federated Contrastive Learning

• arxiv url: http://arxiv.org/abs/2405.02081v1
• Date: Fri, 3 May 2024 13:15:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-06 12:55:53.283913
• Title: A Mutual Information Perspective on Federated Contrastive Learning
• Title（参考訳）: 相互情報を用いた相互比較学習
• Authors: Christos Louizos, Matthias Reisser, Denis Korzhenkov,
• Abstract要約: 我々は、SimCLRのレンズと多視点相互情報による連合環境におけるコントラスト学習について検討する。 我々は,世界的相互情報による教師なし学習のパフォーマンスに,非i-d-nessの異なる情報源がどのような影響を及ぼすかを検討する。
• 参考スコア（独自算出の注目度）: 8.29141776831707
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate contrastive learning in the federated setting through the lens of SimCLR and multi-view mutual information maximization. In doing so, we uncover a connection between contrastive representation learning and user verification; by adding a user verification loss to each client's local SimCLR loss we recover a lower bound to the global multi-view mutual information. To accommodate for the case of when some labelled data are available at the clients, we extend our SimCLR variant to the federated semi-supervised setting. We see that a supervised SimCLR objective can be obtained with two changes: a) the contrastive loss is computed between datapoints that share the same label and b) we require an additional auxiliary head that predicts the correct labels from either of the two views. Along with the proposed SimCLR extensions, we also study how different sources of non-i.i.d.-ness can impact the performance of federated unsupervised learning through global mutual information maximization; we find that a global objective is beneficial for some sources of non-i.i.d.-ness but can be detrimental for others. We empirically evaluate our proposed extensions in various tasks to validate our claims and furthermore demonstrate that our proposed modifications generalize to other pretraining methods.
• Abstract（参考訳）: 我々は、SimCLRのレンズと多視点相互情報最大化による連合環境におけるコントラスト学習について検討する。 そこで,各クライアントのローカルSimCLR損失にユーザ認証損失を加えることで,グローバルなマルチビュー相互情報に対する低境界を回復する。 クライアントでラベル付きデータが利用可能になった場合に備えて、私たちはSimCLRの亜種をフェデレートされた半教師付き設定に拡張します。 教師付きSimCLRの目的は、以下の2つの変更で得られる。 a) 対照的な損失は、同一のラベルを共有するデータポイント間で計算され、 b) 2つのビューのいずれかから正しいラベルを予測する追加の補助ヘッドが必要である。 提案したSimCLR拡張とともに、国際的相互情報の最大化を通じて、非教師なし学習の異なる情報源が、フェデレートされた非教師なし学習のパフォーマンスにどのように影響するかについても検討する。 我々は,提案した拡張を様々なタスクで実証的に評価し,さらに提案した修正が他の事前学習手法に一般化されることを実証した。

関連論文リスト

• Diversity Over Quantity: A Lesson From Few Shot Relation Classification [62.66895901654023]
  多様な関係の集合に対するトレーニングは、モデルが目に見えない関係を一般化する能力を大幅に向上させることを示す。 我々は、既存のデータセットよりも桁違いに多くの関係型を組み込んだ新しいFSRCベンチマークであるREBEL-FSを紹介する。
  論文  参考訳（メタデータ） (2024-12-06T21:41:01Z)
• Regularized Contrastive Partial Multi-view Outlier Detection [76.77036536484114]
  RCPMOD(Regularized Contrastive partial Multi-view Outlier Detection)と呼ばれる新しい手法を提案する。 このフレームワークでは、コントラスト学習を利用して、ビュー一貫性のある情報を学び、一貫性の度合いでアウトレイラを識別する。 4つのベンチマークデータセットによる実験結果から,提案手法が最先端の競合より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-02T14:34:27Z)
• URRL-IMVC: Unified and Robust Representation Learning for Incomplete Multi-View Clustering [28.776476995363048]
  不完全なマルチビュークラスタリングのための統一表現学習(URRL-IMVC)を提案する。 URRL-IMVCは、複数のビューや隣接するサンプルからの情報を統合することで、失われた状態を見るのに堅牢な統合埋め込みを直接学習する。 提案するURRL-IMVCフレームワークを様々なベンチマークデータセット上で広範囲に評価し,その最先端性能を実証した。
  論文  参考訳（メタデータ） (2024-07-12T09:35:25Z)
• The Curse of Diversity in Ensemble-Based Exploration [7.209197316045156]
  データ共有エージェントの多様なアンサンブルの訓練は、個々のアンサンブルメンバーのパフォーマンスを著しく損なう可能性がある。 私たちはこの現象を多様性の呪いと呼んでいる。 多様性の呪いに対処する表現学習の可能性を示す。
  論文  参考訳（メタデータ） (2024-05-07T14:14:50Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Modeling Multiple Views via Implicitly Preserving Global Consistency and Local Complementarity [61.05259660910437]
  複数の視点から表現を学習するために,グローバルな一貫性と相補性ネットワーク(CoCoNet)を提案する。 グローバルな段階では、重要な知識はビュー間で暗黙的に共有され、そのような知識を捕捉するためのエンコーダの強化は、学習された表現の識別性を向上させることができる。 最後に、局所的な段階において、横断的な識別的知識を結合する相補的要素を提案し、また、エンコーダが視点的識別性だけでなく、横断的な相補的情報も学習するように誘導する。
  論文  参考訳（メタデータ） (2022-09-16T09:24:00Z)
• R\'enyiCL: Contrastive Representation Learning with Skew R\'enyi Divergence [78.15455360335925]
  我々はR'enyiCLという新しい頑健なコントラスト学習手法を提案する。 我々の手法は R'enyi divergence の変動的下界の上に構築されている。 我々は,R'enyi の対照的な学習目的が,自然に強い負のサンプリングと簡単な正のサンプリングを同時に行うことを示す。
  論文  参考訳（メタデータ） (2022-08-12T13:37:05Z)
• Variational Distillation for Multi-View Learning [104.17551354374821]
  我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。 厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
  論文  参考訳（メタデータ） (2022-06-20T03:09:46Z)
• Farewell to Mutual Information: Variational Distillation for Cross-Modal Person Re-Identification [41.02729491273057]
  Information Bottleneck (IB)は、表現学習のための情報理論の原則を提供する。 我々は、スケーラブルで柔軟で分析的なソリューションを提供する新しい戦略、可変自己蒸留(VSD)を提示します。 また、Variational Cross-Distillation (VCD) と Variational Mutual-Learning (VML) の2つの戦略を紹介します。
  論文  参考訳（メタデータ） (2021-04-07T02:19:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。