論文の概要: Hyperspherically Regularized Networks for BYOL Improves Feature Uniformity and Separability

• arxiv url: http://arxiv.org/abs/2105.00925v1
• Date: Thu, 29 Apr 2021 18:57:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-04 13:56:19.964581
• Title: Hyperspherically Regularized Networks for BYOL Improves Feature Uniformity and Separability
• Title（参考訳）: byolの超球面正規化ネットワークによる特徴均一性と分離性の向上
• Authors: Aiden Durrant and Georgios Leontidis
• Abstract要約: bootstrap Your Own Latent (BYOL)は、コントラストパラダイムを回避する自己監督学習のアプローチを導入した。 この研究は、BYOLで採用する場合、コントラスト損失によって強制される特徴の多様性が有益であることを実証的に示している。
• 参考スコア（独自算出の注目度）: 4.822598110892847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bootstrap Your Own Latent (BYOL) introduced an approach to self-supervised learning avoiding the contrastive paradigm and subsequently removing the computational burden of negative sampling. However, feature representations under this paradigm are poorly distributed on the surface of the unit-hypersphere representation space compared to contrastive methods. This work empirically demonstrates that feature diversity enforced by contrastive losses is beneficial when employed in BYOL, and as such, provides greater inter-class feature separability. Therefore to achieve a more uniform distribution of features, we advocate the minimization of hyperspherical energy (i.e. maximization of entropy) in BYOL network weights. We show that directly optimizing a measure of uniformity alongside the standard loss, or regularizing the networks of the BYOL architecture to minimize the hyperspherical energy of neurons can produce more uniformly distributed and better performing representations for downstream tasks.
• Abstract（参考訳）: Bootstrap Your Own Latent (BYOL)は、対照的なパラダイムを避けるための自己教師型学習アプローチを導入し、その後、負サンプリングの計算負担を取り除く。 しかし、このパラダイムに基づく特徴表現は、対照的な方法と比較して単位超球面表現空間の表面には分布しない。 この研究は、対照的な損失によって課される特徴の多様性がbyolで使われる場合に有益であることを実証的に示しており、それによってクラス間の特徴分離性が向上する。 したがって、より均一な特徴分布を達成するため、超球面エネルギー(すなわち、超球面エネルギー)の最小化を提唱する。 byolネットワーク重みにおけるエントロピーの最大化) 標準損失と並行して一様性の尺度を直接最適化したり、byolアーキテクチャのネットワークを調整してニューロンの超球面エネルギーを最小化することで、より均一に分散し、下流タスクの表現をより良くできることを示す。

関連論文リスト

• Generalizable Person Re-identification via Balancing Alignment and Uniformity [22.328800139066914]
  ドメイン一般化可能な人物再識別(DG re-ID)は、分布シフトに頑健な識別表現を学習することを目的としている。 ある増補は、このタスクにおいて偏極効果を示し、分配性能を低下させながら、分配性能を向上させる。 本研究では,アライメントと統一性のバランスを維持することによって,この効果を効果的に軽減する新しい枠組みであるBAUを提案する。
  論文  参考訳（メタデータ） (2024-11-18T11:13:30Z)
• Negative-Free Self-Supervised Gaussian Embedding of Graphs [29.26519601854811]
  グラフコントラスト学習(GCL)は、有望なグラフ自己教師型学習フレームワークとして登場した。 正規化された等方的ガウス関数に従って分布する点が単位超球面全体に均一に広がるという事実に着想を得た、一様性を達成するための負の目的を提案する。 提案手法は,既存のGCL法と比較して,少ないパラメータ,短いトレーニング時間,少ないメモリ消費で競合性能を実現する。
  論文  参考訳（メタデータ） (2024-11-02T07:04:40Z)
• Fine-Tuning of Continuous-Time Diffusion Models as Entropy-Regularized Control [54.132297393662654]
  拡散モデルは、自然画像やタンパク質のような複雑なデータ分布を捉えるのに優れている。 拡散モデルはトレーニングデータセットの分布を表現するために訓練されるが、私たちはしばしば、生成された画像の美的品質など他の特性にもっと関心を持っている。 本稿では,本フレームワークが真に報酬の高い多種多様なサンプルを効率よく生成できることを示す理論的,実証的な証拠を示す。
  論文  参考訳（メタデータ） (2024-02-23T08:54:42Z)
• Hard Negative Sampling via Regularized Optimal Transport for Contrastive Representation Learning [13.474603286270836]
  本研究では、教師なしコントラスト表現学習のためのハードネガティブサンプリング分布の設計問題について検討する。 本稿では,最大(Worst-case)一般化されたコントラスト学習損失を最小限に抑える表現を求める新しいmin-maxフレームワークの提案と解析を行う。
  論文  参考訳（メタデータ） (2021-11-04T21:25:24Z)
• Pseudo-Spherical Contrastive Divergence [119.28384561517292]
  エネルギーベースモデルの最大学習確率を一般化するために,擬球面コントラスト分散(PS-CD)を提案する。 PS-CDは難解な分割関数を避け、学習目的の一般化されたファミリーを提供する。
  論文  参考訳（メタデータ） (2021-11-01T09:17:15Z)
• Momentum Contrastive Autoencoder: Using Contrastive Learning for Latent Space Distribution Matching in WAE [51.09507030387935]
  Wasserstein autoencoder (WAE) は、2つの分布が一致することは、このAEの潜在空間が予め指定された事前分布と一致するという制約の下で、単純なオートエンコーダ(AE)損失を最小限にすることと同値であることを示している。 本稿では,この問題を解決する手段として,自己指導型表現学習に有効であることを示すコントラスト学習フレームワークを提案する。 WAEの損失を最適化するために、対照的な学習フレームワークを使用することで、WAEの一般的なアルゴリズムと比較して、より高速に収束し、より安定した最適化が達成できることを示す。
  論文  参考訳（メタデータ） (2021-10-19T22:55:47Z)
• Eccentric Regularization: Minimizing Hyperspherical Energy without explicit projection [0.913755431537592]
  アイテム間の一対の反発力をシミュレートする新しい正規化損失関数を紹介します。 この損失関数を分離して最小化すると超球面分布が得られることを示す。 本稿では,この偏心正規化手法をオートエンコーダに適用し,画像生成,表現学習,下流分類タスクにおいてその効果を示す。
  論文  参考訳（メタデータ） (2021-04-23T13:55:17Z)
• Generalization Properties of Optimal Transport GANs with Latent Distribution Learning [52.25145141639159]
  本研究では,潜伏分布とプッシュフォワードマップの複雑さの相互作用が性能に与える影響について検討する。 我々の分析に感銘を受けて、我々はGANパラダイム内での潜伏分布とプッシュフォワードマップの学習を提唱した。
  論文  参考訳（メタデータ） (2020-07-29T07:31:33Z)
• Training Deep Energy-Based Models with f-Divergence Minimization [113.97274898282343]
  深部エネルギーベースモデル(EBM)は分布パラメトリゼーションにおいて非常に柔軟であるが、計算的に困難である。 所望のf偏差を用いてEMMを訓練するための、f-EBMと呼ばれる一般的な変分フレームワークを提案する。 実験の結果,F-EBMは対照的なばらつきよりも優れており,KL以外のf-divergencesを用いたEBMの訓練の利点も示された。
  論文  参考訳（メタデータ） (2020-03-06T23:11:13Z)
• Targeted free energy estimation via learned mappings [66.20146549150475]
  自由エネルギー摂動 (FEP) は60年以上前にズワンツィヒによって自由エネルギー差を推定する方法として提案された。 FEPは、分布間の十分な重複の必要性という厳しい制限に悩まされている。 目標自由エネルギー摂動(Targeted Free Energy Perturbation)と呼ばれるこの問題を緩和するための1つの戦略は、オーバーラップを増やすために構成空間の高次元マッピングを使用する。
  論文  参考訳（メタデータ） (2020-02-12T11:10:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。