論文の概要: Rethinking The Uniformity Metric in Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2403.00642v2
• Date: Fri, 26 Apr 2024 08:24:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-29 17:18:42.253742
• Title: Rethinking The Uniformity Metric in Self-Supervised Learning
• Title（参考訳）: 自己指導型学習における一様性メトリクスの再考
• Authors: Xianghong Fang, Jian Li, Qiang Sun, Benyou Wang,
• Abstract要約: 統一性は学習した表現を評価する上で重要な役割を担い、自己指導型学習に対する洞察を提供する。 citetWang 2020UnderstandingCRによって提案された均一性指標は、これらの特性の大部分を満たすことができない。 これらの制限を克服するために、ワッサーシュタイン距離に基づく新しい均一度計量を導入する。
• 参考スコア（独自算出の注目度）: 20.040558579232105
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Uniformity plays an important role in evaluating learned representations, providing insights into self-supervised learning. In our quest for effective uniformity metrics, we pinpoint four principled properties that such metrics should possess. Namely, an effective uniformity metric should remain invariant to instance permutations and sample replications while accurately capturing feature redundancy and dimensional collapse. Surprisingly, we find that the uniformity metric proposed by \citet{Wang2020UnderstandingCR} fails to satisfy the majority of these properties. Specifically, their metric is sensitive to sample replications, and can not account for feature redundancy and dimensional collapse correctly. To overcome these limitations, we introduce a new uniformity metric based on the Wasserstein distance, which satisfies all the aforementioned properties. Integrating this new metric in existing self-supervised learning methods effectively mitigates dimensional collapse and consistently improves their performance on downstream tasks involving CIFAR-10 and CIFAR-100 datasets. Code is available at \url{https://github.com/statsle/WassersteinSSL}.
• Abstract（参考訳）: 統一性は学習した表現を評価する上で重要な役割を担い、自己指導型学習に対する洞察を提供する。 効果的な一様性指標を求める中で、そのような指標が持つべき4つの原則的特性を指摘します。 すなわち、有効均一度計量は、特徴の冗長性と次元の崩壊を正確に捉えながら、インスタンスの置換やサンプルの複製に不変であり続けるべきである。 驚いたことに、 \citet{Wang2020UnderstandingCR} が提案する均一性計量はこれらの性質の大部分を満たすことができない。 特に、それらの計量はサンプル複製に敏感であり、特徴の冗長性と次元の崩壊を正しく説明できない。 これらの制限を克服するために、上述のすべての性質を満たすワッサーシュタイン距離に基づく新しい均一度計量を導入する。 CIFAR-10とCIFAR-100データセットを含む下流タスクにおいて、この新たなメトリクスを既存の自己教師型学習手法に統合することにより、次元の崩壊を効果的に軽減し、そのパフォーマンスを継続的に改善する。 コードは \url{https://github.com/statsle/WassersteinSSL} で入手できる。

関連論文リスト

• Gradient Boosting Mapping for Dimensionality Reduction and Feature Extraction [2.778647101651566]
  教師あり学習における根本的な問題は、優れた特徴や距離尺度を見つけることである。 本稿では,弱い学習者の出力が埋め込みを定義する,教師付き次元削減手法を提案する。 組込み座標は教師付き学習タスクにより良い機能を提供することを示す。
  論文  参考訳（メタデータ） (2024-05-14T10:23:57Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Rethinking Reconstruction Autoencoder-Based Out-of-Distribution Detection [0.0]
  リコンストラクションオートエンコーダに基づく手法は、入力再構成誤差を新規性対正規性の計量として用いることでこの問題に対処する。 本稿では, 意味的再構成, データの確実性分解, 正規化L2距離を導入し, 元の手法を大幅に改善する。 提案手法は,追加データや実装の困難さ,時間を要するパイプライン,さらには既知のクラスの分類精度を損なうことなく機能する。
  論文  参考訳（メタデータ） (2022-03-04T09:04:55Z)
• MetricOpt: Learning to Optimize Black-Box Evaluation Metrics [21.608384691401238]
  誤分類率やリコールなどのタスク評価指標を任意に最適化する問題について検討する。 MetricOptと呼ばれる私たちの方法は、ターゲットメトリックの計算詳細が不明なブラックボックス設定で動作します。 我々は、コンパクトなタスク固有のモデルパラメータを計量観測にマップする微分可能値関数を学習することでこれを達成する。
  論文  参考訳（メタデータ） (2021-04-21T16:50:01Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• ReMP: Rectified Metric Propagation for Few-Shot Learning [67.96021109377809]
  修正されたメートル法空間は、トレーニングからテストまでのメートル法一貫性を維持するために学習される。 多くの分析結果から、目的の単純な修正がかなりの性能向上をもたらすことが示唆された。 提案したReMPは効率的で効率的であり、様々な標準的な数発の学習データセットで芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-12-02T00:07:53Z)
• ECML: An Ensemble Cascade Metric Learning Mechanism towards Face Verification [50.137924223702264]
  特に、階層的メートル法学習はカスケード方式で実行され、不適合を緩和する。 顔の特徴分布特性を考慮し, 閉形解を用いたロバストなマハラノビス計量学習法(RMML)を提案する。 EC-RMMLは、顔認証のための最先端のメトリック学習法よりも優れている。
  論文  参考訳（メタデータ） (2020-07-11T08:47:07Z)
• Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
  本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。 提案手法は, 十分次元還元法の非パラメトリック一般化である。 推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
  論文  参考訳（メタデータ） (2020-06-10T14:47:43Z)
• Learning Flat Latent Manifolds with VAEs [16.725880610265378]
  本稿では、ユークリッド計量がデータポイント間の類似性のプロキシとなる変分自動エンコーダのフレームワークの拡張を提案する。 我々は、変分オートエンコーダで一般的に使用されるコンパクトな以前のものを、最近発表されたより表現力のある階層型に置き換える。 提案手法は,ビデオ追跡ベンチマークを含む,さまざまなデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2020-02-12T09:54:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。