論文の概要: Rethinking The Uniformity Metric in Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2403.00642v1
• Date: Fri, 1 Mar 2024 16:22:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-05 16:57:45.047848
• Title: Rethinking The Uniformity Metric in Self-Supervised Learning
• Title（参考訳）: 自己指導型学習における一様性メトリクスの再考
• Authors: Xianghong Fang, Jian Li, Qiang Sun, Benyou Wang
• Abstract要約: 次元崩壊に対する感度を示す新しい均一度指標を導入する。 各種自己監督手法の補助的損失として適用した場合,提案手法は下流タスクの性能を継続的に向上させる。
• 参考スコア（独自算出の注目度）: 21.892870543898972
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Uniformity plays a crucial role in the assessment of learned representations, contributing to a deeper comprehension of self-supervised learning. The seminal work by \citet{Wang2020UnderstandingCR} introduced a uniformity metric that quantitatively measures the collapse degree of learned representations. Directly optimizing this metric together with alignment proves to be effective in preventing constant collapse. However, we present both theoretical and empirical evidence revealing that this metric lacks sensitivity to dimensional collapse, highlighting its limitations. To address this limitation and design a more effective uniformity metric, this paper identifies five fundamental properties, some of which the existing uniformity metric fails to meet. We subsequently introduce a novel uniformity metric that satisfies all of these desiderata and exhibits sensitivity to dimensional collapse. When applied as an auxiliary loss in various established self-supervised methods, our proposed uniformity metric consistently enhances their performance in downstream tasks.Our code was released at https://github.com/sunset-clouds/WassersteinUniformityMetric.
• Abstract（参考訳）: 統一性は学習された表現を評価する上で重要な役割を担い、自己指導型学習の深い理解に寄与する。 \citet{Wang2020UnderstandingCR} によるセミナルな研究は、学習された表現の崩壊度を定量的に測定する一様性計量を導入した。 この計量をアライメントと共に直接最適化することは、一定の崩壊を防ぐのに有効であることが証明される。 しかし、この計量が次元の崩壊に対する感受性を欠き、その限界を浮き彫りにする理論的証拠と経験的証拠の両方を示す。 この制限に対処し、より効果的な均一度計量を設計するために、本論文は、既存の均一度計量が満たさない5つの基本特性を同定する。 その後,これらのデシデラタをすべて満たし,次元崩壊に対する感受性を示す新しい一様性計量を導入する。 確立された様々な自己監督メソッドにおける補助的損失として適用すると、提案する一様度メトリクスは、下流タスクにおけるパフォーマンスを一貫して向上させる。

関連論文リスト

• Is All Learning (Natural) Gradient Descent? [1.3654846342364308]
  有効学習規則のクラスは、適切に定義された損失関数とメートル法に対して、自然な勾配降下であることを示す。 また、これらの指標は正準形式を持ち、最小条件数を達成する指標を含む複数の最適な指標を同定することを示した。
  論文  参考訳（メタデータ） (2024-09-24T19:41:08Z)
• Gradient Boosting Mapping for Dimensionality Reduction and Feature Extraction [2.778647101651566]
  教師あり学習における根本的な問題は、優れた特徴や距離尺度を見つけることである。 本稿では,弱い学習者の出力が埋め込みを定義する,教師付き次元削減手法を提案する。 組込み座標は教師付き学習タスクにより良い機能を提供することを示す。
  論文  参考訳（メタデータ） (2024-05-14T10:23:57Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• MetricOpt: Learning to Optimize Black-Box Evaluation Metrics [21.608384691401238]
  誤分類率やリコールなどのタスク評価指標を任意に最適化する問題について検討する。 MetricOptと呼ばれる私たちの方法は、ターゲットメトリックの計算詳細が不明なブラックボックス設定で動作します。 我々は、コンパクトなタスク固有のモデルパラメータを計量観測にマップする微分可能値関数を学習することでこれを達成する。
  論文  参考訳（メタデータ） (2021-04-21T16:50:01Z)
• Attentional-Biased Stochastic Gradient Descent [74.49926199036481]
  深層学習におけるデータ不均衡やラベルノイズ問題に対処するための証明可能な手法(ABSGD)を提案する。 本手法は運動量SGDの簡易な修正であり,各試料に個別の重み付けを行う。 ABSGDは追加コストなしで他の堅牢な損失と組み合わせられるほど柔軟である。
  論文  参考訳（メタデータ） (2020-12-13T03:41:52Z)
• ReMP: Rectified Metric Propagation for Few-Shot Learning [67.96021109377809]
  修正されたメートル法空間は、トレーニングからテストまでのメートル法一貫性を維持するために学習される。 多くの分析結果から、目的の単純な修正がかなりの性能向上をもたらすことが示唆された。 提案したReMPは効率的で効率的であり、様々な標準的な数発の学習データセットで芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-12-02T00:07:53Z)
• ECML: An Ensemble Cascade Metric Learning Mechanism towards Face Verification [50.137924223702264]
  特に、階層的メートル法学習はカスケード方式で実行され、不適合を緩和する。 顔の特徴分布特性を考慮し, 閉形解を用いたロバストなマハラノビス計量学習法(RMML)を提案する。 EC-RMMLは、顔認証のための最先端のメトリック学習法よりも優れている。
  論文  参考訳（メタデータ） (2020-07-11T08:47:07Z)
• Deep Dimension Reduction for Supervised Representation Learning [51.10448064423656]
  本研究は,本質的な特徴を持つ学習表現の次元削減手法を提案する。 提案手法は, 十分次元還元法の非パラメトリック一般化である。 推定された深度非パラメトリック表現は、その余剰リスクが0に収束するという意味で一貫したものであることを示す。
  論文  参考訳（メタデータ） (2020-06-10T14:47:43Z)
• Learning Flat Latent Manifolds with VAEs [16.725880610265378]
  本稿では、ユークリッド計量がデータポイント間の類似性のプロキシとなる変分自動エンコーダのフレームワークの拡張を提案する。 我々は、変分オートエンコーダで一般的に使用されるコンパクトな以前のものを、最近発表されたより表現力のある階層型に置き換える。 提案手法は,ビデオ追跡ベンチマークを含む,さまざまなデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2020-02-12T09:54:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。