論文の概要: Correlation between Alignment-Uniformity and Performance of Dense Contrastive Representations

• arxiv url: http://arxiv.org/abs/2210.08819v1
• Date: Mon, 17 Oct 2022 08:08:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 19:37:42.411874
• Title: Correlation between Alignment-Uniformity and Performance of Dense Contrastive Representations
• Title（参考訳）: ディエンスコントラスト表現のアライメント・均一性と性能の相関
• Authors: Jong Hak Moon, Wonjae Kim, and Edward Choi
• Abstract要約: 我々は,標準CNNと簡単な特徴マッチング方式を用いて,高密度コントラスト学習の理論的アイデアを分析する。 正の高密度な特徴のペアを構築する際の基本原理を発見し、その妥当性を実証的に証明した。 また、アライメント・アンド・ユニフォーム性と下流性能の相関関係を要約した新しいスカラー計量を導入する。
• 参考スコア（独自算出の注目度）: 11.266613717084788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, dense contrastive learning has shown superior performance on dense prediction tasks compared to instance-level contrastive learning. Despite its supremacy, the properties of dense contrastive representations have not yet been carefully studied. Therefore, we analyze the theoretical ideas of dense contrastive learning using a standard CNN and straightforward feature matching scheme rather than propose a new complex method. Inspired by the analysis of the properties of instance-level contrastive representations through the lens of alignment and uniformity on the hypersphere, we employ and extend the same lens for the dense contrastive representations to analyze their underexplored properties. We discover the core principle in constructing a positive pair of dense features and empirically proved its validity. Also, we introduces a new scalar metric that summarizes the correlation between alignment-and-uniformity and downstream performance. Using this metric, we study various facets of densely learned contrastive representations such as how the correlation changes over single- and multi-object datasets or linear evaluation and dense prediction tasks. The source code is publicly available at: https://github.com/SuperSupermoon/DenseCL-analysis
• Abstract（参考訳）: 近年,濃密なコントラスト学習は,インスタンスレベルのコントラスト学習に比べ,密密な予測タスクにおいて優れた性能を示している。 その優越性にもかかわらず、高密度のコントラスト表現の性質はまだ慎重に研究されていない。 そこで,新しい複雑な手法を提案するのではなく,標準cnnと素直な特徴マッチングスキームを用いて,高密度コントラスト学習の理論概念を分析する。 超球面上のアライメントのレンズと均一性によるインスタンスレベルのコントラスト表現の特性の解析に着想を得て、高密度のコントラスト表現に対して同じレンズを用いて、その未探索特性を解析する。 正の高密度特徴対を構築する際の基本原理を発見し,その妥当性を実証的に証明した。 また,アライメントと一様性と下流のパフォーマンスとの相関を要約した新しいスカラーメトリックも導入した。 本手法を用いて, 単目的・多目的データセット間の相関関係や線形評価, 密度予測タスクなど, 厳密に学習されたコントラスト表現の様々な側面について検討する。 ソースコードは、https://github.com/SuperSupermoon/DenseCL-analysisで公開されている。

関連論文リスト

• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Weighted Point Cloud Embedding for Multimodal Contrastive Learning Toward Optimal Similarity Metric [44.95433989446052]
  提案手法の利点は,CLIPの相対的損失に対する新たな理解を通じて示される。 重み付き点雲に基づく提案した類似性は、常に最適類似性を達成することを示す。
  論文  参考訳（メタデータ） (2024-04-30T03:15:04Z)
• Hodge-Aware Contrastive Learning [101.56637264703058]
  単純コンプレックスは、マルチウェイ依存によるデータのモデリングに有効である。 我々は、単純なデータを処理するための対照的な自己教師付き学習手法を開発した。
  論文  参考訳（メタデータ） (2023-09-14T00:40:07Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• Understanding Contrastive Learning Requires Incorporating Inductive Biases [64.56006519908213]
  下流タスクにおけるコントラスト学習の成功を理論的に説明しようとする最近の試みは、エム強化の特性とエムコントラスト学習の損失の値によって保証が証明されている。 このような分析は,関数クラスやトレーニングアルゴリズムの帰納的バイアスを無視し,いくつかの設定において不確実な保証につながることを実証する。
  論文  参考訳（メタデータ） (2022-02-28T18:59:20Z)
• Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss [72.62029620566925]
  自己教師型学習の最近の研究は、対照的な学習パラダイムを頼りに、最先端の技術の進歩を遂げている。 我々の研究は、正の対の条件的独立性を仮定することなく、対照的な学習を分析する。 本稿では,人口増分グラフ上でスペクトル分解を行う損失を提案し,コントラスト学習目的として簡潔に記述することができる。
  論文  参考訳（メタデータ） (2021-06-08T07:41:02Z)
• Disentangled Contrastive Learning for Learning Robust Textual Representations [13.880693856907037]
  運動量表現一貫性の概念を導入し,特徴を整合させ,一様性に適合しながらパワー正規化を活用する。 NLPベンチマークの実験結果から,本手法はベースラインよりも優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2021-04-11T03:32:49Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)
• Understanding Contrastive Representation Learning through Alignment and Uniformity on the Hypersphere [32.0469500831667]
  対照的な損失に関連する2つの重要な特性を同定する。 コントラスト損失はこれらの特性を最適化し、下流タスクに対する正の効果を解析する。 注目すべきは、これらの2つのメトリクスを直接最適化することは、対照的な学習よりも下流のタスクにおける同等または優れたパフォーマンスの表現につながることだ。
  論文  参考訳（メタデータ） (2020-05-20T17:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。