論文の概要: Contrastive learning unifies $t$-SNE and UMAP

• arxiv url: http://arxiv.org/abs/2206.01816v1
• Date: Fri, 3 Jun 2022 20:50:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-07 17:38:33.474905
• Title: Contrastive learning unifies $t$-SNE and UMAP
• Title（参考訳）: コントラスト学習は$t$-SNEとUMAPを統一する
• Authors: Sebastian Damrich (1), Jan Niklas B\"ohm (2), Fred A. Hamprecht (1), Dmitry Kobak (2) ((1) IWR at Heidelberg University, (2) University of T\"ubingen)
• Abstract要約: 隣接する埋め込みメソッド $t$-SNE と UMAP は、高次元データセットを視覚化するためのデファクトスタンダードである。 その結果,UMAPは$t$-SNE損失関数に適用された負のサンプリングであることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neighbor embedding methods $t$-SNE and UMAP are the de facto standard for visualizing high-dimensional datasets. They appear to use very different loss functions with different motivations, and the exact relationship between them has been unclear. Here we show that UMAP is effectively negative sampling applied to the $t$-SNE loss function. We explain the difference between negative sampling and noise-contrastive estimation (NCE), which has been used to optimize $t$-SNE under the name NCVis. We prove that, unlike NCE, negative sampling learns a scaled data distribution. When applied in the neighbor embedding setting, it yields more compact embeddings with increased attraction, explaining differences in appearance between UMAP and $t$-SNE. Further, we generalize the notion of negative sampling and obtain a spectrum of embeddings, encompassing visualizations similar to $t$-SNE, NCVis, and UMAP. Finally, we explore the connection between representation learning in the SimCLR setting and neighbor embeddings, and show that (i) $t$-SNE can be optimized using the InfoNCE loss and in a parametric setting; (ii) various contrastive losses with only few noise samples can yield competitive performance in the SimCLR setup.
• Abstract（参考訳）: 隣接する埋め込みメソッド $t$-SNE と UMAP は、高次元データセットを視覚化するためのデファクトスタンダードである。 彼らは異なるモチベーションを持つ全く異なる損失関数を使用しており、それらの間の正確な関係ははっきりしていない。 ここでは,UMAPが$t$-SNE損失関数に対して効果的に負のサンプリングであることを示す。 NCVis という名前で$t$-SNE を最適化するために用いられている負サンプリングとノイズコントラスト推定(NCE)の違いを説明する。 NCEとは異なり、負のサンプリングはスケールしたデータ分布を学習する。 隣の埋め込み設定で適用されると、umapと$t$-sneの外観の違いを説明し、アトラクションが増大するよりコンパクトな埋め込みが得られる。 さらに, 負サンプリングの概念を一般化し, $t$-sne, ncvis, umap のような可視化を包含する埋め込みスペクトルを得る。 最後に, simclr 設定における表現学習と隣接埋め込みの関係を考察し, そのことを示す。 (i)$t$-sne は情報損失とパラメトリック設定を用いて最適化することができる。 (ii)simclrのセットアップでは,ノイズサンプルの少ない様々なコントラスト損失が競合性能をもたらす可能性がある。

関連論文リスト

• Relation-Aware Network with Attention-Based Loss for Few-Shot Knowledge Graph Completion [9.181270251524866]
  現在のアプローチでは、マージンベースのランキング損失を最小限に抑えるために、参照エンティティペア毎に1つの負のサンプルをランダムに選択する。 本稿では,意図に基づくロスフレームワークを用いたリレーショナル・アウェア・ネットワークを提案する。 実験により、RANAは2つのベンチマークデータセットで最先端モデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-15T21:41:43Z)
• Siamese Prototypical Contrastive Learning [24.794022951873156]
  コントラスト型自己教師学習(Contrastive Self-supervised Learning, CSL)は、大規模データから意味のある視覚的表現を教師なしアプローチで学習する実践的ソリューションである。 本稿では,単純かつ効果的なコントラスト学習フレームワークを導入することで,この問題に対処する。 重要な洞察は、シアメスタイルのメートル法損失を用いて、原型間特徴間の距離を増大させながら、原型内特徴と一致させることである。
  論文  参考訳（メタデータ） (2022-08-18T13:25:30Z)
• Positive-Negative Equal Contrastive Loss for Semantic Segmentation [8.664491798389662]
  従来の作業では、グローバルコンテキストを効果的に抽出し集約するために、プラグアンドプレイモジュールと構造的損失を設計するのが一般的だった。 そこで我々は, 正負の負の正の負の負の正の負の正の負の正の負の負の負の正の負の負の正の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の 総合的な実験を行い、2つのベンチマークデータセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-07-04T13:51:29Z)
• Modulated Contrast for Versatile Image Synthesis [60.304183493234376]
  MoNCEは画像のコントラストを導入し、多面的画像間距離の知覚のための校正基準を学習する。 複数の対照的な目的に対して協調的に負のサンプルのプッシュ力を変調するために,MoNCEの最適輸送を導入する。
  論文  参考訳（メタデータ） (2022-03-17T14:03:46Z)
• Robust Contrastive Learning against Noisy Views [79.71880076439297]
  ノイズの多い視点に対して頑健な新しいコントラスト損失関数を提案する。 提案手法は,最新の画像,ビデオ,グラフのコントラスト学習ベンチマークに対して一貫した改善を提供する。
  論文  参考訳（メタデータ） (2022-01-12T05:24:29Z)
• Investigating the Role of Negatives in Contrastive Representation Learning [59.30700308648194]
  ノイズコントラスト学習は教師なし表現学習の一般的な手法である。 我々は、これらのパラメータの1つの役割の曖昧さ、すなわち負の例の数に焦点をあてる。 結果が我々の理論と広く一致しているのに対して、我々の視覚実験はより悪質であり、性能は時々負の数に敏感である。
  論文  参考訳（メタデータ） (2021-06-18T06:44:16Z)
• Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
  半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。 トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
  論文  参考訳（メタデータ） (2021-05-27T08:38:29Z)
• Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
  コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。 最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。 自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-08T17:25:08Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)
• Conditional Negative Sampling for Contrastive Learning of Visual Representations [19.136685699971864]
  難解な負の選択、あるいは現在の例に類似した選択は、より強い表現をもたらす可能性があることを示す。 それぞれの正の周りの「リング」に、負を条件付きでサンプリングする相互情報推定器のファミリーを導入する。 これらの推定器は, 偏差が大きいが, NCEよりも分散度が低いことが証明された。
  論文  参考訳（メタデータ） (2020-10-05T14:17:32Z)
• Revisiting Saliency Metrics: Farthest-Neighbor Area Under Curve [23.334584322129142]
  唾液度検出は様々な視覚応用において重要な役割を担っているため、広く研究されている。 それぞれの尺度が独自のバイアスを持っているため、サリエンシシステムを評価するのは難しい。 本稿では,より指向性の高い負の集合をサンプリングして評価することを目的とした,AUC特性に基づく新しいサリエンシ指標を提案する。
  論文  参考訳（メタデータ） (2020-02-24T20:55:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。