論文の概要: A Unified Framework for Contrastive Learning from a Perspective of Affinity Matrix

• arxiv url: http://arxiv.org/abs/2211.14516v1
• Date: Sat, 26 Nov 2022 08:55:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 18:02:52.149576
• Title: A Unified Framework for Contrastive Learning from a Perspective of Affinity Matrix
• Title（参考訳）: 親和性マトリックスの観点からのコントラスト学習のための統一フレームワーク
• Authors: Wenbin Li, Meihao Kong, Xuesong Yang, Lei Wang, Jing Huo, Yang Gao, Jiebo Luo
• Abstract要約: 上述の4種類の手法に適合する新しい統合コントラスト学習表現フレームワーク(UniCLR)を提案する。 SimAffinity、SimWhitening、SimTraceの3つの変種はUniCLRに基づいている。 さらに、この枠組みに基づいて、新しい整合正則化項として単純な対称損失が提案される。
• 参考スコア（独自算出の注目度）: 80.2675125037624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, a variety of contrastive learning based unsupervised visual representation learning methods have been designed and achieved great success in many visual tasks. Generally, these methods can be roughly classified into four categories: (1) standard contrastive methods with an InfoNCE like loss, such as MoCo and SimCLR; (2) non-contrastive methods with only positive pairs, such as BYOL and SimSiam; (3) whitening regularization based methods, such as W-MSE and VICReg; and (4) consistency regularization based methods, such as CO2. In this study, we present a new unified contrastive learning representation framework (named UniCLR) suitable for all the above four kinds of methods from a novel perspective of basic affinity matrix. Moreover, three variants, i.e., SimAffinity, SimWhitening and SimTrace, are presented based on UniCLR. In addition, a simple symmetric loss, as a new consistency regularization term, is proposed based on this framework. By symmetrizing the affinity matrix, we can effectively accelerate the convergence of the training process. Extensive experiments have been conducted to show that (1) the proposed UniCLR framework can achieve superior results on par with and even be better than the state of the art, (2) the proposed symmetric loss can significantly accelerate the convergence of models, and (3) SimTrace can avoid the mode collapse problem by maximizing the trace of a whitened affinity matrix without relying on asymmetry designs or stop-gradients.
• Abstract（参考訳）: 近年,非教師なしの視覚表現学習法が設計され,多くの視覚課題において大きな成功を収めている。 一般に、これらの手法は、(1)MoCoやSimCLRのようなInfoNCEに似た損失を伴う標準的なコントラスト的手法、(2)BYOLやSimSiamのような正のペアのみを持つ非コントラスト的手法、(3)W-MSEやVICRegのようなホワイトニング正規化に基づく方法、(4)CO2のような一貫性正規化に基づく方法の4つに分類される。 本研究では, 基本親和性行列の新たな視点から, 上記の4種類の手法に適合する新しい統合コントラスト学習表現フレームワーク(UniCLR)を提案する。 さらに、uniclrに基づいて、simaffinity、simwhitening、simtraceの3つの変種が提示される。 さらに、この枠組みに基づいて、新しい整合正則化項として単純な対称損失が提案される。 アフィニティ行列を対称性化することにより、トレーニングプロセスの収束を効果的に加速することができる。 その結果,(1) 提案した UniCLR フレームワークは,技術水準と同等に優れた結果が得られること,(2) 提案した対称損失はモデルの収束を著しく促進できること,(3) SimTrace は非対称性設計や停止勾配に依存することなく,白色アフィニティ行列のトレースを最大化することでモード崩壊問題を回避することができることを示した。

関連論文リスト

• Recursive Learning of Asymptotic Variational Objectives [49.69399307452126]
  一般状態空間モデル(英: General State-space Model, SSM)は、統計機械学習において広く用いられ、時系列データに対して最も古典的な生成モデルの一つである。 オンラインシーケンシャルIWAE(OSIWAE)は、潜在状態の推測のためのモデルパラメータとマルコフ認識モデルの両方のオンライン学習を可能にする。 このアプローチは、最近提案されたオンライン変分SMC法よりも理論的によく確立されている。
  論文  参考訳（メタデータ） (2024-11-04T16:12:37Z)
• The Common Stability Mechanism behind most Self-Supervised Learning Approaches [64.40701218561921]
  自己指導型学習手法の安定性のメカニズムを説明するための枠組みを提供する。 我々は,BYOL,SWAV,SimSiam,Barlow Twins,DINOなどの非コントラスト技術であるSimCLRの動作メカニズムについて議論する。 私たちは異なる仮説を定式化し、Imagenet100データセットを使ってそれらをテストします。
  論文  参考訳（メタデータ） (2024-02-22T20:36:24Z)
• Rethinking Graph Masked Autoencoders through Alignment and Uniformity [26.86368034133612]
  グラフ上の自己教師付き学習は、対照的で生成的な方法に分岐することができる。 グラフマスク付きオートエンコーダ(GraphMAE)の最近の出現は、生成法の背後にあるモーメントを回復させる。
  論文  参考訳（メタデータ） (2024-02-11T15:21:08Z)
• A Theoretically Guaranteed Quaternion Weighted Schatten p-norm Minimization Method for Color Image Restoration [11.47644299959152]
  カラー画像復元問題に対処する新しい四元数ベースWSNMモデル(QWSNM)を提案する。 カラー画像のデノゲーションとデブロワーリングを含む2つの代表的CIRタスクに対する広範囲な実験により、提案手法が多くの最先端の代替品に対して好適に機能することを実証した。
  論文  参考訳（メタデータ） (2023-07-24T09:54:49Z)
• Cross-Stream Contrastive Learning for Self-Supervised Skeleton-Based Action Recognition [22.067143671631303]
  自己教師型骨格に基づく行動認識は、対照的な学習の発展とともに急速に成長する。 骨格に基づく行動表現学習(CSCLR)のためのクロスストリームコントラスト学習フレームワークを提案する。 具体的には、CSCLRはストリーム内コントラストペアを利用するだけでなく、ストリーム間コントラストペアをハードサンプルとして導入し、より良い表現学習を定式化する。
  論文  参考訳（メタデータ） (2023-05-03T10:31:35Z)
• Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning [146.11600461034746]
  教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。 このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。 このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
  論文  参考訳（メタデータ） (2022-09-27T19:04:36Z)
• Making Linear MDPs Practical via Contrastive Representation Learning [101.75885788118131]
  マルコフ決定過程(MDP)における次元性の呪いに、低ランク表現を利用することで対処することが一般的である。 本稿では,効率的な表現学習を可能にしつつ,正規化を自動的に保証する線形MDPの代替的定義について考察する。 いくつかのベンチマークにおいて、既存の最先端モデルベースおよびモデルフリーアルゴリズムよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-07-14T18:18:02Z)
• Contrastive and Non-Contrastive Self-Supervised Learning Recover Global and Local Spectral Embedding Methods [19.587273175563745]
  自己監督学習(SSL)は、入力とペアの正の関係は意味のある表現を学ぶのに十分である。 本稿では,これらの制約に対処するために,スペクトル多様体学習の推進力の下で統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-23T17:59:32Z)
• Refining Self-Supervised Learning in Imaging: Beyond Linear Metric [25.96406219707398]
  本稿では,ジャカード類似度尺度を測度に基づく計量として活用する,新しい統計的視点を紹介する。 具体的には、提案した計量は、いわゆる潜在表現から得られた2つの適応射影間の依存度として解釈できる。 我々の知る限りでは、この事実上非線形に融合した情報は、Jaccardの類似性に埋め込まれており、将来有望な結果を伴う自己超越学習に新しいものである。
  論文  参考訳（メタデータ） (2022-02-25T19:25:05Z)
• Multi-Objective Matrix Normalization for Fine-grained Visual Recognition [153.49014114484424]
  双線形プールは細粒度視覚認識(FGVC)において大きな成功を収める 近年,行列パワー正規化は双線形特徴量において2次情報を安定化させることができることが示されている。 両線形表現を同時に正規化できる効率的な多目的行列正規化法(MOMN)を提案する。
  論文  参考訳（メタデータ） (2020-03-30T08:40:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。