Fugu-MT 論文翻訳(概要): R\'enyiCL: Contrastive Representation Learning with Skew R\'enyi Divergence

論文の概要: R\'enyiCL: Contrastive Representation Learning with Skew R\'enyi Divergence

arxiv url: http://arxiv.org/abs/2208.06270v1
Date: Fri, 12 Aug 2022 13:37:05 GMT
ステータス: 処理完了
システム内更新日: 2022-08-15 12:59:38.882202
Title: R\'enyiCL: Contrastive Representation Learning with Skew R\'enyi Divergence
Title（参考訳）: R'enyiCL:Skew R'enyi Divergenceによるコントラスト表現学習
Authors: Kyungmin Lee, Jinwoo Shin
Abstract要約: 我々はR'enyiCLという新しい頑健なコントラスト学習手法を提案する。我々の手法は R'enyi divergence の変動的下界の上に構築されている。我々は,R'enyi の対照的な学習目的が,自然に強い負のサンプリングと簡単な正のサンプリングを同時に行うことを示す。
参考スコア（独自算出の注目度）: 78.15455360335925
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Contrastive representation learning seeks to acquire useful representations by estimating the shared information between multiple views of data. Here, the choice of data augmentation is sensitive to the quality of learned representations: as harder the data augmentations are applied, the views share more task-relevant information, but also task-irrelevant one that can hinder the generalization capability of representation. Motivated by this, we present a new robust contrastive learning scheme, coined R\'enyiCL, which can effectively manage harder augmentations by utilizing R\'enyi divergence. Our method is built upon the variational lower bound of R\'enyi divergence, but a na\"ive usage of a variational method is impractical due to the large variance. To tackle this challenge, we propose a novel contrastive objective that conducts variational estimation of a skew R\'enyi divergence and provide a theoretical guarantee on how variational estimation of skew divergence leads to stable training. We show that R\'enyi contrastive learning objectives perform innate hard negative sampling and easy positive sampling simultaneously so that it can selectively learn useful features and ignore nuisance features. Through experiments on ImageNet, we show that R\'enyi contrastive learning with stronger augmentations outperforms other self-supervised methods without extra regularization or computational overhead. Moreover, we also validate our method on other domains such as graph and tabular, showing empirical gain over other contrastive methods.
Abstract（参考訳）: コントラスト表現学習は、複数のデータビュー間の共有情報を推定することで有用な表現を得ようとする。ここで、データ拡張の選択は、学習された表現の品質に敏感である: データの拡張が難しくなるにつれて、ビューはより多くのタスク関連情報を共有するだけでなく、表現の一般化能力を妨げるタスク関連情報も共有する。そこで我々は,R'enyiの発散を利用して,より厳密な拡張を効果的に管理できるR'enyiCLという,頑健なコントラスト学習方式を提案する。本手法はr\'enyi 発散の変分下限に基づいているが, 変分法のna\" 利用は大きなばらつきのため実用的ではない。この課題に取り組むために,スキューr\'enyiダイバージェンスの変動推定を行う新しい対比目的を提案し,スキューダイバージェンスの変動推定が安定したトレーニングにどのようにつながるかを理論的に保証する。我々は,R'enyi の対照的な学習目的が,自然に強い負のサンプリングと簡単な正のサンプリングを同時に行い,有用な特徴を選択的に学習し,迷惑な特徴を無視できることを示す。 ImageNetの実験を通して、R\'enyiの強化による対照的な学習は、余分な正規化や計算オーバーヘッドを伴わずに、他の自己管理手法よりも優れていることを示す。さらに,グラフや表のような他の領域でも検証を行い,他の対比的手法よりも経験的利得を示す。

関連論文リスト

The Bad Batches: Enhancing Self-Supervised Learning in Image Classification Through Representative Batch Curation [1.519321208145928]
人間の監督なしに堅牢な表現を学ぶことの追求は、長年にわたる課題である。本稿では,Fr'echet ResNet Distance(FRD)によるペアワイズ類似性計算を用いて,偽正負負対と偽負対の影響を緩和する。提案手法の有効性は,STL10で87.74%,Flower102データセットで99.31%,自己教師付きコントラスト表現で訓練された線形分類器によって実証された。
論文参考訳（メタデータ） (2024-03-28T17:04:07Z)
Cross-Stream Contrastive Learning for Self-Supervised Skeleton-Based Action Recognition [22.067143671631303]
自己教師型骨格に基づく行動認識は、対照的な学習の発展とともに急速に成長する。骨格に基づく行動表現学習(CSCLR)のためのクロスストリームコントラスト学習フレームワークを提案する。具体的には、CSCLRはストリーム内コントラストペアを利用するだけでなく、ストリーム間コントラストペアをハードサンプルとして導入し、より良い表現学習を定式化する。
論文参考訳（メタデータ） (2023-05-03T10:31:35Z)
CORE: Consistent Representation Learning for Face Forgery Detection [11.750814179329343]
顔操作技術は急速に発展し、公衆の関心を喚起する。バニラ畳み込みニューラルネットワークは許容可能な性能を達成するが、それらは過度に適合する問題に悩まされる。この問題を和らげるために、いくつかの消去ベースの拡張を導入する傾向があります。これらの手法は実際には、異なる拡張に対してより一貫性のある表現を暗黙的に誘導しようとする。しかし、明示的な正規化が欠如しているため、異なる表現間の整合性は不十分である。
論文参考訳（メタデータ） (2022-06-06T17:15:56Z)
CCLF: A Contrastive-Curiosity-Driven Learning Framework for Sample-Efficient Reinforcement Learning [56.20123080771364]
我々は、強化学習のためのモデルに依存しないコントラスト駆動学習フレームワーク(CCLF)を開発した。 CCLFは、サンプルの重要性を完全に活用し、自己管理的な学習効率を向上させる。このアプローチをDeepMind Control Suite、Atari、MiniGridベンチマークで評価する。
論文参考訳（メタデータ） (2022-05-02T14:42:05Z)
Weak Augmentation Guided Relational Self-Supervised Learning [80.0680103295137]
本稿では、異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナル自己教師型学習(ReSSL)フレームワークを提案する。提案手法では,異なるインスタンス間でのペアワイズ類似度の分布を,テクトitrelationmetricとして高めている。実験の結果,提案したReSSLは,ネットワークアーキテクチャの異なる最先端手法よりも大幅に優れていた。
論文参考訳（メタデータ） (2022-03-16T16:14:19Z)
Why Do Self-Supervised Models Transfer? Investigating the Impact of Invariance on Downstream Tasks [79.13089902898848]
自己教師付き学習は、非競合画像上での表現学習の強力なパラダイムである。コンピュータビジョンにおける異なるタスクは、異なる(不変の)分散を符号化する機能を必要とすることを示す。
論文参考訳（メタデータ） (2021-11-22T18:16:35Z)
Improving Transferability of Representations via Augmentation-Aware Self-Supervision [117.15012005163322]
AugSelfは、ランダムに強化された2つのサンプル間の拡張パラメータの違いを学習する補助的な自己教師型損失である。私たちの直感は、AugSelfが学習表現における拡張認識情報の保存を奨励していることです。 AugSelfは、最新の最先端の表現学習手法に、無視できる追加のトレーニングコストで簡単に組み込むことができる。
論文参考訳（メタデータ） (2021-11-18T10:43:50Z)
Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
論文参考訳（メタデータ） (2021-08-11T21:17:02Z)
Farewell to Mutual Information: Variational Distillation for Cross-Modal Person Re-Identification [41.02729491273057]
Information Bottleneck (IB)は、表現学習のための情報理論の原則を提供する。我々は、スケーラブルで柔軟で分析的なソリューションを提供する新しい戦略、可変自己蒸留(VSD)を提示します。また、Variational Cross-Distillation (VCD) と Variational Mutual-Learning (VML) の2つの戦略を紹介します。
論文参考訳（メタデータ） (2021-04-07T02:19:41Z)
Learning Unbiased Representations via R\'enyi Minimization [13.61565693336172]
本稿では,HGR(Hirschfeld-Gebel-Renyi)最大相関係数を用いて,不偏表現を学習する逆アルゴリズムを提案する。我々は、我々のアプローチを実証的に評価し、比較し、この分野における既存の作業よりも大幅に改善したことを示す。
論文参考訳（メタデータ） (2020-09-07T15:48:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。