論文の概要: Representation Learning via Invariant Causal Mechanisms
- arxiv url: http://arxiv.org/abs/2010.07922v1
- Date: Thu, 15 Oct 2020 17:53:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 02:51:10.276423
- Title: Representation Learning via Invariant Causal Mechanisms
- Title(参考訳): 不変因果メカニズムによる表現学習
- Authors: Jovana Mitrovic, Brian McWilliams, Jacob Walker, Lars Buesing, Charles
Blundell
- Abstract要約: ラベルなしデータのみを用いて表現を事前学習することで、コストのかかる教師付き信号への依存を減らすための戦略として、自己教師付き学習が登場した。
プレトレーニング時に使用されるプロキシ分類器の明示的な不変性制約によって、データ拡張をより効果的に活用する方法を示す。
そこで本稿では,新たな自己教師型学習手法であるRepresentation Learning via In Causvariantal Mechanisms (Relic)を提案する。
- 参考スコア(独自算出の注目度): 19.0976564154636
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised learning has emerged as a strategy to reduce the reliance on
costly supervised signal by pretraining representations only using unlabeled
data. These methods combine heuristic proxy classification tasks with data
augmentations and have achieved significant success, but our theoretical
understanding of this success remains limited. In this paper we analyze
self-supervised representation learning using a causal framework. We show how
data augmentations can be more effectively utilized through explicit invariance
constraints on the proxy classifiers employed during pretraining. Based on
this, we propose a novel self-supervised objective, Representation Learning via
Invariant Causal Mechanisms (ReLIC), that enforces invariant prediction of
proxy targets across augmentations through an invariance regularizer which
yields improved generalization guarantees. Further, using causality we
generalize contrastive learning, a particular kind of self-supervised method,
and provide an alternative theoretical explanation for the success of these
methods. Empirically, ReLIC significantly outperforms competing methods in
terms of robustness and out-of-distribution generalization on ImageNet, while
also significantly outperforming these methods on Atari achieving above
human-level performance on $51$ out of $57$ games.
- Abstract(参考訳): ラベルなしデータのみを用いて表現を事前学習することで、コストのかかる教師付き信号への依存を減らす戦略として自己教師付き学習が登場した。
これらの手法は、ヒューリスティックなプロキシ分類タスクとデータ拡張を組み合わせ、大きな成功を収めましたが、この成功に対する理論的理解は限定的です。
本稿では,自己教師付き表現学習を因果的枠組みを用いて分析する。
プレトレーニング時に使用されるプロキシ分類器の明示的な不変制約により、データ拡張をより効果的に活用する方法を示す。
そこで本研究では,改良された一般化保証を得られる不変正則化器を用いて,拡張によるプロキシターゲットの不変な予測を強制する,自己教師型自己表現学習(Representation Learning via Invariant Causal Mechanisms, Relic)を提案する。
さらに, 因果性を用いて, ある種の自己教師あり手法であるコントラスト学習を一般化し, これらの手法の成功のための代替理論的説明を提供する。
経験上、re relicはimagenetのロバスト性と分散の一般化という点で競合する方法を大幅に上回っており、またatariの57ドルのゲームのうち511ドルの人間レベルのパフォーマンスを上回っている。
関連論文リスト
- A Probabilistic Model to explain Self-Supervised Representation Learning [17.643996974016854]
本稿では,データに対する生成潜在変数モデルを提案する。
比較的手法を含む識別的自己監督アルゴリズムのいくつかのファミリは、その表現上の潜在構造をほぼ誘導することを示した。
モデルを生成的に設定することで、SimVEは、一般的なベンチマーク上の以前のVAEメソッドよりもパフォーマンスを向上します。
論文 参考訳(メタデータ) (2024-02-02T13:31:17Z) - Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。
本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。
提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
論文 参考訳(メタデータ) (2023-11-16T09:07:34Z) - Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。
実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
論文 参考訳(メタデータ) (2021-12-10T20:46:13Z) - Why Do Self-Supervised Models Transfer? Investigating the Impact of
Invariance on Downstream Tasks [79.13089902898848]
自己教師付き学習は、非競合画像上での表現学習の強力なパラダイムである。
コンピュータビジョンにおける異なるタスクは、異なる(不変の)分散を符号化する機能を必要とすることを示す。
論文 参考訳(メタデータ) (2021-11-22T18:16:35Z) - Contrastive Learning for Fair Representations [50.95604482330149]
訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。
対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。
比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
論文 参考訳(メタデータ) (2021-09-22T10:47:51Z) - A Simple but Tough-to-Beat Data Augmentation Approach for Natural
Language Understanding and Generation [53.8171136907856]
カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。
カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。
cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
論文 参考訳(メタデータ) (2020-09-29T07:08:35Z) - Query-Free Adversarial Transfer via Undertrained Surrogates [14.112444998191698]
本研究では,ブラックボックス環境における敵攻撃の有効性を改善するための新しい手法を提案する。
本稿では, この手法がアーキテクチャ全体にわたって良好に伝達し, 最先端の手法よりも広いマージンで性能を向上することを示す。
論文 参考訳(メタデータ) (2020-07-01T23:12:22Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳(メタデータ) (2020-06-12T12:23:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。