論文の概要: Contrastive learning, multi-view redundancy, and linear models
- arxiv url: http://arxiv.org/abs/2008.10150v2
- Date: Wed, 14 Apr 2021 19:19:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 09:05:42.649399
- Title: Contrastive learning, multi-view redundancy, and linear models
- Title（参考訳）: コントラスト学習, 多視点冗長性, 線形モデル
- Authors: Christopher Tosh, Akshay Krishnamurthy, Daniel Hsu
- Abstract要約: 表現学習に対する一般的な自己指導的アプローチは、対照的な学習である。
この研究は、マルチビュー設定におけるコントラスト学習の理論分析を提供する。
- 参考スコア（独自算出の注目度）: 38.80336134485453
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-supervised learning is an empirically successful approach to
unsupervised learning based on creating artificial supervised learning
problems. A popular self-supervised approach to representation learning is
contrastive learning, which leverages naturally occurring pairs of similar and
dissimilar data points, or multiple views of the same data. This work provides
a theoretical analysis of contrastive learning in the multi-view setting, where
two views of each datum are available. The main result is that linear functions
of the learned representations are nearly optimal on downstream prediction
tasks whenever the two views provide redundant information about the label.
- Abstract（参考訳）: 自己教師あり学習(self-supervised learning)は、教師なし学習に対する経験的に成功したアプローチである。
表現学習に対する一般的な自己教師型アプローチはコントラスト学習であり、同じデータポイントと異なるデータポイントの自然発生ペア、あるいは同じデータの複数のビューを利用する。
この研究は、各ダタムの2つのビューが利用できるマルチビュー設定におけるコントラスト学習の理論的分析を提供する。
主な結果は、2つのビューがラベルに関する冗長な情報を提供するとき、学習された表現の線形関数は下流予測タスクでほぼ最適であるということである。
関連論文リスト
- A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。
自己教師型学習のための生成潜在変数モデルを提案する。
対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
論文 参考訳（メタデータ） (2024-02-02T13:31:17Z) - The Trade-off between Universality and Label Efficiency of
Representations from Contrastive Learning [32.15608637930748]
2つのデシダラタの間にはトレードオフがあることを示し、同時に両方を達成できない可能性があることを示す。
我々は、理論データモデルを用いて分析を行い、より多様な事前学習データにより、異なるタスクに対してより多様な機能が得られる一方で、タスク固有の機能に重点を置いていないことを示す。
論文 参考訳（メタデータ） (2023-02-28T22:14:33Z) - Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
強化学習のための自己予測学習の学習ダイナミクスについて検討する。
本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-12-06T20:43:37Z) - Cross-view Graph Contrastive Representation Learning on Partially
Aligned Multi-view Data [52.491074276133325]
マルチビュー表現学習は、過去数十年間で急速に発展し、多くの分野に応用されてきた。
本稿では,多視点情報を統合してデータアライメントを行い,潜在表現を学習する,新しいクロスビューグラフコントラスト学習フレームワークを提案する。
複数の実データを用いて実験を行い,クラスタリングおよび分類作業における提案手法の有効性を示した。
論文 参考訳（メタデータ） (2022-11-08T09:19:32Z) - Co$^2$L: Contrastive Continual Learning [69.46643497220586]
近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。
本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-28T06:14:38Z) - Distill on the Go: Online knowledge distillation in self-supervised
learning [1.1470070927586016]
最近の研究では、より広範でより深いモデルは、小さなモデルよりも自己監督学習の恩恵を受けることが示されている。
単段階オンライン知識蒸留を用いた自己指導型学習パラダイムであるDistill-on-the-Go(DoGo)を提案する。
以上の結果から,ノイズラベルや限定ラベルの存在下でのパフォーマンス向上がみられた。
論文 参考訳（メタデータ） (2021-04-20T09:59:23Z) - Self-supervised Learning from a Multi-view Perspective [121.63655399591681]
自己教師型表現はタスク関連情報を抽出し,タスク関連情報を破棄することができることを示す。
我々の理論的枠組みは、自己教師型学習目標設計のより広い空間への道を開くものである。
論文 参考訳（メタデータ） (2020-06-10T00:21:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。