論文の概要: Contrastive Representation Learning: A Framework and Review
- arxiv url: http://arxiv.org/abs/2010.05113v2
- Date: Tue, 27 Oct 2020 21:52:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-08 22:45:43.039984
- Title: Contrastive Representation Learning: A Framework and Review
- Title（参考訳）: コントラスト表現学習:フレームワークとレビュー
- Authors: Phuc H. Le-Khac, Graham Healy, Alan F. Smeaton
- Abstract要約: コントラスト学習の起源は1990年代まで遡り、その発展は多くの分野に及んでいる。
本稿では,多くの異なるコントラスト学習手法を単純化し,統一する一般的なコントラスト表現学習フレームワークを提案する。
コンピュータビジョンや自然言語処理,音声処理など,強化学習においても,コントラスト学習が適用された例も紹介されている。
- 参考スコア（独自算出の注目度）: 2.7393821783237184
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Contrastive Learning has recently received interest due to its success in
self-supervised representation learning in the computer vision domain. However,
the origins of Contrastive Learning date as far back as the 1990s and its
development has spanned across many fields and domains including Metric
Learning and natural language processing. In this paper we provide a
comprehensive literature review and we propose a general Contrastive
Representation Learning framework that simplifies and unifies many different
contrastive learning methods. We also provide a taxonomy for each of the
components of contrastive learning in order to summarise it and distinguish it
from other forms of machine learning. We then discuss the inductive biases
which are present in any contrastive learning system and we analyse our
framework under different views from various sub-fields of Machine Learning.
Examples of how contrastive learning has been applied in computer vision,
natural language processing, audio processing, and others, as well as in
Reinforcement Learning are also presented. Finally, we discuss the challenges
and some of the most promising future research directions ahead.
- Abstract（参考訳）: コントラスト学習は、コンピュータビジョン領域における自己教師型表現学習の成功により、最近関心を集めている。
しかし、対照的な学習の起源は1990年代まで遡り、その発展はメートル法学習や自然言語処理を含む多くの分野や領域に及んでいる。
本稿では,総合的な文献レビューを行い,多くの異なるコントラスト学習方法を単純化し統一する,汎用的なコントラスト表現学習フレームワークを提案する。
また,コントラスト学習の各構成要素に対して,それを要約し,他の機械学習と区別するための分類法も提供する。
次に, コントラスト学習システムに存在する帰納的バイアスについて考察し, 機械学習の様々なサブフィールドから異なる視点でフレームワークを解析する。
コンピュータビジョンや自然言語処理,音声処理など,強化学習においても,コントラスト学習が適用された例も紹介されている。
最後に,今後の課題と有望な今後の研究の方向性について論じる。
関連論文リスト
- Heterogeneous Contrastive Learning for Foundation Models and Beyond [73.74745053250619]
ビッグデータと人工知能の時代において、新しいパラダイムは、大規模な異種データをモデル化するために、対照的な自己教師付き学習を活用することである。
本調査は基礎モデルの異種コントラスト学習の現況を批判的に評価する。
論文 参考訳（メタデータ） (2024-03-30T02:55:49Z) - Understanding the Progression of Educational Topics via Semantic Matching [0.9246281666115259]
教育システムは、技術進歩、工業的、社会的ニーズに適応し、学生の学習行動を強化するために、動的に変化している。
カリキュラムスペシャリストや教育者は、学年ごとの教科を常に改訂し、ギャップを特定し、新しい学習トピックを導入し、学習結果を強化する。
データセット内に構築された主題、トピック、学習結果に関する微妙なデータを持つことで、データサイエンスを活用して、さまざまな学習トピックの進捗をよりよく理解することが可能になる。
論文 参考訳（メタデータ） (2024-02-10T08:24:29Z) - A Message Passing Perspective on Learning Dynamics of Contrastive
Learning [60.217972614379065]
特徴空間に対照的な目的を同等に配置すると、その学習力学は解釈可能な形式を持つことを示す。
この視点はまた、対照的な学習とメッセージパッシンググラフニューラルネットワーク(MP-GNN)の間の興味深い関係を確立する。
論文 参考訳（メタデータ） (2023-03-08T08:27:31Z) - Learning Visual Representations via Language-Guided Sampling [25.117909306792324]
コントラスト学習には、意味論的に類似した画像ペアのサンプルに言語類似性を用いる。
我々のアプローチは、言語類似性を用いたビューペアのサンプリングにより、画像に基づくコントラスト学習から分岐する。
言語指導学習は,画像ベースや画像テキスト表現学習よりも優れた特徴を持つことを示す。
論文 参考訳（メタデータ） (2023-02-23T18:59:05Z) - Localization vs. Semantics: Visual Representations in Unimodal and
Multimodal Models [57.08925810659545]
既存の視覚・言語モデルと視覚のみのモデルにおける視覚表現の比較分析を行う。
我々の経験的観察は、視覚・言語モデルがラベル予測タスクに優れていることを示唆している。
我々の研究は、視覚学習における言語の役割に光を当て、様々な事前学習モデルの実証的なガイドとして機能することを願っている。
論文 参考訳（メタデータ） (2022-12-01T05:00:18Z) - Vision+X: A Survey on Multimodal Learning in the Light of Data [64.03266872103835]
様々なソースからのデータを組み込んだマルチモーダル機械学習が,ますます普及している研究分野となっている。
我々は、視覚、音声、テキスト、動きなど、各データフォーマットの共通点と特異点を分析する。
本稿では,表現学習と下流アプリケーションレベルの両方から,マルチモーダル学習に関する既存の文献を考察する。
論文 参考訳（メタデータ） (2022-10-05T13:14:57Z) - Self-Supervised Speech Representation Learning: A Review [105.1545308184483]
自己教師付き表現学習法は、幅広いタスクやドメインに利益をもたらす単一の普遍的モデルを約束する。
音声表現学習は、生成的、コントラスト的、予測的という3つの主要なカテゴリで同様の進歩を経験している。
本稿では,自己指導型音声表現学習のアプローチと,他の研究領域との関係について述べる。
論文 参考訳（メタデータ） (2022-05-21T16:52:57Z) - Semi-Supervising Learning, Transfer Learning, and Knowledge Distillation
with SimCLR [2.578242050187029]
半教師付き学習の分野における最近のブレークスルーは、最先端の従来の教師付き学習手法と一致する結果を得た。
SimCLRは、コンピュータビジョンのための最先端の半教師付き学習フレームワークである。
論文 参考訳（メタデータ） (2021-08-02T01:37:39Z) - Visual Probing: Cognitive Framework for Explaining Self-Supervised Image
Representations [12.485001250777248]
近年,画像表現学習のための自己教師付き手法が,完全教師付き競技者に対して,同等以上の結果を提供するようになった。
そこで本研究では,自己教師型モデルを説明するための新しい視覚探索フレームワークを提案する。
自己指導型表現の文脈において,これらのアナログの有効性と適用性を示す。
論文 参考訳（メタデータ） (2021-06-21T12:40:31Z) - Revisiting Meta-Learning as Supervised Learning [69.2067288158133]
メタラーニングと従来の教師付き学習の関連性を再考し,強化することで,原則的,統一的なフレームワークの提供を目指す。
タスク固有のデータセットとターゲットモデルを(機能、ラベル)サンプルとして扱うことで、多くのメタ学習アルゴリズムを教師付き学習のインスタンスに還元することができる。
この視点は、メタラーニングを直感的で実践的なフレームワークに統一するだけでなく、教師付き学習から直接洞察を伝達してメタラーニングを改善することができる。
論文 参考訳（メタデータ） (2020-02-03T06:13:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。