論文の概要: Contrastive Learning as Kernel Approximation
- arxiv url: http://arxiv.org/abs/2309.02651v1
- Date: Wed, 6 Sep 2023 01:25:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-07 17:05:18.741988
- Title: Contrastive Learning as Kernel Approximation
- Title（参考訳）: 核近似としての対比学習
- Authors: Konstantinos Christopher Tsiolis
- Abstract要約: この論文は、対照的な学習に関する現在の理論的理解の概要を提供する。
最小化関数が正半定値(PSD)カーネルを暗黙的に近似する一般のコントラスト損失関数に注目する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In standard supervised machine learning, it is necessary to provide a label
for every input in the data. While raw data in many application domains is
easily obtainable on the Internet, manual labelling of this data is
prohibitively expensive. To circumvent this issue, contrastive learning methods
produce low-dimensional vector representations (also called features) of
high-dimensional inputs on large unlabelled datasets. This is done by training
with a contrastive loss function, which enforces that similar inputs have high
inner product and dissimilar inputs have low inner product in the feature
space. Rather than annotating each input individually, it suffices to define a
means of sampling pairs of similar and dissimilar inputs. Contrastive features
can then be fed as inputs to supervised learning systems on much smaller
labelled datasets to obtain high accuracy on end tasks of interest.
The goal of this thesis is to provide an overview of the current theoretical
understanding of contrastive learning, specifically as it pertains to the
minimizers of contrastive loss functions and their relationship to prior
methods for learning features from unlabelled data. We highlight popular
contrastive loss functions whose minimizers implicitly approximate a positive
semidefinite (PSD) kernel. The latter is a well-studied object in functional
analysis and learning theory that formalizes a notion of similarity between
elements of a space. PSD kernels provide an implicit definition of features
through the theory of reproducing kernel Hilbert spaces.
- Abstract（参考訳）: 標準的な教師付き機械学習では、データの入力毎にラベルを提供する必要がある。
多くのアプリケーションドメインの生データはインターネット上で容易に取得できるが、このデータの手動ラベリングは必然的に高価である。
この問題を回避するために、コントラッシブラーニング手法は、大きな未ラベルデータセット上の高次元入力の低次元ベクトル表現(特徴とも呼ばれる)を生成する。
これは、類似の入力が高い内積を持ち、異種入力が特徴空間において低い内積を持つことを強制する対照的な損失関数による訓練によって行われる。
各入力を個別にアノテートするのではなく、類似した異なる入力のペアをサンプリングする手段を定義する。
対照的な特徴は、より小さなラベル付きデータセット上の教師付き学習システムへの入力として提供され、興味のあるタスクの精度を高めることができる。
この論文の目的は、コントラスト損失関数の最小化と、ラベルなしデータから特徴を学習するための事前手法との関係に関する、コントラスト学習の現在の理論的理解の概要を提供することである。
最小化関数が正半定値(PSD)カーネルを暗黙的に近似する一般のコントラスト損失関数に注目する。
後者は函数解析と学習理論においてよく研究された対象であり、空間の要素間の類似性の概念を形式化する。
PSDカーネルは、再生カーネルヒルベルト空間の理論を通じて、特徴の暗黙的な定義を提供する。
関連論文リスト
- Probably Approximately Precision and Recall Learning [62.912015491907994]
精度とリコールは機械学習の基本的な指標である。
一方的なフィードバック – トレーニング中にのみ肯定的な例が観察される – は,多くの実践的な問題に固有のものだ。
PAC学習フレームワークでは,各仮説をグラフで表現し,エッジは肯定的な相互作用を示す。
論文 参考訳（メタデータ） (2024-11-20T04:21:07Z) - Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。
近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。
本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-11T13:44:49Z) - Deep Metric Learning for Computer Vision: A Brief Overview [4.980117530293724]
深層ニューラルネットワークを最適化する目的関数は、入力データの強化された特徴表現を作成する上で重要な役割を果たす。
Deep Metric Learningは、データサンプル間の類似度を測定する方法の開発を目指している。
本稿では、この領域における最近の進歩の概要と最先端のDeep Metric Learningアプローチについて論じる。
論文 参考訳（メタデータ） (2023-12-01T21:53:36Z) - Joint Embedding Self-Supervised Learning in the Kernel Regime [21.80241600638596]
自己教師付き学習(SSL)は、データを分類するためのラベルにアクセスすることなく、データの有用な表現を生成する。
我々はこのフレームワークを拡張し,カーネルの機能空間に作用する線形写像によって埋め込みを構築するカーネル手法に基づくアルゴリズムを組み込む。
カーネルモデルを小さなデータセットで分析し、自己教師付き学習アルゴリズムの共通特徴を特定し、下流タスクにおける性能に関する理論的洞察を得る。
論文 参考訳（メタデータ） (2022-09-29T15:53:19Z) - Non-contrastive representation learning for intervals from well logs [58.70164460091879]
石油・ガス産業における表現学習問題は、ログデータに基づく表現を一定間隔で提供するモデルを構築することを目的としている。
可能なアプローチの1つは、自己教師付き学習(SSL)である。
私たちは、よくログするデータのための非コントラストSSLを最初に導入しました。
論文 参考訳（メタデータ） (2022-09-28T13:27:10Z) - A Survey of Learning on Small Data: Generalization, Optimization, and
Challenge [101.27154181792567]
ビッグデータの一般化能力を近似した小さなデータについて学ぶことは、AIの究極の目的の1つである。
この調査はPACフレームワークの下でのアクティブサンプリング理論に従い、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。
効率的な小さなデータ表現の恩恵を受けるかもしれない複数のデータアプリケーションについて調査する。
論文 参考訳（メタデータ） (2022-07-29T02:34:19Z) - Positive-Negative Equal Contrastive Loss for Semantic Segmentation [8.664491798389662]
従来の作業では、グローバルコンテキストを効果的に抽出し集約するために、プラグアンドプレイモジュールと構造的損失を設計するのが一般的だった。
そこで我々は, 正負の負の正の負の負の正の負の正の負の正の負の負の負の正の負の負の正の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の負の
総合的な実験を行い、2つのベンチマークデータセット上で最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-07-04T13:51:29Z) - Learning sparse features can lead to overfitting in neural networks [9.2104922520782]
機能学習は遅延トレーニングよりもパフォーマンスが良くないことを示す。
空間性は異方性データの学習に不可欠であることが知られているが、対象関数が一定あるいは滑らかな場合に有害である。
論文 参考訳（メタデータ） (2022-06-24T14:26:33Z) - Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
トレーニングデータアーティファクトの識別を容易にする手法を提案する。
提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。
我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
論文 参考訳（メタデータ） (2021-07-01T09:26:13Z) - Contrastive learning of strong-mixing continuous-time stochastic
processes [53.82893653745542]
コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。
拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
論文 参考訳（メタデータ） (2021-03-03T23:06:47Z) - Complex-valued embeddings of generic proximity data [0.6117371161379209]
近さは、ほぼすべての機械学習手法の中心にある。
近接データの複素数値ベクトル埋め込みを提案する。
複雑な値を持つデータは、複雑な値を持つ機械学習アルゴリズムの入力として機能する。
論文 参考訳（メタデータ） (2020-08-31T09:40:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。