論文の概要: Contrastive Learning Can Find An Optimal Basis For Approximately View-Invariant Functions

• arxiv url: http://arxiv.org/abs/2210.01883v1
• Date: Tue, 4 Oct 2022 20:02:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 14:28:07.473342
• Title: Contrastive Learning Can Find An Optimal Basis For Approximately View-Invariant Functions
• Title（参考訳）: コントラスト学習は概観不変関数の最適基底を見つけることができる
• Authors: Daniel D. Johnson, Ayoub El Hanchi, Chris J. Maddison
• Abstract要約: 本稿では,複数のコントラスト学習手法を,固定正対カーネルを近似した学習カーネル関数として再解釈できることを示す。 このカーネルとPCAを組み合わせることで得られる単純な表現は、線形予測器の最悪の近似誤差を確実に最小化する。
• 参考スコア（独自算出の注目度）: 18.440569330385323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning is a powerful framework for learning self-supervised representations that generalize well to downstream supervised tasks. We show that multiple existing contrastive learning methods can be reinterpreted as learning kernel functions that approximate a fixed positive-pair kernel. We then prove that a simple representation obtained by combining this kernel with PCA provably minimizes the worst-case approximation error of linear predictors, under a straightforward assumption that positive pairs have similar labels. Our analysis is based on a decomposition of the target function in terms of the eigenfunctions of a positive-pair Markov chain, and a surprising equivalence between these eigenfunctions and the output of Kernel PCA. We give generalization bounds for downstream linear prediction using our Kernel PCA representation, and show empirically on a set of synthetic tasks that applying Kernel PCA to contrastive learning models can indeed approximately recover the Markov chain eigenfunctions, although the accuracy depends on the kernel parameterization as well as on the augmentation strength.
• Abstract（参考訳）: コントラスト学習は、下流の教師付きタスクにうまく一般化する自己教師付き表現を学習するための強力なフレームワークである。 本稿では,複数の既存コントラスト学習手法を,固定正対カーネルを近似した学習カーネル関数として再解釈できることを示す。 次に、このカーネルとPCAを組み合わせることで得られる単純な表現が、正のペアが同様のラベルを持つという単純な仮定の下で、線形予測器の最悪のケース近似誤差を確実に最小化することを示す。 本解析は,正ペアマルコフ鎖の固有関数による対象関数の分解と,これらの固有関数とカーネルpcaの出力との驚くべき等価性に基づく。 我々は,Kernel PCA表現を用いた下流線形予測の一般化バウンダリを与え,比較学習モデルにKernel PCAを適用した一連の合成タスクに対して,その精度はカーネルパラメータ化と拡張強度に依存するが,マルコフ連鎖固有関数をほぼ復元することができることを実証的に示す。

関連論文リスト

• Joint Embedding Self-Supervised Learning in the Kernel Regime [21.80241600638596]
  自己教師付き学習(SSL)は、データを分類するためのラベルにアクセスすることなく、データの有用な表現を生成する。 我々はこのフレームワークを拡張し,カーネルの機能空間に作用する線形写像によって埋め込みを構築するカーネル手法に基づくアルゴリズムを組み込む。 カーネルモデルを小さなデータセットで分析し、自己教師付き学習アルゴリズムの共通特徴を特定し、下流タスクにおける性能に関する理論的洞察を得る。
  論文  参考訳（メタデータ） (2022-09-29T15:53:19Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency [111.83670279016599]
  部分観察決定過程(POMDP)の無限観測および状態空間を用いた強化学習について検討した。 線形構造をもつPOMDPのクラスに対する部分可観測性と関数近似の最初の試みを行う。
  論文  参考訳（メタデータ） (2022-04-20T21:15:38Z)
• Revisiting Memory Efficient Kernel Approximation: An Indefinite Learning Perspective [0.8594140167290097]
  マトリックス近似は、大規模機械学習アプローチにおいて重要な要素である。 我々はMEKAをシフト不変カーネルだけでなく、非定常カーネルにも適用できるように拡張する。 我々は、安定な正の半定値MEKA近似を開発するために、スペクトルシフトのランツォスに基づく推定を提案する。
  論文  参考訳（メタデータ） (2021-12-18T10:01:34Z)
• Scalable Variational Gaussian Processes via Harmonic Kernel Decomposition [54.07797071198249]
  汎用性を維持しつつ高い忠実度近似を提供する,スケーラブルな変分ガウス過程近似を導入する。 様々な回帰問題や分類問題において,本手法は変換やリフレクションなどの入力空間対称性を活用できることを実証する。 提案手法は, 純粋なGPモデルのうち, CIFAR-10 の最先端化を実現する。
  論文  参考訳（メタデータ） (2021-06-10T18:17:57Z)
• Provable Guarantees for Self-Supervised Deep Learning with Spectral Contrastive Loss [72.62029620566925]
  自己教師型学習の最近の研究は、対照的な学習パラダイムを頼りに、最先端の技術の進歩を遂げている。 我々の研究は、正の対の条件的独立性を仮定することなく、対照的な学習を分析する。 本稿では,人口増分グラフ上でスペクトル分解を行う損失を提案し,コントラスト学習目的として簡潔に記述することができる。
  論文  参考訳（メタデータ） (2021-06-08T07:41:02Z)
• From Majorization to Interpolation: Distributionally Robust Learning using Kernel Smoothing [1.2891210250935146]
  確率指標に基づく分布的ロバスト最適化(DRO)の関数近似の側面を検討する。 本稿では,滑らかな関数近似と畳み込みに基づく堅牢な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-16T22:25:18Z)
• Generalized vec trick for fast learning of pairwise kernel models [3.867363075280544]
  本稿では、オブジェクト間の関係に関する事前知識を組み込むために提案されている、ペアワイズカーネルの包括的なレビューを紹介する。 レビューされたすべてのカーネルがKronecker製品の和として表現できることを示し、一般化されたvecトリックを使用して計算を高速化する。
  論文  参考訳（メタデータ） (2020-09-02T13:27:51Z)
• Evaluating probabilistic classifiers: Reliability diagrams and score decompositions revisited [68.8204255655161]
  確率的に統計的に一貫性があり、最適に結合し、再現可能な信頼性図を自動生成するCORP手法を導入する。 コーパスは非パラメトリックアイソトニック回帰に基づいており、プール・アジャセント・ヴァイオレータ(PAV)アルゴリズムによって実装されている。
  論文  参考訳（メタデータ） (2020-08-07T08:22:26Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。