論文の概要: Contrastive learning of strong-mixing continuous-time stochastic processes

• arxiv url: http://arxiv.org/abs/2103.02740v1
• Date: Wed, 3 Mar 2021 23:06:47 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-05 15:08:02.511584
• Title: Contrastive learning of strong-mixing continuous-time stochastic processes
• Title（参考訳）: 強混合連続時間確率過程のコントラスト学習
• Authors: Bingbin Liu, Pradeep Ravikumar, Andrej Risteski
• Abstract要約: コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。 拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。
• 参考スコア（独自算出の注目度）: 53.82893653745542
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning is a family of self-supervised methods where a model is trained to solve a classification task constructed from unlabeled data. It has recently emerged as one of the leading learning paradigms in the absence of labels across many different domains (e.g. brain imaging, text, images). However, theoretical understanding of many aspects of training, both statistical and algorithmic, remain fairly elusive. In this work, we study the setting of time series -- more precisely, when we get data from a strong-mixing continuous-time stochastic process. We show that a properly constructed contrastive learning task can be used to estimate the transition kernel for small-to-mid-range intervals in the diffusion case. Moreover, we give sample complexity bounds for solving this task and quantitatively characterize what the value of the contrastive loss implies for distributional closeness of the learned kernel. As a byproduct, we illuminate the appropriate settings for the contrastive distribution, as well as other hyperparameters in this setup.
• Abstract（参考訳）: コントラスト学習(Contrastive Learning)は、ラベルのないデータから構築された分類タスクを解決するためにモデルを訓練する自己指導型の手法のファミリーである。 最近、多くの異なるドメインにまたがるラベルがない中で、主要な学習パラダイムの1つとして登場した。 脳画像、テキスト、画像)。 しかし、統計的およびアルゴリズム的なトレーニングの多くの側面の理論的理解は、かなり分かりにくいままである。 本研究では,強混合連続時間確率過程からデータを得る場合の時系列の設定を,より正確に検討する。 拡散の場合,小～中距離間隔の遷移カーネルを適切に構築したコントラスト学習タスクを用いて推定できることが示される。 さらに,この課題を解決するためのサンプル複雑性境界を与え,コントラスト損失の値が学習核の分布的近接性に何を意味するのかを定量的に特徴付ける。 副産物として、コントラスト分布の適切な設定と、この設定における他のハイパーパラメータを照らします。

関連論文リスト

• Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
  細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。 近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。 本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-11T13:44:49Z)
• ProbMCL: Simple Probabilistic Contrastive Learning for Multi-label Visual Classification [16.415582577355536]
  マルチラベル画像分類は、コンピュータビジョンや医用画像など、多くの領域において難しい課題である。 最近の進歩は、グラフベースとトランスフォーマーベースのメソッドを導入し、パフォーマンスを改善し、ラベルの依存関係をキャプチャしている。 本稿では,これらの課題に対処する新しいフレームワークである確率的多ラベルコントラスト学習(ProbMCL)を提案する。
  論文  参考訳（メタデータ） (2024-01-02T22:15:20Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Multi-Task Self-Supervised Time-Series Representation Learning [3.31490164885582]
  時系列表現学習は、時間的ダイナミクスとスパースラベルを持つデータから表現を抽出することができる。 自己教師型タスクの利点を組み合わせた時系列表現学習手法を提案する。 本稿では,時系列分類,予測,異常検出という3つのダウンストリームタスクの枠組みについて検討する。
  論文  参考訳（メタデータ） (2023-03-02T07:44:06Z)
• Accelerated Probabilistic Marching Cubes by Deep Learning for Time-Varying Scalar Ensembles [5.102811033640284]
  本稿では,2次元アンサンブルデータのレベルセット不確実性を学習するためのディープラーニングに基づくアプローチを提案する。 ワークフロー内の時間変化のアンサンブルデータから、最初の数ステップを使用してモデルをトレーニングします。 トレーニングされたモデルでは,新しい時間ステップのレベルセットの不確かさを正確に推測し,元の確率モデルよりも最大170倍高速であることを示す。
  論文  参考訳（メタデータ） (2022-07-15T02:35:41Z)
• Aligned Multi-Task Gaussian Process [12.903751268469696]
  マルチタスク学習では、タスク間の相関を正確に識別する必要がある。 従来のマルチタスクモデルはこれを考慮せず、その後の相関推定における誤差は予測性能の低下をもたらす。 本稿では,予測性能を向上させる統合生成モデルにおいて,時間的不整合を自動的に考慮する手法を提案する。
  論文  参考訳（メタデータ） (2021-10-29T13:18:13Z)
• MetaKernel: Learning Variational Random Features with Limited Labels [120.90737681252594]
  少数の注釈付きサンプルから学習し、新しいタスクでうまく一般化できるという根本的かつ困難な問題に、少数のショットラーニングが対処します。 マルチショット学習のためのランダムなフーリエ機能を備えたメタラーニングカーネルをMeta Kernelと呼びます。
  論文  参考訳（メタデータ） (2021-05-08T21:24:09Z)
• Effective Proximal Methods for Non-convex Non-smooth Regularized Learning [27.775096437736973]
  独立サンプリング方式は、一般に使用されている一様サンプリング方式の性能を向上させる傾向にあることを示す。 我々の新しい分析は、サンプリングの速度が今までで最高のものより速いことも示しています。
  論文  参考訳（メタデータ） (2020-09-14T16:41:32Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。