論文の概要: Spectral Temporal Contrastive Learning
- arxiv url: http://arxiv.org/abs/2312.00966v2
- Date: Thu, 7 Dec 2023 20:57:07 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-11 17:54:37.214092
- Title: Spectral Temporal Contrastive Learning
- Title（参考訳）: スペクトル時間的コントラスト学習
- Authors: Sacha Morin, Somjit Nath, Samira Ebrahimi Kahou and Guy Wolf
- Abstract要約: この研究は、データのシーケンシャルな構造を用いて正のペアを定義する時間的コントラッシブな学習環境に関するものである。
本研究では,一様定常分布を持つ時間均質可逆マルコフ連鎖から得られる状態グラフに基づく人口減少について論じる。
- 参考スコア（独自算出の注目度）: 16.071429029573682
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning useful data representations without requiring labels is a
cornerstone of modern deep learning. Self-supervised learning methods,
particularly contrastive learning (CL), have proven successful by leveraging
data augmentations to define positive pairs. This success has prompted a number
of theoretical studies to better understand CL and investigate theoretical
bounds for downstream linear probing tasks. This work is concerned with the
temporal contrastive learning (TCL) setting where the sequential structure of
the data is used instead to define positive pairs, which is more commonly used
in RL and robotics contexts. In this paper, we adapt recent work on Spectral CL
to formulate Spectral Temporal Contrastive Learning (STCL). We discuss a
population loss based on a state graph derived from a time-homogeneous
reversible Markov chain with uniform stationary distribution. The STCL loss
enables to connect the linear probing performance to the spectral properties of
the graph, and can be estimated by considering previously observed data
sequences as an ensemble of MCMC chains.
- Abstract（参考訳）: ラベルなしで有用なデータ表現を学ぶことは、現代のディープラーニングの基盤である。
自己教師付き学習手法、特にコントラスト学習(CL)は、データ拡張を利用して正のペアを定義することで成功している。
この成功は、clをよりよく理解し、下流線形プローブタスクの理論的境界を調べるための多くの理論的研究を促した。
この研究は、データのシーケンシャルな構造を用いて、より一般的にRLやロボティクスの文脈で使用される正のペアを定義する、時間的コントラスト学習(TCL)の設定に関係している。
本稿では,スペクトルclに関する最近の研究を,スペクトル時間コントラスト学習(stcl)に応用する。
我々は,一様定常分布を持つ時間均一可逆マルコフ連鎖から得られる状態グラフに基づく人口減少について論じる。
STCLの損失により、線形探索性能をグラフのスペクトル特性に結びつけることができ、事前に観測されたデータ列をMCMC連鎖のアンサンブルとして考慮して推定することができる。
関連論文リスト
- Dynamic Contrastive Learning for Time Series Representation [6.086030037869592]
時系列の教師なしコントラスト表現学習フレームワークDynaCLを提案する。
DynaCLは時系列から意味のあるクラスタにインスタンスを埋め込みます。
また、教師なしクラスタリングメトリクスの高得点は、下流タスクにおいて表現が有用であることを保証していないことも明らかにした。
論文 参考訳（メタデータ） (2024-10-20T15:20:24Z) - Learning Time-aware Graph Structures for Spatially Correlated Time
Series Forecasting [30.93275270960829]
本稿では時系列間の時間認識相関を抽出する時間認識グラフ構造学習(TagSL)を提案する。
グラフ畳み込みに基づくGated Recurrent Unit (GCGRU) も提案する。
最後に,TagSLとGCGRUを組み合わせたTGCRN(Time-aware Graph Convolutional Recurrent Network)という統合フレームワークを導入し,マルチステップ時間予測のためのエンコーダデコーダアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-12-27T04:23:43Z) - HomoGCL: Rethinking Homophily in Graph Contrastive Learning [64.85392028383164]
HomoGCL はモデルに依存しないフレームワークで、近隣のノードに固有の意味を持つ正の集合を拡大する。
我々は、HomoGCLが6つの公開データセットにまたがって複数の最先端結果をもたらすことを示す。
論文 参考訳（メタデータ） (2023-06-16T04:06:52Z) - Understanding Multimodal Contrastive Learning and Incorporating Unpaired
Data [19.72282903349282]
マルチモーダル・コントラッシブ・ラーニング(MMCL)における非線形損失関数の一般クラスを示す。
MMCLの特徴学習能力は,各モダリティに適用される一助的コントラスト学習能力よりも優れていることを示す。
追加の未ペアデータにアクセスできる場合、追加の未ペアデータを含む新たなMMCL損失を提案する。
論文 参考訳（メタデータ） (2023-02-13T10:11:05Z) - Single-Pass Contrastive Learning Can Work for Both Homophilic and
Heterophilic Graph [60.28340453547902]
グラフコントラッシブ・ラーニング(GCL)技術は通常、コントラッシブ・ロスを構築するために単一のインスタンスに対して2つのフォワードパスを必要とする。
既存のGCLアプローチは、強力なパフォーマンス保証を提供していない。
我々はSingle-Pass Graph Contrastive Learning法(SP-GCL)を実装した。
経験的に、SP-GCLが学んだ機能は、計算オーバーヘッドを著しく少なくして、既存の強いベースラインにマッチまたは性能を向上することができる。
論文 参考訳（メタデータ） (2022-11-20T07:18:56Z) - Spectral Regularization Allows Data-frugal Learning over Combinatorial
Spaces [13.36217184117654]
機械学習モデルのスペクトル表現の規則化は、ラベル付きデータが乏しい場合に一般化能力を向上させることを示す。
正規化損失の勾配降下は、いくつかのデータ共有現実問題におけるベースラインアルゴリズムと比較して、より優れた一般化性能をもたらす。
論文 参考訳（メタデータ） (2022-10-05T23:31:54Z) - The CLEAR Benchmark: Continual LEArning on Real-World Imagery [77.98377088698984]
連続学習(CL)は、生涯AIにとって重要な課題であると考えられている。
本稿では,視覚概念の自然な時間進化を伴う最初の連続画像分類ベンチマークであるCLEARを紹介する。
単純な教師なし事前学習のステップで、最先端のCLアルゴリズムがすでに強化されていることが分かりました。
論文 参考訳（メタデータ） (2022-01-17T09:09:09Z) - Provable Guarantees for Self-Supervised Deep Learning with Spectral
Contrastive Loss [72.62029620566925]
自己教師型学習の最近の研究は、対照的な学習パラダイムを頼りに、最先端の技術の進歩を遂げている。
我々の研究は、正の対の条件的独立性を仮定することなく、対照的な学習を分析する。
本稿では,人口増分グラフ上でスペクトル分解を行う損失を提案し,コントラスト学習目的として簡潔に記述することができる。
論文 参考訳（メタデータ） (2021-06-08T07:41:02Z) - ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for
Semi-supervised Continual Learning [52.831894583501395]
連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。
我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。
ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
論文 参考訳（メタデータ） (2021-01-02T09:04:14Z) - New advances in enumerative biclustering algorithms with online
partitioning [80.22629846165306]
さらに、数値データセットの列に定数値を持つ最大二クラスタの効率的で完全で正しい非冗長列挙を実現できる二クラスタリングアルゴリズムであるRIn-Close_CVCを拡張した。
改良されたアルゴリズムはRIn-Close_CVC3と呼ばれ、RIn-Close_CVCの魅力的な特性を保ちます。
論文 参考訳（メタデータ） (2020-03-07T14:54:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。