論文の概要: A theoretical framework for self-supervised contrastive learning for continuous dependent data

• arxiv url: http://arxiv.org/abs/2506.09785v1
• Date: Wed, 11 Jun 2025 14:23:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-13 06:35:03.050681
• Title: A theoretical framework for self-supervised contrastive learning for continuous dependent data
• Title（参考訳）: 連続的依存データに対する自己教師付きコントラスト学習のための理論的枠組み
• Authors: Alexander Marusov, Alexander Yuhay, Alexey Zaytsev,
• Abstract要約: 自己教師付き学習(SSL)は、特にコンピュータビジョンの分野で、表現を学習するための強力なアプローチとして登場した。 本稿では,サンプル間のアンフェマティック独立に適した対照的なSSLの理論的枠組みを提案する。 具体的には、標準のUEAベンチマークとUCRベンチマークでTS2Vecを上回り、それぞれ4.17$%と2.08$%の精度で改善した。
• 参考スコア（独自算出の注目度）: 86.50780641055258
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) has emerged as a powerful approach to learning representations, particularly in the field of computer vision. However, its application to dependent data, such as temporal and spatio-temporal domains, remains underexplored. Besides, traditional contrastive SSL methods often assume \emph{semantic independence between samples}, which does not hold for dependent data exhibiting complex correlations. We propose a novel theoretical framework for contrastive SSL tailored to \emph{continuous dependent data}, which allows the nearest samples to be semantically close to each other. In particular, we propose two possible \textit{ground truth similarity measures} between objects -- \emph{hard} and \emph{soft} closeness. Under it, we derive an analytical form for the \textit{estimated similarity matrix} that accommodates both types of closeness between samples, thereby introducing dependency-aware loss functions. We validate our approach, \emph{Dependent TS2Vec}, on temporal and spatio-temporal downstream problems. Given the dependency patterns presented in the data, our approach surpasses modern ones for dependent data, highlighting the effectiveness of our theoretically grounded loss functions for SSL in capturing spatio-temporal dependencies. Specifically, we outperform TS2Vec on the standard UEA and UCR benchmarks, with accuracy improvements of $4.17$\% and $2.08$\%, respectively. Furthermore, on the drought classification task, which involves complex spatio-temporal patterns, our method achieves a $7$\% higher ROC-AUC score.
• Abstract（参考訳）: 自己教師付き学習(SSL)は、特にコンピュータビジョンの分野で、表現を学習するための強力なアプローチとして登場した。 しかし、時間領域や時空間領域などの依存データへの応用はいまだ未定である。 さらに、従来の対照的なSSLメソッドは、複雑な相関を示す依存データには当てはまらない、サンプル間でのemph{semantic independent}を仮定することが多い。 そこで本研究では,最も近いサンプル同士がセマンティックに近接することを可能にする,‘emph{continuous dependent data}’に適合したコントラッシブSSLのための新しい理論的枠組みを提案する。 特に、オブジェクト -- \emph{hard} と \emph{soft} の近接性の間の2つの可能な \textit{ground truth similarity measures を提案する。 そこで我々は,サンプル間の近接性の両方を許容し,従って依存認識損失関数を導入し,その解析形式を導出する。 我々は,時間的および時空間的下流問題に対するアプローチである「emph{Dependent TS2Vec}」を検証する。 データに提示される依存関係パターンを考えると、我々のアプローチは依存データに対して現代のものを超え、時空間依存を捕捉するSSLの理論的基盤となる損失関数の有効性を強調している。 具体的には、標準のUEAベンチマークとUCRベンチマークでTS2Vecを上回り、それぞれ4.17$\%と2.08$\%の精度改善を行った。 さらに, 複雑な時空間パターンを含む干ばつ分類タスクでは, ROC-AUCスコアが7.5%高くなる。

関連論文リスト

• Diffeomorphic Temporal Alignment Nets for Time-series Joint Alignment and Averaging [8.14908648005543]
  時系列分析では、非線形時間的不整合は、森林労働者がより単純な平均化を行うための重要な課題である。 DTANは入力依存の方法で微分同相変換を予測し、適用することにより、時系列アンサンブルのジョイントアライメント(JA)と平均化を容易にする。 我々は、マルチタスク学習(MT-DTAN)を組み込むためにフレームワークを拡張し、同時調整と分類を可能にした。
  論文  参考訳（メタデータ） (2025-02-10T15:55:08Z)
• STD-PLM: Understanding Both Spatial and Temporal Properties of Spatial-Temporal Data with PLM [18.56267873980915]
  STD-PLMは時空間予測と計算処理の両方を実装できる。 STD-PLMは、明示的に設計された空間的および時間的トークン化器を通して空間的時間的相関を理解する。 STD-PLMは予測タスクと計算タスクの競合性能と一般化能力を示す。
  論文  参考訳（メタデータ） (2024-07-12T08:48:16Z)
• Hierarchical Temporal Context Learning for Camera-based Semantic Scene Completion [57.232688209606515]
  カメラによるセマンティックシーンの補完を改善するための,新たな時間的文脈学習パラダイムであるHTCLを提案する。 提案手法は,Semantic KITTIベンチマークで1st$をランク付けし,mIoUの点でLiDARベースの手法を超えている。
  論文  参考訳（メタデータ） (2024-07-02T09:11:17Z)
• OpenSTL: A Comprehensive Benchmark of Spatio-Temporal Predictive Learning [67.07363529640784]
  提案するOpenSTLは,一般的なアプローチを再帰的モデルと再帰的モデルに分類する。 我々は, 合成移動物体軌道, 人間の動き, 運転シーン, 交通流, 天気予報など, さまざまな領域にわたるデータセットの標準評価を行う。 リカレントフリーモデルは、リカレントモデルよりも効率と性能のバランスが良いことがわかった。
  論文  参考訳（メタデータ） (2023-06-20T03:02:14Z)
• The Challenges of Continuous Self-Supervised Learning [40.941767578622745]
  自己教師付き学習(SSL)は、表現学習における主要なボトルネックの1つ、すなわち人間のアノテーションの必要性を取り除くことを目的としている。 このような連続的なセットアップに対する現在の手法の直接的な適用は、計算量と必要なデータ量の両方において非効率であることを示す。 本稿では,非効率性や時間的相関の問題を緩和する手法として,リプレイバッファの利用を提案する。
  論文  参考訳（メタデータ） (2022-03-23T20:05:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。