論文の概要: Computer Vision Self-supervised Learning Methods on Time Series

• arxiv url: http://arxiv.org/abs/2109.00783v4
• Date: Fri, 26 Jan 2024 22:16:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-31 01:28:35.636833
• Title: Computer Vision Self-supervised Learning Methods on Time Series
• Title（参考訳）: 時系列に基づくコンピュータビジョン自己教師型学習手法
• Authors: Daesoo Lee, Erlend Aune
• Abstract要約: 自己教師型学習(SSL)は両コンピュータビジョンにおいて大きな成功を収めている。 現在の主流のコンピュータビジョンのSSLフレームワークのほとんどは、Siameseネットワークアーキテクチャに基づいている。 コンピュータビジョンのSSLフレームワークは時系列でも有効であることを示す。
• 参考スコア（独自算出の注目度）: 1.30536490219656
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised learning (SSL) has had great success in both computer vision. Most of the current mainstream computer vision SSL frameworks are based on Siamese network architecture. These approaches often rely on cleverly crafted loss functions and training setups to avoid feature collapse. In this study, we evaluate if those computer-vision SSL frameworks are also effective on a different modality (\textit{i.e.,} time series). The effectiveness is experimented and evaluated on the UCR and UEA archives, and we show that the computer vision SSL frameworks can be effective even for time series. In addition, we propose a new method that improves on the recently proposed VICReg method. Our method improves on a \textit{covariance} term proposed in VICReg, and in addition we augment the head of the architecture by an iterative normalization layer that accelerates the convergence of the model.
• Abstract（参考訳）: 自己教師型学習(SSL)は両コンピュータビジョンにおいて大きな成功を収めている。 現在の主流のコンピュータビジョンのSSLフレームワークのほとんどは、Siameseネットワークアーキテクチャに基づいている。 これらのアプローチは、機能崩壊を避けるために、巧妙に作られた損失関数とトレーニングセットアップに依存することが多い。 本研究では、これらのコンピュータビジョンSSLフレームワークが、異なるモダリティ(\textit{i.e.} time series)に対して有効であるかどうかを評価する。 この効果をucrおよびuaeアーカイブで実験し,評価し,コンピュータビジョンsslフレームワークが時系列においても有効であることを示す。 さらに,最近提案するvicreg法を改良した新しい手法を提案する。 本手法はvicreg で提案されている \textit{covariance} 項を改良し,さらにモデルの収束を加速する反復正規化層によってアーキテクチャの先頭を補強する。

関連論文リスト

• Locality Alignment Improves Vision-Language Models [55.275235524659905]
  近年では視覚言語モデル (VLM) が普及しているが、その多くが基本的な空間推論の誤りに悩まされている。 局所性アライメント(Locality alignment)と呼ばれる,視覚障害者のための新しい学習段階を提案する。 局所性に整合したバックボーンは、様々なベンチマークでパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-10-14T21:01:01Z)
• Efficient infusion of self-supervised representations in Automatic Speech Recognition [1.2972104025246092]
  Wav2vecやHuBERTのような自己教師付き学習(SSL)モデルは、音声関連のタスクに対して最先端の結果をもたらす。 本稿では,SSLモデルからASRアーキテクチャへの表現を効率的に組み込むために,フレームワイズ付加と(2)クロスアテンション機構を用いる2つの簡単なアプローチを提案する。 提案手法により,Librispeech と Tedlium のデータセットにおいて,より高速なトレーニングが可能となり,大幅な性能向上が期待できる。
  論文  参考訳（メタデータ） (2024-04-19T05:01:12Z)
• What Constitutes Good Contrastive Learning in Time-Series Forecasting? [10.44543726728613]
  自己教師付きコントラスト学習(SSCL)は、様々な領域にわたる表現学習において顕著に改善されている。 本稿では,様々なSSCLアルゴリズムの有効性,学習戦略,モデルアーキテクチャ,それらの相互作用を包括的に分析することを目的とする。 平均二乗誤差(MSE)損失とSSCLを用いたトランスフォーマーモデルのエンドツーエンドトレーニングが時系列予測において最も効果的な手法として現れることを示す。
  論文  参考訳（メタデータ） (2023-06-21T08:05:05Z)
• Understanding and Improving the Role of Projection Head in Self-Supervised Learning [77.59320917894043]
  自己教師付き学習(SSL)は、人間のラベル付きデータアノテーションにアクセスせずに有用な特徴表現を作成することを目的としている。 現在の対照的な学習アプローチは、InfoNCEの目的を最適化するために、あるバックボーンネットワークの端にパラメータ化されたプロジェクションヘッドを付加する。 学習可能なプロジェクションヘッドが、トレーニング後にそれを破棄する場合、なぜ必要となるのか?
  論文  参考訳（メタデータ） (2022-12-22T05:42:54Z)
• Weighted Ensemble Self-Supervised Learning [67.24482854208783]
  組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。 我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。 提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
  論文  参考訳（メタデータ） (2022-11-18T02:00:17Z)
• Effective Self-supervised Pre-training on Low-compute Networks without Distillation [6.530011859253459]
  報告された自己教師型学習のパフォーマンスは、標準的な教師付き事前学習よりも大きなマージンで遅れている。 以前の作業のほとんどは、低スループットネットワークのキャパシティボトルネックによるパフォーマンスの低下を理由としている。 我々は、現実的な制約の原因となる有害要因と、それらが自己監督型低コンプット設定に固有のものであるかどうかについて、より詳しく検討する。
  論文  参考訳（メタデータ） (2022-10-06T10:38:07Z)
• Pretraining the Vision Transformer using self-supervised methods for vision based Deep Reinforcement Learning [0.0]
  いくつかの最先端の自己教師型手法を用いて視覚変換器の事前学習を行い、学習した表現の質を評価する。 その結果,すべての手法が有用な表現を学習し,表現の崩壊を避けるのに有効であることが示唆された。 時間順序検証タスクで事前訓練されたエンコーダは、すべての実験で最高の結果を示す。
  論文  参考訳（メタデータ） (2022-09-22T10:18:59Z)
• Adapting Self-Supervised Vision Transformers by Probing Attention-Conditioned Masking Consistency [7.940705941237998]
  自己教師型 ViT のための単純な2段階適応アルゴリズムである PACMAC を提案する。 私たちの単純なアプローチは、競合するメソッドよりも一貫したパフォーマンス向上につながります。
  論文  参考訳（メタデータ） (2022-06-16T14:46:10Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)
• Unsupervised Monocular Depth Learning with Integrated Intrinsics and Spatio-Temporal Constraints [61.46323213702369]
  本研究は,大規模深度マップとエゴモーションを予測可能な教師なし学習フレームワークを提案する。 本結果は,KITTI運転データセットの複数シーケンスにおける現在の最先端技術と比較して,高い性能を示す。
  論文  参考訳（メタデータ） (2020-11-02T22:26:58Z)
• Learning Monocular Visual Odometry via Self-Supervised Long-Term Modeling [106.15327903038705]
  単眼視覚計測(VO)はフレーム・ツー・フレームのポーズ推定時にエラーの蓄積に苦しむ。 本稿では,より長いシーケンスの一貫性を考慮したVOの自己教師付き学習手法を提案する。 我々は、幾何VOのループ閉鎖モジュールを模倣したサイクル整合損失を含む、純粋に自己監督的な損失でネットワークを訓練する。
  論文  参考訳（メタデータ） (2020-07-21T17:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。