論文の概要: CycleCL: Self-supervised Learning for Periodic Videos
- arxiv url: http://arxiv.org/abs/2311.03402v2
- Date: Mon, 13 Nov 2023 13:09:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 17:34:43.088273
- Title: CycleCL: Self-supervised Learning for Periodic Videos
- Title（参考訳）: CycleCL: 周期ビデオのための自己教師型学習
- Authors: Matteo Destro, Michael Gygli
- Abstract要約: 本稿では,周期データを扱うための自己教師付き学習手法であるCycleCLを提案する。
ビデオの繰り返しを利用して,三重項損失に基づく新しいコントラスト学習手法を設計する。
提案手法では, ほぼ同じ位相のフレーム対と異なる位相の負のフレーム対をサンプリングするために, 事前学習した特徴を用いる。
- 参考スコア（独自算出の注目度）: 5.9647924003148365
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Analyzing periodic video sequences is a key topic in applications such as
automatic production systems, remote sensing, medical applications, or physical
training. An example is counting repetitions of a physical exercise. Due to the
distinct characteristics of periodic data, self-supervised methods designed for
standard image datasets do not capture changes relevant to the progression of
the cycle and fail to ignore unrelated noise. They thus do not work well on
periodic data. In this paper, we propose CycleCL, a self-supervised learning
method specifically designed to work with periodic data. We start from the
insight that a good visual representation for periodic data should be sensitive
to the phase of a cycle, but be invariant to the exact repetition, i.e. it
should generate identical representations for a specific phase throughout all
repetitions. We exploit the repetitions in videos to design a novel contrastive
learning method based on a triplet loss that optimizes for these desired
properties. Our method uses pre-trained features to sample pairs of frames from
approximately the same phase and negative pairs of frames from different
phases. Then, we iterate between optimizing a feature encoder and resampling
triplets, until convergence. By optimizing a model this way, we are able to
learn features that have the mentioned desired properties. We evaluate CycleCL
on an industrial and multiple human actions datasets, where it significantly
outperforms previous video-based self-supervised learning methods on all tasks.
- Abstract（参考訳）: 定期的なビデオシーケンスの分析は、自動生産システム、リモートセンシング、医療アプリケーション、物理トレーニングなどのアプリケーションにおいて重要なトピックである。
例えば、身体運動の繰り返しを数えることである。
周期データの特徴から、標準画像データセット用に設計された自己教師あり法は、周期の進行に関連する変化を捉えず、無関係なノイズを無視できない。
したがって、周期データではうまく動作しない。
本稿では,周期データを扱うための自己教師型学習手法であるCycleCLを提案する。
まず、周期データのよい視覚表現はサイクルの位相に敏感であるべきであるが、正確な反復に不変である、すなわち全ての繰り返しを通して特定の位相に対して同一の表現を生成するべきであるという洞察から始める。
ビデオの繰り返しを利用して,これらの特性を最適化した三重項損失に基づく新しいコントラスト学習法を設計する。
本手法では,事前学習した特徴を用いて,ほぼ同相のフレーム対と異なる相のフレームの負のペアをサンプリングする。
次に、機能エンコーダの最適化とトリプレットの再サンプリングを収束するまで繰り返す。
このようにモデルを最適化することで、前述の望ましい特性を持つ機能を学ぶことができます。
我々はcycleclを産業用および複数のヒューマンアクションデータセットで評価し、全てのタスクにおいて従来のビデオベースの自己教師付き学習方法を大幅に上回る評価を行った。
関連論文リスト
- On the Regularization of Learnable Embeddings for Time Series Processing [18.069747511100132]
時系列処理のための局所学習可能な埋め込みの学習を規則化する手法について検討する。
この文脈では,局所的パラメータと大域的パラメータの共適応を防ぐ手法が特に有効であることを示す。
論文 参考訳（メタデータ） (2024-10-18T17:30:20Z) - Continual Learning for Multimodal Data Fusion of a Soft Gripper [1.0589208420411014]
あるデータモダリティに基づいてトレーニングされたモデルは、異なるモダリティでテストした場合、しばしば失敗する。
異なるデータモダリティを漸進的に学習できる連続学習アルゴリズムを提案する。
我々は、アルゴリズムの有効性を、挑戦的なカスタムマルチモーダルデータセット上で評価する。
論文 参考訳（メタデータ） (2024-09-20T09:53:27Z) - Motion Code: Robust Time series Classification and Forecasting via Sparse Variational Multi-Stochastic Processes Learning [3.2857981869020327]
本稿では,各時系列を連続的なプロセスのサンプル化として考える新しいフレームワークを提案する。
このような数学的モデルは、複数のタイムスタンプにまたがるデータ依存を明示的に捉え、ノイズから隠れた時間依存信号を検出する。
次に、割り当てられたベクトルに基づいて個々のダイナミクスのスパース近似を推測する最も情報性の高いタイムスタンプの抽象的概念を提案する。
論文 参考訳（メタデータ） (2024-02-21T19:10:08Z) - Curricular and Cyclical Loss for Time Series Learning Strategy [17.725840333187577]
本稿では,Curricular and CyclicaL Loss (CRUCIAL) を提案する。
CRUCIALには2つの特徴がある。
単調なサイズに比べ、循環的なサイズは予測誤差を低減できることを示す。
論文 参考訳（メタデータ） (2023-12-26T02:40:05Z) - Time-series Generation by Contrastive Imitation [87.51882102248395]
モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。
推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
論文 参考訳（メタデータ） (2023-11-02T16:45:25Z) - Efficient Video Segmentation Models with Per-frame Inference [117.97423110566963]
推論のオーバーヘッドを導入することなく、時間的一貫性を改善することに注力する。
本稿では,時間的一貫性の喪失やオンライン/オフラインの知識蒸留手法など,ビデオシーケンスから学ぶためのいくつかの手法を提案する。
論文 参考訳（メタデータ） (2022-02-24T23:51:36Z) - Imputing Missing Observations with Time Sliced Synthetic Minority
Oversampling Technique [0.3973560285628012]
本稿では,データセット内の各サンプルに対して均一な不規則な時系列を構成することを目的とした,単純かつ斬新な時系列計算手法を提案する。
我々は、観測時間の重複しないビン(「スライス」と呼ばれる)の中間点で定義される格子を固定し、各サンプルが所定の時間にすべての特徴に対して値を持つことを保証する。
これにより、完全に欠落した観察をインプットし、データ全体の時系列の均一な分類を可能にし、特別な場合には個々の欠落した特徴をインプットすることができる。
論文 参考訳（メタデータ） (2022-01-14T19:23:24Z) - Learning summary features of time series for likelihood free inference [93.08098361687722]
時系列データから要約機能を自動的に学習するためのデータ駆動型戦略を提案する。
以上の結果から,データから要約的特徴を学習することで,手作りの値に基づいてLFI手法よりも優れる可能性が示唆された。
論文 参考訳（メタデータ） (2020-12-04T19:21:37Z) - Counting Out Time: Class Agnostic Video Repetition Counting in the Wild [82.26003709476848]
本稿では,アクションがビデオで繰り返される期間を推定するためのアプローチを提案する。
アプローチの要点は、周期予測モジュールを時間的自己相似性を使用するように制約することにある。
我々は、大規模なラベルなしビデオコレクションから生成される合成データセットを用いて、Repnetと呼ばれるこのモデルをトレーニングする。
論文 参考訳（メタデータ） (2020-06-27T18:00:42Z) - Automatic Recall Machines: Internal Replay, Continual Learning and the
Brain [104.38824285741248]
ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。
本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。
代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
論文 参考訳（メタデータ） (2020-06-22T15:07:06Z) - Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。
これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。
この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
論文 参考訳（メタデータ） (2020-02-21T05:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。