論文の概要: Unsupervised Activity Segmentation by Joint Representation Learning and Online Clustering

• arxiv url: http://arxiv.org/abs/2105.13353v1
• Date: Thu, 27 May 2021 17:57:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-28 16:18:23.645115
• Title: Unsupervised Activity Segmentation by Joint Representation Learning and Online Clustering
• Title（参考訳）: 共同表現学習とオンラインクラスタリングによる教師なしアクティビティセグメンテーション
• Authors: Sateesh Kumar, Sanjay Haresh, Awais Ahmed, Andrey Konin, M. Zeeshan Zia, Quoc-Huy Tran
• Abstract要約: 本稿では、表現学習とオンラインクラスタリングを同時に行う、教師なしアクティビティセグメンテーションのための新しいアプローチを提案する。 我々は、時間的最適輸送と時間的コヒーレンス損失を利用して、ビデオの時間的情報を活用する。 本手法は,メモリの制約が大幅に少ないにもかかわらず,従来手法と同等かそれ以上に動作している。
• 参考スコア（独自算出の注目度）: 7.651094730668011
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel approach for unsupervised activity segmentation, which uses video frame clustering as a pretext task and simultaneously performs representation learning and online clustering. This is in contrast with prior works where representation learning and online clustering are often performed sequentially. We leverage temporal information in videos by employing temporal optimal transport and temporal coherence loss. In particular, we incorporate a temporal regularization term into the standard optimal transport module, which preserves the temporal order of the activity, yielding the temporal optimal transport module for computing pseudo-label cluster assignments. Next, the temporal coherence loss encourages neighboring video frames to be mapped to nearby points while distant video frames are mapped to farther away points in the embedding space. The combination of these two components results in effective representations for unsupervised activity segmentation. Furthermore, previous methods require storing learned features for the entire dataset before clustering them in an offline manner, whereas our approach processes one mini-batch at a time in an online manner. Extensive evaluations on three public datasets, i.e. 50-Salads, YouTube Instructions, and Breakfast, and our dataset, i.e., Desktop Assembly, show that our approach performs on par or better than previous methods for unsupervised activity segmentation, despite having significantly less memory constraints.
• Abstract（参考訳）: 本稿では,ビデオフレームクラスタリングをプリテキストタスクとして使用し,表現学習とオンラインクラスタリングを同時に行う,教師なしアクティビティセグメンテーションのための新しいアプローチを提案する。 これは、表現学習とオンラインクラスタリングが連続的に実行される従来の作業とは対照的である。 我々は時間的最適輸送と時間的コヒーレンス損失を利用してビデオの時間的情報を活用する。 特に、時間的正規化項を標準最適輸送モジュールに組み込むことにより、アクティビティの時間的順序を保ち、擬似ラベルクラスタ割り当てを計算する時間的最適輸送モジュールが得られる。 次に、時間的コヒーレンス損失により、隣接するビデオフレームを近くのポイントにマッピングし、遠方のビデオフレームを埋め込み空間内の遠く離れたポイントにマッピングする。 これら2つのコンポーネントの組み合わせは、教師なしアクティビティセグメンテーションの効果的な表現をもたらす。 さらに、従来の方法では、オフラインでクラスタ化する前にデータセット全体の学習機能を格納する必要がありますが、当社のアプローチでは、一度にひとつのミニバッチをオンライン形式で処理します。 3つの公開データセットの大規模な評価 50-Salads、YouTube Instructions、Breakfast、および私たちのデータセット、すなわちDesktop Assemblyは、メモリ制約が大幅に少ないにもかかわらず、これまでの教師なしアクティビティセグメンテーションの方法と同等かそれ以上のパフォーマンスを示す。

関連論文リスト

• Cluster-based Video Summarization with Temporal Context Awareness [9.861215740353247]
  TAC-SUMは、ビデオ要約のための新規で効率的なトレーニング不要なアプローチである。 提案手法では,入力映像を時間的に連続したセグメントに分割し,クラスタリングする。 結果の時間認識クラスタは、最終的なサマリーを計算するために使用される。
  論文  参考訳（メタデータ） (2024-04-06T05:55:14Z)
• Timestamp-supervised Wearable-based Activity Segmentation and Recognition with Contrastive Learning and Order-Preserving Optimal Transport [11.837401473598288]
  本稿では,タイムスタンプによる協調活動のセグメンテーションと認識のための新しい手法を提案する。 プロトタイプはクラスアクティベーションマップによって推定され、サンプル-プロトタイプコントラストモジュールを形成する。 4つの公開HARデータセットに関する総合的な実験により、タイムスタンプの監督で訓練されたモデルが、最先端の弱い教師付き手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-13T14:00:49Z)
• Contrastive Continual Multi-view Clustering with Filtered Structural Fusion [57.193645780552565]
  ビューが事前に収集されるアプリケーションでは、マルチビュークラスタリングが成功します。 データビューがシーケンシャルに収集されるシナリオ、すなわちリアルタイムデータを見落としている。 いくつかの方法が提案されているが、安定塑性ジレンマに閉じ込められている。 フィルタ構造融合を用いたコントラスト連続多視点クラスタリングを提案する。
  論文  参考訳（メタデータ） (2023-09-26T14:18:29Z)
• TAEC: Unsupervised Action Segmentation with Temporal-Aware Embedding and Clustering [27.52568444236988]
  本稿では,教師なしの動画シーケンスからアクションクラスを学習するための教師なしアプローチを提案する。 特に,相対時間予測,特徴再構成,シーケンス・ツー・シーケンス学習を組み合わせた時間的埋め込みネットワークを提案する。 識別されたクラスタに基づいて、ビデオは意味論的に意味のあるアクションクラスに対応するコヒーレントな時間セグメントにデコードする。
  論文  参考訳（メタデータ） (2023-03-09T10:46:23Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)
• Towards General and Efficient Active Learning [20.888364610175987]
  アクティブラーニングは、限られたアノテーション予算を利用するために最も有益なサンプルを選択することを目的としている。 本稿では,新しい汎用能動学習法(GEAL)を提案する。 提案手法は,同一モデルの単一パス推定を用いて,異なるデータセット上でデータ選択処理を行うことができる。
  論文  参考訳（メタデータ） (2021-12-15T08:35:28Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)
• Unsupervised Visual Representation Learning by Online Constrained K-Means [44.38989920488318]
  クラスタ識別は、教師なし表現学習の効果的な前提課題である。 オンラインtextbfConstrained textbfK-mtextbfeans (textbfCoKe) を用いたクラスタリングに基づく新しいプリテキストタスクを提案する。 当社のオンライン割当て方式は,グローバルな最適化に近づくための理論的保証を持っている。
  論文  参考訳（メタデータ） (2021-05-24T20:38:32Z)
• Temporally-Weighted Hierarchical Clustering for Unsupervised Action Segmentation [96.67525775629444]
  アクションセグメンテーションとは、ビデオにおける意味的に一貫した視覚概念の境界を推測することを指す。 ビデオ中のセグメンテーション動作に対して,トレーニングを必要としない完全自動かつ教師なしのアプローチを提案する。 提案手法は,ビデオの意味的に一貫性のあるフレームをグループ化できる効果的な時間重み付き階層クラスタリングアルゴリズムである。
  論文  参考訳（メタデータ） (2021-03-20T23:30:01Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)
• Online Deep Clustering for Unsupervised Representation Learning [108.33534231219464]
  オンラインディープクラスタリング(ODC)は、交互にではなく、クラスタリングとネットワーク更新を同時に実行する。 我々は,2つの動的メモリモジュール,すなわち,サンプルラベルと特徴を格納するサンプルメモリと,セントロイド進化のためのセントロイドメモリを設計,維持する。 このように、ラベルとネットワークは交互にではなく肩から肩へと進化する。
  論文  参考訳（メタデータ） (2020-06-18T16:15:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。