論文の概要: Timestamp-Supervised Action Segmentation in the Perspective of
Clustering
- arxiv url: http://arxiv.org/abs/2212.11694v1
- Date: Thu, 22 Dec 2022 13:35:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-23 14:53:53.020666
- Title: Timestamp-Supervised Action Segmentation in the Perspective of
Clustering
- Title(参考訳): クラスタリングの観点からのタイムスタンプ教師付きアクションセグメンテーション
- Authors: Dazhao Du, Enhan Li, Lingyu Si, Fanjiang Xu, Fuchun Sun
- Abstract要約: ビデオアクションセグメンテーションは、ビデオをいくつかのアクションセグメンテーションに分割することを目的としている。
アクションセグメントの境界付近のフレームには、曖昧なセマンティクスがあり、あいまいな間隔と呼ばれる。
本稿では,以下の2つの部分を含むタイムスタンプ管理下でモデルをトレーニングするための新しいフレームワークを提案する。
- 参考スコア(独自算出の注目度): 12.661218632080207
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video action segmentation aims to slice the video into several action
segments. Recently, timestamp supervision has received much attention due to
lower annotation costs. We find the frames near the boundaries of action
segments are in the transition region between two consecutive actions and have
unclear semantics, which we call ambiguous intervals. Most existing methods
iteratively generate pseudo-labels for all frames in each video to train the
segmentation model. However, ambiguous intervals are more likely to be assigned
with noisy and incorrect pseudo-labels, which leads to performance degradation.
We propose a novel framework to train the model under timestamp supervision
including the following two parts. First, pseudo-label ensembling generates
pseudo-label sequences with ambiguous intervals, where the frames have no
pseudo-labels. Second, iterative clustering iteratively propagates the
pseudo-labels to the ambiguous intervals by clustering, and thus updates the
pseudo-label sequences to train the model. We further introduce a clustering
loss, which encourages the features of frames within the same action segment
more compact. Extensive experiments show the effectiveness of our method.
- Abstract(参考訳): ビデオアクションセグメンテーションは、ビデオをいくつかのアクションセグメンテーションに分割することを目的としている。
近年,アノテーションコストの低下によりタイムスタンプ管理が注目されている。
アクションセグメントの境界付近のフレームは、2つの連続するアクション間の遷移領域にあり、不明瞭なセマンティクスを持ち、あいまいな間隔と呼ばれる。
既存の手法のほとんどは、セグメンテーションモデルを訓練するために各ビデオの全てのフレームの擬似ラベルを反復的に生成する。
しかし、あいまいな間隔はノイズや誤った擬似ラベルで割り当てられることが多く、結果としてパフォーマンスが低下する。
本稿では,タイムスタンプ管理下でモデルをトレーニングするための新しい枠組みを提案する。
まず、擬似ラベルエンセムリングは、フレームが擬似ラベルを持たない曖昧な間隔の擬似ラベルシーケンスを生成する。
第二に、反復クラスタリングは擬似ラベルをクラスタリングによってあいまいな間隔に反復的に伝播し、擬似ラベルシーケンスを更新してモデルをトレーニングする。
さらに,同じ動作セグメント内のフレームの特徴をよりコンパクトにするクラスタリングロスについても紹介する。
広範な実験により,本手法の有効性が示された。
関連論文リスト
- Scribble Hides Class: Promoting Scribble-Based Weakly-Supervised
Semantic Segmentation with Its Class Label [16.745019028033518]
画像レベルのクラスから情報を得たスクリブルアノテーションと擬似ラベルと、監督のためのグローバルセマンティクスの両方を利用するクラス駆動型スクリブルプロモーションネットワークを提案する。
スクリブルアノテーションの異なる性質を持つScribbleSupデータセットの実験は、従来の手法よりも優れており、本手法の優位性と堅牢性を示している。
論文 参考訳(メタデータ) (2024-02-27T14:51:56Z) - Densify Your Labels: Unsupervised Clustering with Bipartite Matching for
Weakly Supervised Point Cloud Segmentation [42.144991202299934]
本稿では,単に「全シーン」アノテーションから「ポイント毎」ラベルを予測する,ポイントクラウドに対する弱教師付きセマンティックセマンティックセマンティックセマンティクス手法を提案する。
私たちの中核となる考え方は、擬似ラベルを保守的な方法で作成することで、シーンレベルのラベルをポイントクラウドの各ポイントに伝播させることです。
我々は,ScanNet と S3DIS のデータセット上での手法の評価を行い,その有効性を実証し,完全な教師付き手法に匹敵する結果が得られることを示した。
論文 参考訳(メタデータ) (2023-12-11T19:18:17Z) - Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly
Supervised Video Anomaly Detection [149.23913018423022]
弱教師付きビデオ異常検出は、ビデオレベルのラベルのみを用いて、ビデオ内の異常事象を特定することを目的としている。
2段階の自己学習法は擬似ラベルの自己生成によって著しく改善されている。
本稿では,自己学習のための完全性と不確実性を利用した強化フレームワークを提案する。
論文 参考訳(メタデータ) (2022-12-08T05:53:53Z) - A Survey on Label-efficient Deep Segmentation: Bridging the Gap between
Weak Supervision and Dense Prediction [115.9169213834476]
本稿では,ラベル効率の高いセグメンテーション手法について概説する。
まず,様々な種類の弱いラベルによって提供される監督に従って,これらの手法を整理する分類法を開発する。
次に,既存のラベル効率のセグメンテーション手法を統一的な視点から要約する。
論文 参考訳(メタデータ) (2022-07-04T06:21:01Z) - Timestamp-Supervised Action Segmentation with Graph Convolutional
Networks [7.696728525672148]
グラフ畳み込みネットワークが学習され、スパースタイムスタンプラベルから密度の高いフレームワイズラベルを生成する。
生成された高密度フレームワイドラベルは、セグメンテーションモデルをトレーニングするために使用することができる。
50のサラダ、GTEA、Breakfast、Desktop Assemblyを含む4つの公開データセットに関する詳細な実験は、我々の手法が多層パーセプトロンベースラインよりも優れていることを示している。
論文 参考訳(メタデータ) (2022-06-30T05:56:24Z) - Refining Pseudo Labels with Clustering Consensus over Generations for
Unsupervised Object Re-identification [84.72303377833732]
教師なしのオブジェクト再識別は、アノテーションなしでオブジェクト検索のための識別表現を学習することを目的としている。
本稿では,クラスタリングコンセンサスを用いた連続学習世代間の擬似ラベル類似性を推定し,時間的に伝播およびアンサンブルされた擬似ラベルを用いた洗練された擬似ラベルを提案する。
提案する擬似ラベル精錬戦略は単純だが有効であり、既存のクラスタリングに基づく教師なし再同定手法にシームレスに統合することができる。
論文 参考訳(メタデータ) (2021-06-11T02:42:42Z) - A Closer Look at Self-training for Zero-Label Semantic Segmentation [53.4488444382874]
トレーニング中に見られないクラスをセグメント化できることは、ディープラーニングにおいて重要な技術的課題です。
事前のゼロラベルセマンティクスセグメンテーションは、ビジュアル・セマンティクスの埋め込みや生成モデルを学ぶことによってこのタスクにアプローチする。
本研究では,同一画像の異なる増分から生じる擬似ラベルの交点を取り出し,ノイズの多い擬似ラベルをフィルタリングする整合性正規化器を提案する。
論文 参考訳(メタデータ) (2021-04-21T14:34:33Z) - SegGroup: Seg-Level Supervision for 3D Instance and Semantic
Segmentation [88.22349093672975]
アノテーションの場所を示すためにインスタンス毎に1つのポイントをクリックするだけでよい、弱い教師付きポイントクラウドセグメンテーションアルゴリズムを設計します。
事前処理のオーバーセグメンテーションにより、これらの位置アノテーションをセグレベルのラベルとしてセグメントに拡張する。
seg-level supervised method (SegGroup) は、完全注釈付きポイントレベルのsupervised method で比較結果が得られることを示した。
論文 参考訳(メタデータ) (2020-12-18T13:23:34Z) - Weakly Supervised Temporal Action Localization with Segment-Level Labels [140.68096218667162]
時間的アクションローカライゼーションは、テストパフォーマンスとアノテーション時間コストのトレードオフを示す。
ここでは、アノテーションがアクションを観察するときにセグメントがラベル付けされる。
我々は、ラベル付きセグメントから積分的な動作部分を学ぶために、損失サンプリングと見なされる部分的なセグメント損失を考案する。
論文 参考訳(メタデータ) (2020-07-03T10:32:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。