論文の概要: Timestamp-Supervised Action Segmentation from the Perspective of Clustering

• arxiv url: http://arxiv.org/abs/2212.11694v2
• Date: Sun, 23 Apr 2023 02:45:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 23:10:22.987569
• Title: Timestamp-Supervised Action Segmentation from the Perspective of Clustering
• Title（参考訳）: クラスタリングの観点からみたタイムスタンプ・スーパービジョンアクションセグメンテーション
• Authors: Dazhao Du, Enhan Li, Lingyu Si, Fanjiang Xu, Fuchun Sun
• Abstract要約: 既存のほとんどの手法は、各ビデオ内のすべてのフレームに対して擬似ラベルを生成し、セグメンテーションモデルを訓練する。 本稿では,クラスタリングの観点から,以下の2つの部分を含む新しいフレームワークを提案する。 反復クラスタリングは、クラスタリングによって擬似ラベルをあいまいな間隔に反復的に伝播し、擬似ラベルシーケンスを更新してモデルをトレーニングする。
• 参考スコア（独自算出の注目度）: 12.661218632080207
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video action segmentation under timestamp supervision has recently received much attention due to lower annotation costs. Most existing methods generate pseudo-labels for all frames in each video to train the segmentation model. However, these methods suffer from incorrect pseudo-labels, especially for the semantically unclear frames in the transition region between two consecutive actions, which we call ambiguous intervals. To address this issue, we propose a novel framework from the perspective of clustering, which includes the following two parts. First, pseudo-label ensembling generates incomplete but high-quality pseudo-label sequences, where the frames in ambiguous intervals have no pseudo-labels. Second, iterative clustering iteratively propagates the pseudo-labels to the ambiguous intervals by clustering, and thus updates the pseudo-label sequences to train the model. We further introduce a clustering loss, which encourages the features of frames within the same action segment more compact. Extensive experiments show the effectiveness of our method.
• Abstract（参考訳）: タイムスタンプ監視下のビデオアクションセグメンテーションは,アノテーションコストの低下により近年注目されている。 既存の手法のほとんどは、セグメンテーションモデルを訓練するために各ビデオの全てのフレームに対して擬似ラベルを生成する。 しかし、これらの手法は、特に2つの連続する動作間の遷移領域における意味不明なフレームにおいて、不正確な擬似ラベルに悩まされる。 この問題に対処するため,我々はクラスタリングの観点から,以下の2つの部分を含む新しいフレームワークを提案する。 まず、擬似ラベルセンスは不完全だが高品質な擬似ラベル配列を生成し、あいまいな間隔のフレームは擬似ラベルを持たない。 第二に、反復クラスタリングは擬似ラベルをクラスタリングによってあいまいな間隔に反復的に伝播し、擬似ラベルシーケンスを更新してモデルをトレーニングする。 さらに,同じ動作セグメント内のフレームの特徴をよりコンパクトにするクラスタリングロスについても紹介する。 広範な実験により,本手法の有効性が示された。

関連論文リスト

• Scribble Hides Class: Promoting Scribble-Based Weakly-Supervised Semantic Segmentation with Its Class Label [16.745019028033518]
  画像レベルのクラスから情報を得たスクリブルアノテーションと擬似ラベルと、監督のためのグローバルセマンティクスの両方を利用するクラス駆動型スクリブルプロモーションネットワークを提案する。 スクリブルアノテーションの異なる性質を持つScribbleSupデータセットの実験は、従来の手法よりも優れており、本手法の優位性と堅牢性を示している。
  論文  参考訳（メタデータ） (2024-02-27T14:51:56Z)
• Densify Your Labels: Unsupervised Clustering with Bipartite Matching for Weakly Supervised Point Cloud Segmentation [42.144991202299934]
  本稿では,単に「全シーン」アノテーションから「ポイント毎」ラベルを予測する,ポイントクラウドに対する弱教師付きセマンティックセマンティックセマンティックセマンティクス手法を提案する。 私たちの中核となる考え方は、擬似ラベルを保守的な方法で作成することで、シーンレベルのラベルをポイントクラウドの各ポイントに伝播させることです。 我々は,ScanNet と S3DIS のデータセット上での手法の評価を行い,その有効性を実証し,完全な教師付き手法に匹敵する結果が得られることを示した。
  論文  参考訳（メタデータ） (2023-12-11T19:18:17Z)
• Exploiting Completeness and Uncertainty of Pseudo Labels for Weakly Supervised Video Anomaly Detection [149.23913018423022]
  弱教師付きビデオ異常検出は、ビデオレベルのラベルのみを用いて、ビデオ内の異常事象を特定することを目的としている。 2段階の自己学習法は擬似ラベルの自己生成によって著しく改善されている。 本稿では,自己学習のための完全性と不確実性を利用した強化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-08T05:53:53Z)
• A Survey on Label-efficient Deep Segmentation: Bridging the Gap between Weak Supervision and Dense Prediction [115.9169213834476]
  本稿では,ラベル効率の高いセグメンテーション手法について概説する。 まず,様々な種類の弱いラベルによって提供される監督に従って,これらの手法を整理する分類法を開発する。 次に,既存のラベル効率のセグメンテーション手法を統一的な視点から要約する。
  論文  参考訳（メタデータ） (2022-07-04T06:21:01Z)
• Timestamp-Supervised Action Segmentation with Graph Convolutional Networks [7.696728525672148]
  グラフ畳み込みネットワークが学習され、スパースタイムスタンプラベルから密度の高いフレームワイズラベルを生成する。 生成された高密度フレームワイドラベルは、セグメンテーションモデルをトレーニングするために使用することができる。 50のサラダ、GTEA、Breakfast、Desktop Assemblyを含む4つの公開データセットに関する詳細な実験は、我々の手法が多層パーセプトロンベースラインよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-30T05:56:24Z)
• Refining Pseudo Labels with Clustering Consensus over Generations for Unsupervised Object Re-identification [84.72303377833732]
  教師なしのオブジェクト再識別は、アノテーションなしでオブジェクト検索のための識別表現を学習することを目的としている。 本稿では,クラスタリングコンセンサスを用いた連続学習世代間の擬似ラベル類似性を推定し,時間的に伝播およびアンサンブルされた擬似ラベルを用いた洗練された擬似ラベルを提案する。 提案する擬似ラベル精錬戦略は単純だが有効であり、既存のクラスタリングに基づく教師なし再同定手法にシームレスに統合することができる。
  論文  参考訳（メタデータ） (2021-06-11T02:42:42Z)
• A Closer Look at Self-training for Zero-Label Semantic Segmentation [53.4488444382874]
  トレーニング中に見られないクラスをセグメント化できることは、ディープラーニングにおいて重要な技術的課題です。 事前のゼロラベルセマンティクスセグメンテーションは、ビジュアル・セマンティクスの埋め込みや生成モデルを学ぶことによってこのタスクにアプローチする。 本研究では,同一画像の異なる増分から生じる擬似ラベルの交点を取り出し,ノイズの多い擬似ラベルをフィルタリングする整合性正規化器を提案する。
  論文  参考訳（メタデータ） (2021-04-21T14:34:33Z)
• SegGroup: Seg-Level Supervision for 3D Instance and Semantic Segmentation [88.22349093672975]
  アノテーションの場所を示すためにインスタンス毎に1つのポイントをクリックするだけでよい、弱い教師付きポイントクラウドセグメンテーションアルゴリズムを設計します。 事前処理のオーバーセグメンテーションにより、これらの位置アノテーションをセグレベルのラベルとしてセグメントに拡張する。 seg-level supervised method (SegGroup) は、完全注釈付きポイントレベルのsupervised method で比較結果が得られることを示した。
  論文  参考訳（メタデータ） (2020-12-18T13:23:34Z)
• Weakly Supervised Temporal Action Localization with Segment-Level Labels [140.68096218667162]
  時間的アクションローカライゼーションは、テストパフォーマンスとアノテーション時間コストのトレードオフを示す。 ここでは、アノテーションがアクションを観察するときにセグメントがラベル付けされる。 我々は、ラベル付きセグメントから積分的な動作部分を学ぶために、損失サンプリングと見なされる部分的なセグメント損失を考案する。
  論文  参考訳（メタデータ） (2020-07-03T10:32:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。