論文の概要: Turning to a Teacher for Timestamp Supervised Temporal Action Segmentation

• arxiv url: http://arxiv.org/abs/2207.00712v1
• Date: Sat, 2 Jul 2022 02:00:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-05 14:39:35.532034
• Title: Turning to a Teacher for Timestamp Supervised Temporal Action Segmentation
• Title（参考訳）: タイムスタンプを監督する時間的行動セグメンテーションの教師へ
• Authors: Yang Zhao and Yan Song
• Abstract要約: 本稿では,時間スタンプによる時間的動作分割のための新しいフレームワークを提案する。 本稿では,モデル最適化のプロセスの安定化を支援するために,セグメンテーションモデルに平行な教師モデルを提案する。 提案手法は最先端の手法より優れており,アノテーションコストがはるかに低い完全教師付き手法に対してコンパロブルに機能する。
• 参考スコア（独自算出の注目度）: 27.735478880660164
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Temporal action segmentation in videos has drawn much attention recently. Timestamp supervision is a cost-effective way for this task. To obtain more information to optimize the model, the existing method generated pseudo frame-wise labels iteratively based on the output of a segmentation model and the timestamp annotations. However, this practice may introduce noise and oscillation during the training, and lead to performance degeneration. To address this problem, we propose a new framework for timestamp supervised temporal action segmentation by introducing a teacher model parallel to the segmentation model to help stabilize the process of model optimization. The teacher model can be seen as an ensemble of the segmentation model, which helps to suppress the noise and to improve the stability of pseudo labels. We further introduce a segmentally smoothing loss, which is more focused and cohesive, to enforce the smooth transition of the predicted probabilities within action instances. The experiments on three datasets show that our method outperforms the state-of-the-art method and performs comparably against the fully-supervised methods at a much lower annotation cost.
• Abstract（参考訳）: ビデオにおける時間的なアクションセグメンテーションが最近注目を集めている。 タイムスタンプの監督は、このタスクに費用対効果がある。 モデル最適化のためのさらなる情報を得るため、既存の手法ではセグメンテーションモデルとタイムスタンプアノテーションの出力に基づいて擬似フレームワイズラベルを反復生成した。 しかし、この練習はトレーニング中にノイズと振動をもたらし、パフォーマンスの低下につながる可能性がある。 そこで本研究では,モデル最適化のプロセスの安定化を支援するため,教師モデルを導入し,時間スタンプによる時間的行動セグメンテーションのための新しいフレームワークを提案する。 教師モデルはセグメンテーションモデルのアンサンブルとして見ることができ、ノイズを抑え、擬似ラベルの安定性を向上させるのに役立つ。 さらに,より集中的かつ凝集性の高い部分的平滑化損失を導入し,行動インスタンス内の予測確率の円滑な遷移を強制する。 3つのデータセットを用いた実験により,本手法は最先端手法よりも優れており,アノテーションコストがはるかに低い完全教師付きメソッドと比較可能であった。

関連論文リスト

• Efficient Temporal Action Segmentation via Boundary-aware Query Voting [51.92693641176378]
  BaFormerは境界対応のTransformerネットワークで、各ビデオセグメントをインスタンストークンとしてトークン化する。 BaFormerは実行時間の6%しか利用せず、計算コストを大幅に削減する。
  論文  参考訳（メタデータ） (2024-05-25T00:44:13Z)
• STAT: Towards Generalizable Temporal Action Localization [56.634561073746056]
  WTAL(Wakly-supervised temporal action Localization)は、ビデオレベルのラベルだけでアクションインスタンスを認識およびローカライズすることを目的としている。 既存の手法は、異なる分布に転送する際の重大な性能劣化に悩まされる。 本稿では,アクションローカライズ手法の一般化性向上に焦点を当てたGTALを提案する。
  論文  参考訳（メタデータ） (2024-04-20T07:56:21Z)
• Timestamp-supervised Wearable-based Activity Segmentation and Recognition with Contrastive Learning and Order-Preserving Optimal Transport [11.837401473598288]
  本稿では,タイムスタンプによる協調活動のセグメンテーションと認識のための新しい手法を提案する。 プロトタイプはクラスアクティベーションマップによって推定され、サンプル-プロトタイプコントラストモジュールを形成する。 4つの公開HARデータセットに関する総合的な実験により、タイムスタンプの監督で訓練されたモデルが、最先端の弱い教師付き手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-13T14:00:49Z)
• Diffusion Action Segmentation [63.061058214427085]
  本稿では,このような反復的洗練の本質的な精神を共用した拡散モデルによる新しい枠組みを提案する。 このフレームワークでは、入力された映像の特徴を条件としてランダムノイズから行動予測を反復的に生成する。
  論文  参考訳（メタデータ） (2023-03-31T10:53:24Z)
• FineDiving: A Fine-grained Dataset for Procedure-aware Action Quality Assessment [93.09267863425492]
  競争力のあるスポーツビデオにおける行動の高レベル意味論と内部時間構造の両方を理解することが、予測を正確かつ解釈可能なものにする鍵である、と我々は主張する。 本研究では,多様なダイビングイベントに対して,アクションプロシージャに関する詳細なアノテーションを付加した,ファインディビングと呼ばれる詳細なデータセットを構築した。
  論文  参考訳（メタデータ） (2022-04-07T17:59:32Z)
• Dense Unsupervised Learning for Video Segmentation [49.46930315961636]
  ビデオオブジェクトセグメンテーション(VOS)のための教師なし学習のための新しいアプローチを提案する。 これまでの研究とは異なり、我々の定式化によって、完全に畳み込みの仕組みで、密集した特徴表現を直接学習することができる。 我々の手法は、トレーニングデータや計算能力が大幅に少ないにもかかわらず、以前の作業のセグメンテーション精度を超える。
  論文  参考訳（メタデータ） (2021-11-11T15:15:11Z)
• A Positive/Unlabeled Approach for the Segmentation of Medical Sequences using Point-Wise Supervision [3.883460584034766]
  本稿では,ポイントワイズアノテーションのみを用いて,医用画像のボリュームや動画を効率的に分割する手法を提案する。 提案手法は,ポイントワイドアノテーションを用いて,適切なポジティブ/アンラベル対象関数を用いてディープラーニングモデルを訓練する。 提案手法は,同じ問題に適応した最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-18T09:13:33Z)
• Temporal Action Segmentation from Timestamp Supervision [25.49797678477498]
  時間的行動分節タスクのタイムスタンプ管理を導入する。 タイムスタンプは弱い教師のアプローチに匹敵するアノテーションを必要とする。 提案手法では,モデル出力とアノテーション付きタイムスタンプを用いてフレームワイドラベルを生成する。
  論文  参考訳（メタデータ） (2021-03-11T13:52:41Z)
• Weakly Supervised Temporal Action Localization with Segment-Level Labels [140.68096218667162]
  時間的アクションローカライゼーションは、テストパフォーマンスとアノテーション時間コストのトレードオフを示す。 ここでは、アノテーションがアクションを観察するときにセグメントがラベル付けされる。 我々は、ラベル付きセグメントから積分的な動作部分を学ぶために、損失サンプリングと見なされる部分的なセグメント損失を考案する。
  論文  参考訳（メタデータ） (2020-07-03T10:32:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。