論文の概要: Turning to a Teacher for Timestamp Supervised Temporal Action
Segmentation
- arxiv url: http://arxiv.org/abs/2207.00712v1
- Date: Sat, 2 Jul 2022 02:00:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-05 14:39:35.532034
- Title: Turning to a Teacher for Timestamp Supervised Temporal Action
Segmentation
- Title(参考訳): タイムスタンプを監督する時間的行動セグメンテーションの教師へ
- Authors: Yang Zhao and Yan Song
- Abstract要約: 本稿では,時間スタンプによる時間的動作分割のための新しいフレームワークを提案する。
本稿では,モデル最適化のプロセスの安定化を支援するために,セグメンテーションモデルに平行な教師モデルを提案する。
提案手法は最先端の手法より優れており,アノテーションコストがはるかに低い完全教師付き手法に対してコンパロブルに機能する。
- 参考スコア(独自算出の注目度): 27.735478880660164
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Temporal action segmentation in videos has drawn much attention recently.
Timestamp supervision is a cost-effective way for this task. To obtain more
information to optimize the model, the existing method generated pseudo
frame-wise labels iteratively based on the output of a segmentation model and
the timestamp annotations. However, this practice may introduce noise and
oscillation during the training, and lead to performance degeneration. To
address this problem, we propose a new framework for timestamp supervised
temporal action segmentation by introducing a teacher model parallel to the
segmentation model to help stabilize the process of model optimization. The
teacher model can be seen as an ensemble of the segmentation model, which helps
to suppress the noise and to improve the stability of pseudo labels. We further
introduce a segmentally smoothing loss, which is more focused and cohesive, to
enforce the smooth transition of the predicted probabilities within action
instances. The experiments on three datasets show that our method outperforms
the state-of-the-art method and performs comparably against the
fully-supervised methods at a much lower annotation cost.
- Abstract(参考訳): ビデオにおける時間的なアクションセグメンテーションが最近注目を集めている。
タイムスタンプの監督は、このタスクに費用対効果がある。
モデル最適化のためのさらなる情報を得るため、既存の手法ではセグメンテーションモデルとタイムスタンプアノテーションの出力に基づいて擬似フレームワイズラベルを反復生成した。
しかし、この練習はトレーニング中にノイズと振動をもたらし、パフォーマンスの低下につながる可能性がある。
そこで本研究では,モデル最適化のプロセスの安定化を支援するため,教師モデルを導入し,時間スタンプによる時間的行動セグメンテーションのための新しいフレームワークを提案する。
教師モデルはセグメンテーションモデルのアンサンブルとして見ることができ、ノイズを抑え、擬似ラベルの安定性を向上させるのに役立つ。
さらに,より集中的かつ凝集性の高い部分的平滑化損失を導入し,行動インスタンス内の予測確率の円滑な遷移を強制する。
3つのデータセットを用いた実験により,本手法は最先端手法よりも優れており,アノテーションコストがはるかに低い完全教師付きメソッドと比較可能であった。
関連論文リスト
- Timestamp-supervised Wearable-based Activity Segmentation and
Recognition with Contrastive Learning and Order-Preserving Optimal Transport [11.837401473598288]
本稿では,タイムスタンプによる協調活動のセグメンテーションと認識のための新しい手法を提案する。
プロトタイプはクラスアクティベーションマップによって推定され、サンプル-プロトタイプコントラストモジュールを形成する。
4つの公開HARデータセットに関する総合的な実験により、タイムスタンプの監督で訓練されたモデルが、最先端の弱い教師付き手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2023-10-13T14:00:49Z) - Diffusion Action Segmentation [63.061058214427085]
本稿では,このような反復的洗練の本質的な精神を共用した拡散モデルによる新しい枠組みを提案する。
このフレームワークでは、入力された映像の特徴を条件としてランダムノイズから行動予測を反復的に生成する。
論文 参考訳(メタデータ) (2023-03-31T10:53:24Z) - FineDiving: A Fine-grained Dataset for Procedure-aware Action Quality
Assessment [93.09267863425492]
競争力のあるスポーツビデオにおける行動の高レベル意味論と内部時間構造の両方を理解することが、予測を正確かつ解釈可能なものにする鍵である、と我々は主張する。
本研究では,多様なダイビングイベントに対して,アクションプロシージャに関する詳細なアノテーションを付加した,ファインディビングと呼ばれる詳細なデータセットを構築した。
論文 参考訳(メタデータ) (2022-04-07T17:59:32Z) - Dense Unsupervised Learning for Video Segmentation [49.46930315961636]
ビデオオブジェクトセグメンテーション(VOS)のための教師なし学習のための新しいアプローチを提案する。
これまでの研究とは異なり、我々の定式化によって、完全に畳み込みの仕組みで、密集した特徴表現を直接学習することができる。
我々の手法は、トレーニングデータや計算能力が大幅に少ないにもかかわらず、以前の作業のセグメンテーション精度を超える。
論文 参考訳(メタデータ) (2021-11-11T15:15:11Z) - A Positive/Unlabeled Approach for the Segmentation of Medical Sequences
using Point-Wise Supervision [3.883460584034766]
本稿では,ポイントワイズアノテーションのみを用いて,医用画像のボリュームや動画を効率的に分割する手法を提案する。
提案手法は,ポイントワイドアノテーションを用いて,適切なポジティブ/アンラベル対象関数を用いてディープラーニングモデルを訓練する。
提案手法は,同じ問題に適応した最先端手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2021-07-18T09:13:33Z) - Temporal Action Segmentation from Timestamp Supervision [25.49797678477498]
時間的行動分節タスクのタイムスタンプ管理を導入する。
タイムスタンプは弱い教師のアプローチに匹敵するアノテーションを必要とする。
提案手法では,モデル出力とアノテーション付きタイムスタンプを用いてフレームワイドラベルを生成する。
論文 参考訳(メタデータ) (2021-03-11T13:52:41Z) - Deep Semi-supervised Knowledge Distillation for Overlapping Cervical
Cell Instance Segmentation [54.49894381464853]
本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。
摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。
実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
論文 参考訳(メタデータ) (2020-07-21T13:27:09Z) - Weakly Supervised Temporal Action Localization with Segment-Level Labels [140.68096218667162]
時間的アクションローカライゼーションは、テストパフォーマンスとアノテーション時間コストのトレードオフを示す。
ここでは、アノテーションがアクションを観察するときにセグメントがラベル付けされる。
我々は、ラベル付きセグメントから積分的な動作部分を学ぶために、損失サンプリングと見なされる部分的なセグメント損失を考案する。
論文 参考訳(メタデータ) (2020-07-03T10:32:19Z) - Improving Semantic Segmentation via Self-Training [75.07114899941095]
半教師付きアプローチ,特に自己学習パラダイムを用いて,最先端の成果を得ることができることを示す。
まず、ラベル付きデータに基づいて教師モデルを訓練し、次にラベルなしデータの大規模なセット上で擬似ラベルを生成する。
私たちの堅牢なトレーニングフレームワークは、人名と擬似ラベルを共同で消化し、Cityscapes、CamVid、KITTIデータセット上で最高のパフォーマンスを達成することができます。
論文 参考訳(メタデータ) (2020-04-30T17:09:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。