論文の概要: A Generalized & Robust Framework For Timestamp Supervision in Temporal Action Segmentation

• arxiv url: http://arxiv.org/abs/2207.10137v1
• Date: Wed, 20 Jul 2022 18:30:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-22 12:43:04.294784
• Title: A Generalized & Robust Framework For Timestamp Supervision in Temporal Action Segmentation
• Title（参考訳）: テンポラルアクションセグメンテーションにおけるタイムスタンプスーパービジョンのための一般化とロバストフレームワーク
• Authors: Rahul Rahaman, Dipika Singhania, Alexandre Thiery and Angela Yao
• Abstract要約: 時間的アクションセグメンテーションでは、Timestampの監督はビデオシーケンスごとにわずかにラベル付きフレームを必要とする。 本稿では,未ラベルフレームのラベルの不確実性を利用した期待最大化に基づく新しい手法を提案する。 提案手法はSOTA結果を生成し,複数のメトリクスやデータセットの完全教師付き設定を超えている。
• 参考スコア（独自算出の注目度）: 79.436224998992
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In temporal action segmentation, Timestamp supervision requires only a handful of labelled frames per video sequence. For unlabelled frames, previous works rely on assigning hard labels, and performance rapidly collapses under subtle violations of the annotation assumptions. We propose a novel Expectation-Maximization (EM) based approach that leverages the label uncertainty of unlabelled frames and is robust enough to accommodate possible annotation errors. With accurate timestamp annotations, our proposed method produces SOTA results and even exceeds the fully-supervised setup in several metrics and datasets. When applied to timestamp annotations with missing action segments, our method presents stable performance. To further test our formulation's robustness, we introduce the new challenging annotation setup of Skip-tag supervision. This setup relaxes constraints and requires annotations of any fixed number of random frames in a video, making it more flexible than Timestamp supervision while remaining competitive.
• Abstract（参考訳）: 時間的アクションセグメンテーションでは、Timestampの監督はビデオシーケンスごとにわずかにラベル付きフレームを必要とする。 ラベルのないフレームでは、以前の作品はハードラベルの割り当てに依存しており、アノテーションの仮定の微妙な違反によってパフォーマンスは急速に崩壊する。 本稿では,未ラベルフレームのラベルの不確かさを活かし,潜在的なアノテーションの誤りに対処できるような新しい期待最大化手法を提案する。 正確なタイムスタンプアノテーションを用いて、提案手法はSOTA結果を生成し、複数のメトリクスやデータセットの完全な教師付き設定を超えている。 動作セグメントを欠いたタイムスタンプアノテーションに適用した場合,本手法は安定した性能を示す。 提案方式のロバスト性をさらに検証するために,スキップタグ監督の新たな挑戦的アノテーション設定を導入する。 この設定は制約を緩和し、ビデオ内の一定数のランダムフレームのアノテーションを必要とするため、競争力を維持しながらタイムスタンプ監督よりも柔軟である。

関連論文リスト

• Constraint and Union for Partially-Supervised Temporal Sentence Grounding [70.70385299135916]
  時間的文接頭辞は、与えられた未編集ビデオから自然言語クエリによって記述された事象のタイムスタンプを検出することを目的としている。 既存の完全教師付き設定は優れたパフォーマンスを実現するが、高価なアノテーションコストを必要とする。 本稿では、中間的な部分教師付き設定、すなわち、トレーニング中に利用可能なショートクリップやシングルフレームラベルについて紹介する。
  論文  参考訳（メタデータ） (2023-02-20T09:14:41Z)
• Distill and Collect for Semi-Supervised Temporal Action Segmentation [0.0]
  本稿では,注釈付きおよび注釈なしのビデオシーケンスからの知識を同時に活用する時間的行動分割タスクを提案する。 提案手法では, 繰り返し精製し, 最終的にフレーム予測を組み合わすマルチストリーム蒸留を用いる。 また,本モデルでは,後に時間的制約として使用されるアクション順序を予測し,無注釈ビデオの監督の欠如に対処するため,フレームラベルを推定する。
  論文  参考訳（メタデータ） (2022-11-02T17:34:04Z)
• Robust Action Segmentation from Timestamp Supervision [18.671808549019833]
  アクションセグメンテーション(Action segmentation)は、未トリミングビデオの各フレームに対するアクションラベルを予測するタスクである。 タイムスタンプの監督は、すべてのフレームに注釈をつけるよりも、1アクションあたりのタイムスタンプを1つ取得する方がコストがかかるため、期待できるような弱い監督方法である。 私たちは、他のアプローチやさまざまなベースラインと比べて、アノテーションの欠如に対して、我々のアプローチがより堅牢であることを示します。
  論文  参考訳（メタデータ） (2022-10-12T18:01:14Z)
• Unified Fully and Timestamp Supervised Temporal Action Segmentation via Sequence to Sequence Translation [15.296933526770967]
  本稿では,シーケンス to シーケンス (seq2seq) 変換によるビデオアクションセグメンテーションの統一フレームワークを提案する。 提案手法は,標準的な Transformer seq2seq 翻訳モデル上での一連の修正と補助的損失関数を含む。 当社のフレームワークは、フルおよびタイムスタンプ管理設定、パフォーマンス、競合する複数のデータセットの最先端の両方で一貫して動作します。
  論文  参考訳（メタデータ） (2022-09-01T17:46:02Z)
• Video Activity Localisation with Uncertainties in Temporal Boundary [74.7263952414899]
  時間とともにビデオ活動のローカライゼーションを行う方法は、時間的境界が決定され正確であると暗黙的に仮定する。 無記述の自然ビデオでは、異なるアクティビティがスムーズに移動するため、アクティビティの開始と終了が時間とともに正確にラベル付けされることは本質的に曖昧である。 フレキシブルかつ適応的な活動時間境界に対応するための弾性モーメントバウンディング(EMB)を導入する。
  論文  参考訳（メタデータ） (2022-06-26T16:45:56Z)
• Video Moment Retrieval from Text Queries via Single Frame Annotation [65.92224946075693]
  ビデオモーメント検索は、与えられた自然言語クエリによって記述されたモーメントの開始と終了のタイムスタンプを見つけることを目的としている。 完全な教師付き手法は、有望な結果を達成するために完全な時間境界アノテーションを必要とする。 我々は「用語アノテーション」と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-04-20T11:59:17Z)
• Temporal Action Segmentation from Timestamp Supervision [25.49797678477498]
  時間的行動分節タスクのタイムスタンプ管理を導入する。 タイムスタンプは弱い教師のアプローチに匹敵するアノテーションを必要とする。 提案手法では,モデル出力とアノテーション付きタイムスタンプを用いてフレームワイドラベルを生成する。
  論文  参考訳（メタデータ） (2021-03-11T13:52:41Z)
• Weakly Supervised Temporal Action Localization with Segment-Level Labels [140.68096218667162]
  時間的アクションローカライゼーションは、テストパフォーマンスとアノテーション時間コストのトレードオフを示す。 ここでは、アノテーションがアクションを観察するときにセグメントがラベル付けされる。 我々は、ラベル付きセグメントから積分的な動作部分を学ぶために、損失サンプリングと見なされる部分的なセグメント損失を考案する。
  論文  参考訳（メタデータ） (2020-07-03T10:32:19Z)
• SF-Net: Single-Frame Supervision for Temporal Action Localization [60.202516362976645]
  単一フレームの監視は、低いアノテーションのオーバーヘッドを維持しながら、追加の時間的アクション信号を導入します。 本研究では,SF-Netと呼ばれる単一フレーム監視システムを提案する。 SF-Netは、セグメントローカライゼーションと単一フレームローカライゼーションの両方の観点から、最先端の弱い教師付き手法を大幅に改善する。
  論文  参考訳（メタデータ） (2020-03-15T15:06:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。