論文の概要: Robust Action Segmentation from Timestamp Supervision

• arxiv url: http://arxiv.org/abs/2210.06501v1
• Date: Wed, 12 Oct 2022 18:01:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 16:09:36.028672
• Title: Robust Action Segmentation from Timestamp Supervision
• Title（参考訳）: タイムスタンプからのロバストアクションセグメンテーション
• Authors: Yaser Souri, Yazan Abu Farha, Emad Bahrami, Gianpiero Francesca, Juergen Gall
• Abstract要約: アクションセグメンテーション(Action segmentation)は、未トリミングビデオの各フレームに対するアクションラベルを予測するタスクである。 タイムスタンプの監督は、すべてのフレームに注釈をつけるよりも、1アクションあたりのタイムスタンプを1つ取得する方がコストがかかるため、期待できるような弱い監督方法である。 私たちは、他のアプローチやさまざまなベースラインと比べて、アノテーションの欠如に対して、我々のアプローチがより堅牢であることを示します。
• 参考スコア（独自算出の注目度）: 18.671808549019833
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Action segmentation is the task of predicting an action label for each frame of an untrimmed video. As obtaining annotations to train an approach for action segmentation in a fully supervised way is expensive, various approaches have been proposed to train action segmentation models using different forms of weak supervision, e.g., action transcripts, action sets, or more recently timestamps. Timestamp supervision is a promising type of weak supervision as obtaining one timestamp per action is less expensive than annotating all frames, but it provides more information than other forms of weak supervision. However, previous works assume that every action instance is annotated with a timestamp, which is a restrictive assumption since it assumes that annotators do not miss any action. In this work, we relax this restrictive assumption and take missing annotations for some action instances into account. We show that our approach is more robust to missing annotations compared to other approaches and various baselines.
• Abstract（参考訳）: アクションセグメンテーションは、未トリミングビデオの各フレームに対するアクションラベルを予測するタスクである。 完全に教師された方法でアクションセグメンテーションのアプローチを訓練するためのアノテーションを得るにはコストがかかるため、アクションスクリプティング、アクションセット、あるいはより最近のタイムスタンプなど、様々な種類の弱い監督を用いてアクションセグメンテーションモデルを訓練する様々なアプローチが提案されている。 タイムスタンプの監督は、すべてのフレームに注釈をつけるよりも、1アクション当たりのタイムスタンプを1つ取得する方がコストが低いという、有望な弱い監督形態である。 しかしながら、以前の著作では、全てのアクションインスタンスがタイムスタンプでアノテートされていると仮定しており、アノテータはいかなるアクションも見逃さないと仮定しているため、制限的な仮定である。 この作業では、この制限的な仮定を緩和し、いくつかのアクションインスタンスに対するアノテーションの欠如を考慮に入れます。 私たちのアプローチは、他のアプローチやさまざまなベースラインと比較して、アノテーションの欠如に対して堅牢であることを示す。

関連論文リスト

• Proposal-based Temporal Action Localization with Point-level Supervision [29.98225940694062]
  ポイントレベルの時間的行動ローカライゼーション(PTAL)は、未トリミングビデオにおけるアクションの認識とローカライズを目的としている。 そこで本研究では,フレキシブル期間のアクション提案を生成し,評価することで,アクションをローカライズする手法を提案する。 実験の結果,提案手法は最先端手法の競争力や性能に優れることがわかった。
  論文  参考訳（メタデータ） (2023-10-09T08:27:05Z)
• Distill and Collect for Semi-Supervised Temporal Action Segmentation [0.0]
  本稿では,注釈付きおよび注釈なしのビデオシーケンスからの知識を同時に活用する時間的行動分割タスクを提案する。 提案手法では, 繰り返し精製し, 最終的にフレーム予測を組み合わすマルチストリーム蒸留を用いる。 また,本モデルでは,後に時間的制約として使用されるアクション順序を予測し,無注釈ビデオの監督の欠如に対処するため,フレームラベルを推定する。
  論文  参考訳（メタデータ） (2022-11-02T17:34:04Z)
• A Generalized & Robust Framework For Timestamp Supervision in Temporal Action Segmentation [79.436224998992]
  時間的アクションセグメンテーションでは、Timestampの監督はビデオシーケンスごとにわずかにラベル付きフレームを必要とする。 本稿では,未ラベルフレームのラベルの不確実性を利用した期待最大化に基づく新しい手法を提案する。 提案手法はSOTA結果を生成し,複数のメトリクスやデータセットの完全教師付き設定を超えている。
  論文  参考訳（メタデータ） (2022-07-20T18:30:48Z)
• Video Moment Retrieval from Text Queries via Single Frame Annotation [65.92224946075693]
  ビデオモーメント検索は、与えられた自然言語クエリによって記述されたモーメントの開始と終了のタイムスタンプを見つけることを目的としている。 完全な教師付き手法は、有望な結果を達成するために完全な時間境界アノテーションを必要とする。 我々は「用語アノテーション」と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2022-04-20T11:59:17Z)
• End-to-end Temporal Action Detection with Transformer [86.80289146697788]
  時間的アクション検出(TAD)は、トリミングされていないビデオにおいて、すべてのアクションインスタンスのセマンティックラベルとバウンダリを決定することを目的としている。 そこで我々は,textitTadTR と呼ばれる Transformer によるTAD のエンドツーエンドフレームワークを構築した。 本手法は,HACSセグメンツとTHUMOS14の最先端性能とActivityNet-1.3の競合性能を実現する。
  論文  参考訳（メタデータ） (2021-06-18T17:58:34Z)
• Temporally-Weighted Hierarchical Clustering for Unsupervised Action Segmentation [96.67525775629444]
  アクションセグメンテーションとは、ビデオにおける意味的に一貫した視覚概念の境界を推測することを指す。 ビデオ中のセグメンテーション動作に対して,トレーニングを必要としない完全自動かつ教師なしのアプローチを提案する。 提案手法は,ビデオの意味的に一貫性のあるフレームをグループ化できる効果的な時間重み付き階層クラスタリングアルゴリズムである。
  論文  参考訳（メタデータ） (2021-03-20T23:30:01Z)
• Temporal Action Segmentation from Timestamp Supervision [25.49797678477498]
  時間的行動分節タスクのタイムスタンプ管理を導入する。 タイムスタンプは弱い教師のアプローチに匹敵するアノテーションを必要とする。 提案手法では,モデル出力とアノテーション付きタイムスタンプを用いてフレームワイドラベルを生成する。
  論文  参考訳（メタデータ） (2021-03-11T13:52:41Z)
• Discovering Multi-Label Actor-Action Association in a Weakly Supervised Setting [22.86745487695168]
  マルチインスタンスとマルチラベル学習に基づくベースラインを提案します。 本稿では,個々のアクションクラスをモデル化する代わりに,アクションの集合を表現として利用する新しいアプローチを提案する。 提案手法はMIMLベースラインを上回り,完全教師付きアプローチと競合する,挑戦的データセットに対する提案手法の評価を行った。
  論文  参考訳（メタデータ） (2021-01-21T11:59:47Z)
• Weakly Supervised Temporal Action Localization with Segment-Level Labels [140.68096218667162]
  時間的アクションローカライゼーションは、テストパフォーマンスとアノテーション時間コストのトレードオフを示す。 ここでは、アノテーションがアクションを観察するときにセグメントがラベル付けされる。 我々は、ラベル付きセグメントから積分的な動作部分を学ぶために、損失サンプリングと見なされる部分的なセグメント損失を考案する。
  論文  参考訳（メタデータ） (2020-07-03T10:32:19Z)
• Revisiting Few-shot Activity Detection with Class Similarity Control [107.79338380065286]
  本稿では,提案回帰に基づく数ショットの時間的活動検出のためのフレームワークを提案する。 我々のモデルはエンドツーエンドのトレーニングが可能で、数ショットのアクティビティと未トリミングなテストビデオのフレームレートの違いを考慮しており、さらに数ショットのサンプルの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2020-03-31T22:02:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。