論文の概要: MM-SEAL: A Large-scale Video Dataset of Multi-person Multi-grained Spatio-temporally Action Localization

• arxiv url: http://arxiv.org/abs/2204.02688v2
• Date: Wed, 27 Nov 2024 06:14:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:23:45.862601
• Title: MM-SEAL: A Large-scale Video Dataset of Multi-person Multi-grained Spatio-temporally Action Localization
• Title（参考訳）: MM-SEAL:多人数多人数時空間行動の大規模ビデオデータセット
• Authors: Shimin Chen, Wei Li, Chen Chen, Jianyang Gu, Jiaming Chu, Xunqiang Tao, Yandong Guo,
• Abstract要約: マルチパーソン・複雑なアクティビティ・ローカライゼーションのための新しいベンチマークを最初に提案する。 我々は、制限された原子の作用が多くの複雑な活動に組み合わされることを観察する。 MM-SEALは、アトミックアクションと複雑なアクティビティアノテーションの両方を提供し、172のアクションカテゴリにまたがる111.7kのアトミックアクションと、200のアクティビティカテゴリにまたがる17.7kの複雑なアクティビティを生成する。
• 参考スコア（独自算出の注目度）: 19.721688276051363
• License:
• Abstract: In this paper, we introduce a novel large-scale video dataset dubbed MM-SEAL for multi-person multi-grained spatio-temporal action localization among human daily life. We are the first to propose a new benchmark for multi-person spatio-temporal complex activity localization, where complex semantic and long duration bring new challenges to localization tasks. We observe that limited atomic actions can be combined into many complex activities. MM-SEAL provides both atomic action and complex activity annotations, producing 111.7k atomic actions spanning 172 action categories and 17.7k complex activities spanning 200 activity categories. We explore the relationship between atomic actions and complex activities, finding that atomic action features can improve the complex activity localization performance. Also, we propose a new network which generates temporal proposals and labels simultaneously, termed Faster-TAD. Finally, our evaluations show that visual features pretrained on MM-SEAL can improve the performance on other action localization benchmarks. We will release the dataset and the project code upon publication of the paper.
• Abstract（参考訳）: 本稿では,MM-SEALと呼ばれる大規模ビデオデータセットについて紹介する。 我々は,多人数の時空間的複合活動ローカライゼーションのための新しいベンチマークを最初に提案し,そこでは複雑な意味論と長期が局所化タスクに新たな課題をもたらす。 我々は、制限された原子の作用が多くの複雑な活動に組み合わされることを観察する。 MM-SEALは、アトミックアクションと複雑なアクティビティアノテーションの両方を提供し、172のアクションカテゴリにまたがる111.7kのアトミックアクションと、200のアクティビティカテゴリにまたがる17.7kの複雑なアクティビティを生成する。 我々は、原子活動と複雑な活動の関係について検討し、原子行動の特徴が複雑な活動の局所化性能を向上させることを発見した。 また、時間的提案とラベルを同時に生成する新しいネットワークであるFaster-TADを提案する。 最後に,MM-SEALで事前学習した視覚的特徴が,他の動作ローカライゼーションベンチマークの性能を向上させることを示す。 論文が公開されたら、データセットとプロジェクトコードをリリースします。

関連論文リスト

• Nymeria: A Massive Collection of Multimodal Egocentric Daily Motion in the Wild [66.34146236875822]
  ニメリアデータセット(Nymeria dataset)は、複数のマルチモーダル・エゴセントリックなデバイスで野生で収集された、大規模で多様な、多彩な注釈付けされた人間のモーションデータセットである。 合計で399Kmを走行し、50か所にわたる264人の参加者から毎日300時間の録音を1200件記録している。 動作言語記述は、語彙サイズ6545の8.64万語で310.5K文を提供する。
  論文  参考訳（メタデータ） (2024-06-14T10:23:53Z)
• Learning to Refactor Action and Co-occurrence Features for Temporal Action Localization [74.74339878286935]
  アクション機能と共起機能は、しばしばビデオの実際のアクションコンテンツを支配します。 ビデオスニペット内でこれらの2種類の特徴を分離することで,新しい補助タスクを開発する。 まず、アクション内容を明示的に分解し、その共起機能を正規化します。
  論文  参考訳（メタデータ） (2022-06-23T06:30:08Z)
• Temporal Action Segmentation with High-level Complex Activity Labels [29.17792724210746]
  我々は、高レベルなアクティビティラベルのみを入力とするアクションセグメントを学習する。 本稿では,ビデオ中の構成要素を自動検出する新しいアクション発見フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-15T09:50:42Z)
• TinyAction Challenge: Recognizing Real-world Low-resolution Activities in Videos [45.025522742972505]
  本稿では,CVPR 2021のActivityNetワークショップで実施されたTinyActionチャレンジを要約する。 この課題は、ビデオに存在する現実の低解像度のアクティビティを認識することに焦点を当てている。
  論文  参考訳（メタデータ） (2021-07-24T00:41:19Z)
• JRDB-Act: A Large-scale Multi-modal Dataset for Spatio-temporal Action, Social Group and Activity Detection [54.696819174421584]
  大学構内環境における生活行動の実際の分布を反映したマルチモーダルデータセットであるJRDB-Actを紹介する。 JRDB-Actには280万以上のアクションラベルがある。 JRDB-Actは、現場での対話に基づいて個人をグループ化するタスクに着想を得た社会集団識別アノテーションが付属している。
  論文  参考訳（メタデータ） (2021-06-16T14:43:46Z)
• FineAction: A Fined Video Dataset for Temporal Action Localization [60.90129329728657]
  FineActionは、既存のビデオデータセットとWebビデオから収集された、新しい大規模なファインドビデオデータセットである。 このデータセットには、106のアクションカテゴリにまたがる約17Kの未トリミングビデオに高密度にアノテートされた139Kのアクションインスタンスが含まれている。 実験結果から,FineActionは短い期間のファインドおよびマルチラベルインスタンス上でのアクションローカライゼーションに新たな課題をもたらすことが明らかとなった。
  論文  参考訳（メタデータ） (2021-05-24T06:06:32Z)
• Adversarial Background-Aware Loss for Weakly-supervised Temporal Activity Localization [40.517438760096056]
  近年,ビデオ内の時間的局所化活動が広く研究されている。 近年の進歩にもかかわらず、時間的活動の局所化を弱く制御する既存の手法は、ある活動が起こっていないことを認識するのに苦労している。
  論文  参考訳（メタデータ） (2020-07-13T19:33:24Z)
• Gabriella: An Online System for Real-Time Activity Detection in Untrimmed Security Videos [72.50607929306058]
  本研究では,未トリミングされたセキュリティビデオ上でのアクティビティ検出をリアルタイムに行うオンラインシステムを提案する。 提案手法は, チューブレット抽出, 活性分類, オンラインチューブレットマージの3段階からなる。 提案手法の有効性を,100fps(100fps)と最新技術による性能評価で実証した。
  論文  参考訳（メタデータ） (2020-04-23T22:20:10Z)
• Spatio-Temporal Action Detection with Multi-Object Interaction [127.85524354900494]
  本稿では,多目的インタラクションを用いたS時間動作検出問題について検討する。 マルチオブジェクトインタラクションを含むアクションチューブに空間的アノテーションを付加した新しいデータセットを提案する。 本研究では,空間的・時間的回帰を同時に行うエンド・ツー・エンドの時間的行動検出モデルを提案する。
  論文  参考訳（メタデータ） (2020-04-01T00:54:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。