論文の概要: Spatio-Temporal Event Segmentation and Localization for Wildlife Extended Videos

• arxiv url: http://arxiv.org/abs/2005.02463v4
• Date: Sun, 18 Jul 2021 19:35:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 14:00:23.316909
• Title: Spatio-Temporal Event Segmentation and Localization for Wildlife Extended Videos
• Title（参考訳）: 野生生物拡散ビデオの時空間的イベントセグメンテーションと局所化
• Authors: Ramy Mounir, Roman Gula, J\"orn Theuerkauf, Sudeep Sarkar
• Abstract要約: 本稿では,時間的イベントセグメンテーションが可能な自己教師型予測フレームワークを提案する。 私たちは、標準的なディープラーニングのバックボーンによって計算される高レベルの機能の予測に頼っています。 野生生物モニタリングデータの10日間 (254時間) のビデオに対するアプローチを実演する。
• 参考スコア（独自算出の注目度）: 6.279863832853343
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Using offline training schemes, researchers have tackled the event segmentation problem by providing full or weak-supervision through manually annotated labels or self-supervised epoch-based training. Most works consider videos that are at most 10's of minutes long. We present a self-supervised perceptual prediction framework capable of temporal event segmentation by building stable representations of objects over time and demonstrate it on long videos, spanning several days. The approach is deceptively simple but quite effective. We rely on predictions of high-level features computed by a standard deep learning backbone. For prediction, we use an LSTM, augmented with an attention mechanism, trained in a self-supervised manner using the prediction error. The self-learned attention maps effectively localize and track the event-related objects in each frame. The proposed approach does not require labels. It requires only a single pass through the video, with no separate training set. Given the lack of datasets of very long videos, we demonstrate our method on video from 10 days (254 hours) of continuous wildlife monitoring data that we had collected with required permissions. We find that the approach is robust to various environmental conditions such as day/night conditions, rain, sharp shadows, and windy conditions. For the task of temporally locating events, we had an 80% recall rate at 20% false-positive rate for frame-level segmentation. At the activity level, we had an 80% activity recall rate for one false activity detection every 50 minutes. We will make the dataset, which is the first of its kind, and the code available to the research community.
• Abstract（参考訳）: オフラインのトレーニングスキームを使用して、手動のアノテートラベルや自己監督型エポックベースのトレーニングを通じて、完全なまたは弱いスーパービジョンを提供することによって、イベントセグメンテーションの問題に取り組んでいる。 ほとんどの作品は、少なくとも10分の動画を考慮に入れています。 本稿では,オブジェクトの安定表現を時間とともに構築することで,時間的イベントセグメンテーションが可能な自己教師付き知覚予測フレームワークを提案する。 アプローチは極めてシンプルですが、非常に効果的です。 私たちは、標準的なディープラーニングバックボーンで計算されるハイレベルな機能の予測に依存しています。 予測には、アテンション機構を付加したLSTMを使用し、予測誤差を用いて自己教師付きで訓練する。 自己学習型アテンションマップは、各フレーム内のイベント関連オブジェクトを効果的にローカライズし、追跡する。 提案手法はラベルを必要としない。 動画を1回のパスで通すだけで、個別のトレーニングセットは必要ない。 非常に長いビデオのデータセットが欠如していることを踏まえ、我々は必要な許可を得て収集した野生生物モニタリングデータの10日間 (254時間) のビデオを実演した。 このアプローチは、昼夜条件、雨、鋭い影、風などの様々な環境条件に対して堅牢であることがわかった。 事象の時間的位置決め作業では,フレームレベルのセグメンテーションに対して80%のリコール率で20%の偽陽性率を示した。 活動レベルでは,50分毎に1回の偽活動検出で80%の活動リコール率を示した。 この種の最初のデータセットと、研究コミュニティが利用できるコードを作成します。

関連論文リスト

• POPCat: Propagation of particles for complex annotation tasks [7.236620861573004]
  ビデオデータの多目的・時間的特徴を利用したPOPCatという時間効率な手法を提案する。 この方法は、セグメンテーションやボックスベースのビデオアノテーションのための半教師付きパイプラインを生成する。 この方法は、最良の結果よりもリコール/mAP50/mAPの改善率を示す。
  論文  参考訳（メタデータ） (2024-06-24T23:43:08Z)
• TempNet: Temporal Attention Towards the Detection of Animal Behaviour in Videos [63.85815474157357]
  本稿では,映像中の生物学的行動を検出するための,効率的なコンピュータビジョンと深層学習に基づく手法を提案する。 TempNetはエンコーダブリッジと残留ブロックを使用して、2段階の空間的、そして時間的、エンコーダでモデル性能を維持する。 本研究では,サブルフィッシュ (Anoplopoma fimbria) 幼虫の検出への応用を実証する。
  論文  参考訳（メタデータ） (2022-11-17T23:55:12Z)
• Anomaly detection in surveillance videos using transformer based attention model [3.2968779106235586]
  本研究は、トレーニングビデオにおける異常セグメントの注釈付けを避けるために、弱教師付き戦略を用いることを示唆する。 提案するフレームワークは,実世界のデータセット,すなわちShanghaiTech Campusデータセットで検証される。
  論文  参考訳（メタデータ） (2022-06-03T12:19:39Z)
• Efficient Video Segmentation Models with Per-frame Inference [117.97423110566963]
  推論のオーバーヘッドを導入することなく、時間的一貫性を改善することに注力する。 本稿では,時間的一貫性の喪失やオンライン/オフラインの知識蒸留手法など,ビデオシーケンスから学ぶためのいくつかの手法を提案する。
  論文  参考訳（メタデータ） (2022-02-24T23:51:36Z)
• Unsupervised Action Segmentation with Self-supervised Feature Learning and Co-occurrence Parsing [32.66011849112014]
  時間的アクションセグメンテーションは、ビデオの各フレームをアクションラベルで分類するタスクである。 本研究では,ラベル付けされていないビデオのコーパスで動作する自己教師型手法を探索し,ビデオ全体にわたる時間的セグメントのセットを予測する。 我々は,行動の構造に基づくサブアクション間の相関を捉えるだけでなく,そのサブアクションの時間的軌跡を正確かつ一般的な方法で推定する,新しい共起動作解析アルゴリズムであるCAPを開発した。
  論文  参考訳（メタデータ） (2021-05-29T00:29:40Z)
• A Large-Scale Study on Unsupervised Spatiotemporal Representation Learning [60.720251418816815]
  本稿では,ビデオからの教師なし表現学習に関する大規模研究を行う。 目的は同じビデオにおける時間的特徴を奨励する。 長時間持続を奨励することは,60秒であっても有効であることがわかった。
  論文  参考訳（メタデータ） (2021-04-29T17:59:53Z)
• Learning by Aligning Videos in Time [10.075645944474287]
  本稿では,時間的映像アライメントを前提課題として,映像表現を学習するための自己教師型アプローチを提案する。 我々は、エンコーダネットワークをトレーニングするための監視信号として使用できる、時間的アライメント損失と時間的正規化項の新たな組み合わせを利用する。
  論文  参考訳（メタデータ） (2021-03-31T17:55:52Z)
• Temporally-Weighted Hierarchical Clustering for Unsupervised Action Segmentation [96.67525775629444]
  アクションセグメンテーションとは、ビデオにおける意味的に一貫した視覚概念の境界を推測することを指す。 ビデオ中のセグメンテーション動作に対して,トレーニングを必要としない完全自動かつ教師なしのアプローチを提案する。 提案手法は,ビデオの意味的に一貫性のあるフレームをグループ化できる効果的な時間重み付き階層クラスタリングアルゴリズムである。
  論文  参考訳（メタデータ） (2021-03-20T23:30:01Z)
• Uncertainty-Aware Weakly Supervised Action Detection from Untrimmed Videos [82.02074241700728]
  本稿では,ビデオフレームラベルのみを用いてトレーニングした,禁止レベルの行動認識モデルを提案する。 人1人当たりの手法は、複数のインスタンス学習フレームワーク内の大規模な画像データセットで訓練されている。 標準的な多重インスタンス学習の仮定では、各バッグには、指定されたラベルを持つ少なくとも1つのインスタンスが含まれているという仮定が無効である場合、どのようにメソッドを適用するかを示す。
  論文  参考訳（メタデータ） (2020-07-21T10:45:05Z)
• Revisiting Few-shot Activity Detection with Class Similarity Control [107.79338380065286]
  本稿では,提案回帰に基づく数ショットの時間的活動検出のためのフレームワークを提案する。 我々のモデルはエンドツーエンドのトレーニングが可能で、数ショットのアクティビティと未トリミングなテストビデオのフレームレートの違いを考慮しており、さらに数ショットのサンプルの恩恵を受けることができる。
  論文  参考訳（メタデータ） (2020-03-31T22:02:38Z)
• SCT: Set Constrained Temporal Transformer for Set Supervised Action Segmentation [22.887397951846353]
  弱教師付きアプローチは、弱ラベル付きビデオから時間的アクションセグメンテーションを学ぶことを目的としている。 このようなデータに基づいてエンドツーエンドにトレーニング可能なアプローチを提案する。 提案手法は,最先端の結果が得られる3つのデータセットに対して評価する。
  論文  参考訳（メタデータ） (2020-03-31T14:51:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。