論文の概要: MouseSIS: A Frames-and-Events Dataset for Space-Time Instance Segmentation of Mice

• arxiv url: http://arxiv.org/abs/2409.03358v1
• Date: Thu, 5 Sep 2024 09:01:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 21:10:19.056867
• Title: MouseSIS: A Frames-and-Events Dataset for Space-Time Instance Segmentation of Mice
• Title（参考訳）: MouseSIS: マウスの時空インスタンスセグメンテーションのためのフレーム・アンド・イベントデータセット
• Authors: Friedhelm Hamann, Hanxiong Li, Paul Mieske, Lars Lewejohann, Guillermo Gallego,
• Abstract要約: イベントカメラは、時間分解能が高く、ダイナミックレンジが高い新しいセンサーである。 本稿では,イベントを用いた学習ベースのマスクレベルの追跡アルゴリズムを開発するためのデータセットを提案する。 また、イベントデータを活用することで、トラッキング性能を継続的に改善できることを示す2つの参照手法も提供する。
• 参考スコア（独自算出の注目度）: 12.944910444686007
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Enabled by large annotated datasets, tracking and segmentation of objects in videos has made remarkable progress in recent years. Despite these advancements, algorithms still struggle under degraded conditions and during fast movements. Event cameras are novel sensors with high temporal resolution and high dynamic range that offer promising advantages to address these challenges. However, annotated data for developing learning-based mask-level tracking algorithms with events is not available. To this end, we introduce: ($i$) a new task termed \emph{space-time instance segmentation}, similar to video instance segmentation, whose goal is to segment instances throughout the entire duration of the sensor input (here, the input are quasi-continuous events and optionally aligned frames); and ($ii$) \emph{\dname}, a dataset for the new task, containing aligned grayscale frames and events. It includes annotated ground-truth labels (pixel-level instance segmentation masks) of a group of up to seven freely moving and interacting mice. We also provide two reference methods, which show that leveraging event data can consistently improve tracking performance, especially when used in combination with conventional cameras. The results highlight the potential of event-aided tracking in difficult scenarios. We hope our dataset opens the field of event-based video instance segmentation and enables the development of robust tracking algorithms for challenging conditions.\url{https://github.com/tub-rip/MouseSIS}
• Abstract（参考訳）: ビデオ内のオブジェクトの追跡とセグメンテーションは、大規模なアノテートデータセットによって実現され、近年顕著な進歩を遂げている。 これらの進歩にもかかわらず、アルゴリズムは依然として劣化した状態と速い動きの中で苦戦している。 イベントカメラは、高時間分解能と高ダイナミックレンジを備えた新しいセンサーであり、これらの課題に対処するための有望なアドバンテージを提供する。 しかし、学習ベースのマスクレベルの追跡アルゴリズムをイベントで開発するための注釈付きデータは利用できない。 この目的のために、センサー入力の全期間にわたってインスタンスをセグメンテーションすることを目的としているビデオインスタンスセグメンテーションに似た、‘emph{space-time instance segmentation}’と呼ばれる新しいタスク(ここでは、入力は準連続的なイベントであり、任意に整列されたフレームである)と、整列したグレースケールのフレームとイベントを含む新しいタスクのデータセットである($ii$) \emph{\dname}を紹介する。 注釈付き接地木ラベル(ピクセルレベルのインスタンスセグメンテーションマスク)が含まれており、最大7つのマウスが自由に動き、相互作用する。 また、従来のカメラと組み合わせることで、イベントデータを活用することにより、トラッキング性能が一貫して向上することを示す2つの参照手法も提供する。 結果は、困難なシナリオにおけるイベント支援トラッキングの可能性を強調している。 我々のデータセットは、イベントベースのビデオインスタンスセグメンテーションの分野を開放し、困難な状況に対するロバストなトラッキングアルゴリズムの開発を可能にすることを願っている。 \url{https://github.com/tub-rip/MouseSIS}

関連論文リスト

• Finding Meaning in Points: Weakly Supervised Semantic Segmentation for Event Cameras [45.063747874243276]
  本稿では,イベントベースセマンティックセマンティックセグメンテーションのための新しい弱教師付きアプローチEV-WSSSを提案する。 提案フレームワークは,(1)前向きのイベントデータと(2)逆向きのイベントデータとの間に非対称な二重学習を行う。 提案手法は,画素レベルの高密度地下真実に頼らずとも,かなりのセグメンテーション結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-07-15T20:00:50Z)
• Training-Free Robust Interactive Video Object Segmentation [82.05906654403684]
  対話型ビデオオブジェクトセグメンテーション(I-PT)のためのトレーニングフリープロンプトトラッキングフレームワークを提案する。 スパースポイントとボックストラッキングを共同で採用し、不安定なポイントをフィルタリングし、オブジェクトワイズ情報をキャプチャします。 我々のフレームワークは、人気のあるVOSデータセット上で、ゼロショットビデオセグメンテーションの堅牢な結果を示してきた。
  論文  参考訳（メタデータ） (2024-06-08T14:25:57Z)
• SpikeMOT: Event-based Multi-Object Tracking with Sparse Motion Features [52.213656737672935]
  SpikeMOTはイベントベースのマルチオブジェクトトラッカーである。 SpikeMOTはスパイクニューラルネットワークを使用して、オブジェクトに関連するイベントストリームからスパーステンポラルな特徴を抽出する。
  論文  参考訳（メタデータ） (2023-09-29T05:13:43Z)
• Contrastive Lift: 3D Object Instance Segmentation by Slow-Fast Contrastive Fusion [110.84357383258818]
  本稿では,2次元セグメントを3次元に上げ,ニューラルネットワーク表現を用いて融合させる新しい手法を提案する。 このアプローチの中核は、高速なクラスタリング目的関数であり、多数のオブジェクトを持つシーンにスケーラブルで適しています。 我々のアプローチは、ScanNet、Hypersim、Replicaのデータセットからの挑戦的なシーンにおいて、最先端の状況よりも優れています。
  論文  参考訳（メタデータ） (2023-06-07T17:57:45Z)
• Event-Free Moving Object Segmentation from Moving Ego Vehicle [88.33470650615162]
  動的シーンにおけるオブジェクトセグメンテーション(MOS)の移動は、自律運転において重要で困難だが、未調査の研究テーマである。 ほとんどのセグメンテーション法は、光学フローマップから得られるモーションキューを利用する。 我々は,光学的フローに頼らずにリッチなモーションキューを提供する,より優れた映像理解のためのイベントカメラを活用することを提案する。
  論文  参考訳（メタデータ） (2023-04-28T23:43:10Z)
• Human Instance Segmentation and Tracking via Data Association and Single-stage Detector [17.46922710432633]
  人間のビデオインスタンスのセグメンテーションは、人間の活動のコンピュータ理解において重要な役割を果たす。 現在のVISメソッドのほとんどはMask-RCNNフレームワークに基づいている。 単段検出器を用いた人間のビデオ・インスタンス・セグメンテーションのための新しい手法を開発した。
  論文  参考訳（メタデータ） (2022-03-31T11:36:09Z)
• VisEvent: Reliable Object Tracking via Collaboration of Frame and Event Flows [93.54888104118822]
  このタスクには現実的でスケールしたデータセットがないため、大規模なVisible-Eventベンチマーク(VisEventと呼ぶ)を提案する。 私たちのデータセットは、低照度、高速、背景乱雑なシナリオ下でキャプチャされた820のビデオペアで構成されています。 VisEventに基づいて、イベントフローをイベントイメージに変換し、30以上のベースラインメソッドを構築します。
  論文  参考訳（メタデータ） (2021-08-11T03:55:12Z)
• CompFeat: Comprehensive Feature Aggregation for Video Instance Segmentation [67.17625278621134]
  ビデオインスタンスのセグメンテーションは、特定のビデオのそれぞれのオブジェクトを検出し、セグメンテーションし、追跡する必要がある複雑なタスクです。 従来のアプローチは、オブジェクトの検出、セグメンテーション、追跡にのみシングルフレーム機能を使用します。 本稿では,時間的および空間的コンテキスト情報を用いて,フレームレベルとオブジェクトレベルでの機能を洗練する新しい包括的特徴集約アプローチ(compfeat)を提案する。
  論文  参考訳（メタデータ） (2020-12-07T00:31:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。