Fugu-MT 論文翻訳(概要): ESS: Learning Event-based Semantic Segmentation from Still Images

論文の概要: ESS: Learning Event-based Semantic Segmentation from Still Images

arxiv url: http://arxiv.org/abs/2203.10016v1
Date: Fri, 18 Mar 2022 15:30:01 GMT
ステータス: 処理完了
システム内更新日: 2022-03-21 15:04:10.120699
Title: ESS: Learning Event-based Semantic Segmentation from Still Images
Title（参考訳）: ESS:静止画像からイベントベースのセマンティックセグメンテーションを学ぶ
Authors: Zhaoning Sun, Nico Messikommer, Daniel Gehrig, Davide Scaramuzza
Abstract要約: イベントベースのセマンティックセグメンテーションは、センサーの新規性と高品質なラベル付きデータセットの欠如により、まだ初期段階にある。既存のラベル付き画像データセットから、教師なしドメイン適応(UDA)を介してラベルなしイベントにセマンティックセグメンテーションタスクを転送するESSを導入する。イベントベースのセマンティックセグメンテーションのさらなる研究を促進するために、我々はDSEC-Semanticを導入した。
参考スコア（独自算出の注目度）: 48.37422967330683
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Retrieving accurate semantic information in challenging high dynamic range (HDR) and high-speed conditions remains an open challenge for image-based algorithms due to severe image degradations. Event cameras promise to address these challenges since they feature a much higher dynamic range and are resilient to motion blur. Nonetheless, semantic segmentation with event cameras is still in its infancy which is chiefly due to the novelty of the sensor, and the lack of high-quality, labeled datasets. In this work, we introduce ESS, which tackles this problem by directly transferring the semantic segmentation task from existing labeled image datasets to unlabeled events via unsupervised domain adaptation (UDA). Compared to existing UDA methods, our approach aligns recurrent, motion-invariant event embeddings with image embeddings. For this reason, our method neither requires video data nor per-pixel alignment between images and events and, crucially, does not need to hallucinate motion from still images. Additionally, to spur further research in event-based semantic segmentation, we introduce DSEC-Semantic, the first large-scale event-based dataset with fine-grained labels. We show that using image labels alone, ESS outperforms existing UDA approaches, and when combined with event labels, it even outperforms state-of-the-art supervised approaches on both DDD17 and DSEC-Semantic. Finally, ESS is general-purpose, which unlocks the vast amount of existing labeled image datasets and paves the way for new and exciting research directions in new fields previously inaccessible for event cameras.
Abstract（参考訳）: ハイダイナミックレンジ(HDR)と高速条件における正確な意味情報を取得することは、画像劣化による画像ベースアルゴリズムのオープンな課題である。イベントカメラは、ダイナミックレンジがはるかに高く、動きがぼやけやすいため、これらの課題に対処することを約束する。それでも、イベントカメラによるセマンティクスセグメンテーションはまだ初期段階にあり、センサーの新規性や、高品質なラベル付きデータセットの欠如が主な原因である。本稿では,既存のラベル付き画像データセットから直接,教師なしドメイン適応(UDA)を介してラベルなしイベントにセマンティックセグメンテーションタスクを転送することで,この問題に対処するESSを紹介する。既存のUDA法と比較して, 動作不変なイベント埋め込みと画像埋め込みを一致させる。このため,本手法では画像とイベント間の画像データや画素単位のアライメントは必要とせず,静止画像からの動作を幻覚する必要はない。さらに、イベントベースのセマンティクスセグメンテーションのさらなる研究を促進するために、きめ細かいラベルを持つ最初の大規模イベントベースデータセットであるdsec-semanticを紹介する。イメージラベルのみを用いることで、ESSは既存のUDAアプローチよりも優れており、イベントラベルと組み合わせることで、DDD17とDSEC-Semanticの両面で、最先端の監視アプローチよりも優れています。最後に、ESSは汎用的であり、大量のラベル付き画像データセットをアンロックし、これまでイベントカメラにはアクセスできなかった新しい分野の新しい、エキサイティングな研究方向の道を開く。

関連論文リスト

OVOSE: Open-Vocabulary Semantic Segmentation in Event-Based Cameras [18.07403094754705]
イベントカメラのための最初のオープン語彙セマンティックアルゴリズムであるOVOSEを紹介する。 OVOSEを2つの駆動意味セグメンテーションデータセットDDD17とDSEC-Semanticで評価する。 OVOSEは優れた性能を示し、現実世界のアプリケーションの可能性を示している。
論文参考訳（メタデータ） (2024-08-18T09:56:32Z)
OpenESS: Event-based Semantic Scene Understanding with Open Vocabularies [4.940059438666211]
イベントベースのセマンティックセグメンテーション(ESS)は、イベントカメラセンシングの基本的な課題である。画像、テキスト、イベントデータドメインからの情報を相乗化し、スケーラブルなESSを実現するためにOpenESSを導入します。 DDD17とDSEC-Semanticベンチマークでは、イベントラベルもフレームラベルも使用せずに53.93%と43.31%のmIoUを実現しています。
論文参考訳（メタデータ） (2024-05-08T17:59:58Z)
HPL-ESS: Hybrid Pseudo-Labeling for Unsupervised Event-based Semantic Segmentation [47.271784693700845]
本稿では,教師なしイベントベースセマンティックセマンティックセグメンテーション(HPL-ESS)のためのハイブリッド擬似ラベルフレームワークを提案する。提案手法は,DSEC-Semanticデータセットにおいて,既存の最先端手法よりも高い性能を示す。
論文参考訳（メタデータ） (2024-03-25T14:02:33Z)
Un-EvMoSeg: Unsupervised Event-based Independent Motion Segmentation [33.21922177483246]
イベントカメラは、高時間分解能、高ダイナミックレンジ、低消費電力で知られている、生物学的にインスパイアされた新しいタイプの視覚センサである。幾何学的制約を用いたIMO擬似ラベルを生成する最初のイベントフレームワークを提案する。この手法は教師なしの性質のため、任意の数の未定オブジェクトを処理でき、高価なIMOラベルが手に入らないデータセットに容易に拡張できる。
論文参考訳（メタデータ） (2023-11-30T18:59:32Z)
EvDistill: Asynchronous Events to End-task Learning via Bidirectional Reconstruction-guided Cross-modal Knowledge Distillation [61.33010904301476]
イベントカメラは画素ごとの強度変化を感知し、ダイナミックレンジが高く、動きのぼやけが少ない非同期イベントストリームを生成する。本稿では,bfEvDistillと呼ばれる新しい手法を提案し,未ラベルのイベントデータから学生ネットワークを学習する。 EvDistillは、イベントとAPSフレームのみのKDよりもはるかに優れた結果が得られることを示す。
論文参考訳（メタデータ） (2021-11-24T08:48:16Z)
Bridging the Gap between Events and Frames through Unsupervised Domain Adaptation [57.22705137545853]
本稿では,ラベル付き画像とラベル付きイベントデータを用いてモデルを直接訓練するタスク転送手法を提案する。生成イベントモデルを利用して、イベント機能をコンテンツとモーションに分割します。われわれのアプローチは、イベントベースのニューラルネットワークのトレーニングのために、膨大な量の既存の画像データセットをアンロックする。
論文参考訳（メタデータ） (2021-09-06T17:31:37Z)
Semi-supervised Semantic Segmentation with Directional Context-aware Consistency [66.49995436833667]
我々は、ラベル付きデータの小さなセットに、全くラベル付けされていない画像のより大きなコレクションを提供する半教師付きセグメンテーション問題に焦点をあてる。好ましいハイレベル表現は、自己認識を失わずにコンテキスト情報をキャプチャするべきである。我々は,DCロス(Directional Contrastive Loss)を画素対ピクセルの整合性を達成するために提示する。
論文参考訳（メタデータ） (2021-06-27T03:42:40Z)
RGB-based Semantic Segmentation Using Self-Supervised Depth Pre-Training [77.62171090230986]
本稿では,任意の意味的RGBセグメンテーション手法の事前学習に使用できる,スケーラブルで自己管理の容易な手法を提案する。特に、我々の事前学習アプローチでは、深度センサーを用いて得られるラベルを自動生成する。提案したHNラベルによる自己教師付き事前学習が,ImageNetの事前学習にどのように応用できるかを示す。
論文参考訳（メタデータ） (2020-02-06T11:16:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。