論文の概要: Finding Meaning in Points: Weakly Supervised Semantic Segmentation for Event Cameras
- arxiv url: http://arxiv.org/abs/2407.11216v1
- Date: Mon, 15 Jul 2024 20:00:50 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-17 19:21:30.809883
- Title: Finding Meaning in Points: Weakly Supervised Semantic Segmentation for Event Cameras
- Title（参考訳）: ポイントにおける意味の発見:イベントカメラのための弱い監督されたセマンティックセグメンテーション
- Authors: Hoonhee Cho, Sung-Hoon Yoon, Hyeokjun Kweon, Kuk-Jin Yoon,
- Abstract要約: 本稿では,イベントベースセマンティックセマンティックセグメンテーションのための新しい弱教師付きアプローチEV-WSSSを提案する。
提案フレームワークは,(1)前向きのイベントデータと(2)逆向きのイベントデータとの間に非対称な二重学習を行う。
提案手法は,画素レベルの高密度地下真実に頼らずとも,かなりのセグメンテーション結果が得られることを示す。
- 参考スコア（独自算出の注目度）: 45.063747874243276
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras excel in capturing high-contrast scenes and dynamic objects, offering a significant advantage over traditional frame-based cameras. Despite active research into leveraging event cameras for semantic segmentation, generating pixel-wise dense semantic maps for such challenging scenarios remains labor-intensive. As a remedy, we present EV-WSSS: a novel weakly supervised approach for event-based semantic segmentation that utilizes sparse point annotations. To fully leverage the temporal characteristics of event data, the proposed framework performs asymmetric dual-student learning between 1) the original forward event data and 2) the longer reversed event data, which contain complementary information from the past and the future, respectively. Besides, to mitigate the challenges posed by sparse supervision, we propose feature-level contrastive learning based on class-wise prototypes, carefully aggregated at both spatial region and sample levels. Additionally, we further excavate the potential of our dual-student learning model by exchanging prototypes between the two learning paths, thereby harnessing their complementary strengths. With extensive experiments on various datasets, including DSEC Night-Point with sparse point annotations newly provided by this paper, the proposed method achieves substantial segmentation results even without relying on pixel-level dense ground truths. The code and dataset are available at https://github.com/Chohoonhee/EV-WSSS.
- Abstract（参考訳）: イベントカメラは、高コントラストシーンやダイナミックオブジェクトの撮影に優れており、従来のフレームベースのカメラよりも大きな利点がある。
イベントカメラをセマンティックセグメンテーションに活用する研究は活発に行われているが、このような難解なシナリオのためにピクセル単位の高密度なセマンティックマップを生成することは労働集約的である。
本稿では,スパースポイントアノテーションを利用したイベントベースセマンティックセマンティックセグメンテーションの弱い制御手法であるEV-WSSSを提案する。
イベントデータの時間的特性をフル活用するために,提案フレームワークは非対称な二重学習を行う。
1)元来の前方イベントデータ及び
2)過去と未来との相補的な情報を含む、より長い逆イベントデータ。
また,スパース・インスペクションによる課題を軽減するために,空間領域とサンプルレベルの両方で注意深く集約されたクラスワイドプロトタイプに基づく特徴レベルのコントラスト学習を提案する。
さらに,2つの学習経路間でプロトタイプを交換し,その相補的な強みを活用することにより,2つの学習モデルの可能性をさらに掘り下げる。
本論文では, DSEC Night-Point などの様々なデータセットに対する広範な実験を行い, 画素レベルの高密度地盤真実を頼らずとも, かなりのセグメンテーション結果が得られることを示した。
コードとデータセットはhttps://github.com/Chohoonhee/EV-WSSS.comで公開されている。
関連論文リスト
- LaSe-E2V: Towards Language-guided Semantic-Aware Event-to-Video Reconstruction [8.163356555241322]
セマンティック・アウェアの高品質なE2V再構成を実現する新しいフレームワークであるLaSe-E2Vを提案する。
まずイベント誘導時空間アテンション(ESA)モジュールを提案する。
次に、時間的コヒーレンスを確保するためのイベント対応マスクロスと、空間的一貫性を高めるためのノイズ戦略を導入する。
論文 参考訳（メタデータ） (2024-07-08T01:40:32Z) - Exploiting Object-based and Segmentation-based Semantic Features for Deep Learning-based Indoor Scene Classification [0.5572976467442564]
本稿では,オブジェクト検出から得られたセマンティック情報とセマンティックセグメンテーション技術の両方を用いる。
セグメンテーションマスクを用いて,Hu-Moments Features (SHMFs)によって指定されたHu-Momentsベースのセグメンテーションカテゴリの形状特徴を提供する手法を提案する。
GOS$2$F$2$Appによって指定された3つのメインブランチネットワークも提案されている。
論文 参考訳（メタデータ） (2024-04-11T13:37:51Z) - Weakly Supervised Semantic Segmentation for Driving Scenes [27.0285166404621]
弱教師付きセマンティックセグメンテーション(WSSS)における最先端技術は、駆動シーンデータセットに深刻な性能劣化を示す。
シーンデータセットの駆動に適した新しいWSSSフレームワークを開発した。
論文 参考訳（メタデータ） (2023-12-21T08:16:26Z) - Open-Vocabulary Camouflaged Object Segmentation [66.94945066779988]
OVCOS(Open-vocabulary camouflaged Object segmentation)を導入した。
我々は11,483個の手選択画像とそれに対応するオブジェクトクラスを含む大規模複合シーンデータセット(textbfOVCamo)を構築した。
クラスセマンティック知識の指導とエッジ情報と深度情報からの視覚構造的手がかりの補足を統合することにより、提案手法は効率よくカモフラージュされたオブジェクトを捕捉できる。
論文 参考訳（メタデータ） (2023-11-19T06:00:39Z) - Semantics Meets Temporal Correspondence: Self-supervised Object-centric Learning in Videos [63.94040814459116]
自己教師付き手法は、高レベルの意味論と低レベルの時間対応の学習において顕著な進歩を見せている。
融合した意味特徴と対応地図の上に,意味認識型マスキングスロットアテンションを提案する。
我々は、時間的コヒーレントなオブジェクト中心表現を促進するために、セマンティックおよびインスタンスレベルの時間的一貫性を自己スーパービジョンとして採用する。
論文 参考訳（メタデータ） (2023-08-19T09:12:13Z) - Progressively Dual Prior Guided Few-shot Semantic Segmentation [57.37506990980975]
Few-shotのセマンティックセマンティックセマンティクスタスクは、いくつかのアノテーション付きサポートサンプルを使用して、クエリイメージのセマンティクスを実行することを目的としている。
本稿では,先進的に2重にガイドされた数発のセマンティックセマンティックセグメンテーションネットワークを提案する。
論文 参考訳（メタデータ） (2022-11-20T16:19:47Z) - In-N-Out Generative Learning for Dense Unsupervised Video Segmentation [89.21483504654282]
本稿では,ラベルなしビデオから視覚的対応を学習する,教師なしビデオオブジェクト(VOS)タスクに焦点を当てる。
In-aNd-Out(INO)生成学習を純粋に生成的観点から提案する。
我々のINOは、最先端の手法をかなりのマージンで上回っている。
論文 参考訳（メタデータ） (2022-03-29T07:56:21Z) - Sim2Real Object-Centric Keypoint Detection and Description [40.58367357980036]
キーポイントの検出と記述はコンピュータビジョンにおいて中心的な役割を果たす。
対象中心の定式化を提案し、各関心点が属する対象をさらに特定する必要がある。
我々はシミュレーションで訓練されたモデルを現実のアプリケーションに一般化できるsim2realコントラスト学習機構を開発した。
論文 参考訳（メタデータ） (2022-02-01T15:00:20Z) - Superevents: Towards Native Semantic Segmentation for Event-based
Cameras [13.099264910430986]
最も成功したコンピュータビジョンモデルは、gaborフィルタ応答のような低レベルの機能を下流の視覚タスクの中間または中間レベルの複雑さのよりリッチな表現に変換する。
本論文では,全畳み込みネットワークに供給されるイベントストリーム表現を得るために,生涯拡張を用いた新しい手法を提案する。
論文 参考訳（メタデータ） (2021-05-13T05:49:41Z) - Improving Point Cloud Semantic Segmentation by Learning 3D Object
Detection [102.62963605429508]
ポイントクラウドセマンティックセグメンテーションは、自動運転において重要な役割を果たす。
現在の3Dセマンティックセグメンテーションネットワークは、よく表現されたクラスに対して優れた性能を発揮する畳み込みアーキテクチャに焦点を当てている。
Aware 3D Semantic Detection (DASS) フレームワークを提案する。
論文 参考訳（メタデータ） (2020-09-22T14:17:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。