論文の概要: Event Camera Data Dense Pre-training
- arxiv url: http://arxiv.org/abs/2311.11533v1
- Date: Mon, 20 Nov 2023 04:36:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-21 19:52:12.226252
- Title: Event Camera Data Dense Pre-training
- Title(参考訳): Event Camera Data Dense 事前トレーニング
- Authors: Yan Yang, Liyuan Pan, Liu Liu
- Abstract要約: 本稿では,イベントカメラデータを用いた高密度予測タスクに適したニューラルネットワークの事前学習を目的とした,自己教師付き学習フレームワークを提案する。
フレームワークをトレーニングするために、さまざまなシーンと動きパターンを特徴とする合成イベントカメラデータセットをキュレートする。
- 参考スコア(独自算出の注目度): 12.27119620314554
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces a self-supervised learning framework designed for
pre-training neural networks tailored to dense prediction tasks using event
camera data. Our approach utilizes solely event data for training.
Transferring achievements from dense RGB pre-training directly to event
camera data yields subpar performance. This is attributed to the spatial
sparsity inherent in an event image (converted from event data), where many
pixels do not contain information. To mitigate this sparsity issue, we encode
an event image into event patch features, automatically mine contextual
similarity relationships among patches, group the patch features into
distinctive contexts, and enforce context-to-context similarities to learn
discriminative event features.
For training our framework, we curate a synthetic event camera dataset
featuring diverse scene and motion patterns. Transfer learning performance on
downstream dense prediction tasks illustrates the superiority of our method
over state-of-the-art approaches. Notably, our single model secured the top
position in the challenging DSEC-Flow benchmark.
- Abstract(参考訳): 本稿では,イベントカメラデータを用いた高密度予測タスクに適応したニューラルネットワークを事前学習するための自己教師付き学習フレームワークを提案する。
当社のアプローチは、トレーニングにイベントデータのみを使用する。
イベントカメラデータへの高密度RGB事前トレーニングによる成果の転送は、サブパーパフォーマンスをもたらす。
これは、多くのピクセルが情報を含まないイベント画像(イベントデータから変換された)に固有の空間的スパーシティに起因する。
このスパーシティの問題を軽減するために、イベントイメージをイベントパッチ機能にエンコードし、パッチ間のコンテキスト的類似性を自動的にマイニングし、パッチ機能を特徴的なコンテキストにグループ化し、コンテキスト間類似性を強制して識別可能なイベント機能を学ぶ。
フレームワークをトレーニングするために、さまざまなシーンとモーションパターンを備えた合成イベントカメラデータセットをキュレーションします。
下流密集予測タスクにおける転送学習性能は,最先端手法よりも優れた手法であることを示す。
特に、我々の単一のモデルは、挑戦的なDSEC-Flowベンチマークでトップの地位を確保しました。
関連論文リスト
- Segment Any Events via Weighted Adaptation of Pivotal Tokens [85.39087004253163]
本稿では,Segment Anything Models (SAM) をイベントデータと統合する上で,難易度の高い課題に焦点を当てる。
本稿では,RGB画像とイベントデータからのトークン埋め込みのアライメントを最適化するマルチスケールな特徴蒸留手法を提案する。
論文 参考訳(メタデータ) (2023-12-24T12:47:08Z) - Rethinking Event-based Human Pose Estimation with 3D Event
Representations [26.592295349210787]
イベントカメラは、困難なコンテキストをナビゲートするための堅牢なソリューションを提供する。
我々は、Rasterized Event Point CloudとDecoupled Event Voxelの2つの3Dイベント表現を紹介します。
EV-3DPW実験により,従来のRGB画像やイベントフレーム技術と比較して,提案手法のロバスト性を示した。
論文 参考訳(メタデータ) (2023-11-08T10:45:09Z) - Graph-based Asynchronous Event Processing for Rapid Object Recognition [59.112755601918074]
イベントカメラは、各イベントがピクセル位置、トリガ時間、明るさの極性が変化するような非同期イベントストリームをキャプチャする。
イベントカメラのための新しいグラフベースのフレームワーク、SlideGCNを紹介した。
当社のアプローチでは、データをイベント単位で効率的に処理し、内部でグラフの構造を維持しながら、イベントデータの低レイテンシ特性を解放することが可能です。
論文 参考訳(メタデータ) (2023-08-28T08:59:57Z) - Event Camera Data Pre-training [14.77724035068357]
我々のモデルは、自己教師付き学習フレームワークであり、ペア化されたイベントカメラデータと自然なRGBイメージをトレーニングに使用しています。
我々はN-ImageNetデータセットで64.83%でトップ1の精度を達成した。
論文 参考訳(メタデータ) (2023-01-05T06:32:50Z) - Masked Event Modeling: Self-Supervised Pretraining for Event Cameras [41.263606382601886]
Masked Event Modeling (MEM) はイベントの自己組織化フレームワークである。
MEMは、記録されていないイベントのニューラルネットワークを事前トレーニングする。
本手法は3つのデータセットにまたがって最先端の分類精度に達する。
論文 参考訳(メタデータ) (2022-12-20T15:49:56Z) - Secrets of Event-Based Optical Flow [13.298845944779108]
イベントカメラはシーンダイナミクスに反応し、動きを推定する利点を提供する。
コントラスト最大化フレームワークを拡張し、イベントのみから光の流れを推定する原理的手法を開発した。
本手法はMVSECベンチマークにおける教師なし手法の中で第1位であり,DSECベンチマークでは競争力がある。
論文 参考訳(メタデータ) (2022-07-20T16:40:38Z) - CLIP-Event: Connecting Text and Images with Event Structures [123.31452120399827]
視覚言語事前学習モデルを適用したコントラスト学習フレームワークを提案する。
我々は、イベント構造知識を得るために、テキスト情報抽出技術を利用する。
実験により、ゼロショットCLIP-Eventは引数抽出において最先端の教師付きモデルよりも優れていることが示された。
論文 参考訳(メタデータ) (2022-01-13T17:03:57Z) - Robust Event Classification Using Imperfect Real-world PMU Data [58.26737360525643]
本研究では,不完全な実世界のファサー計測単位(PMU)データを用いて,ロバストな事象分類について検討する。
我々は、堅牢なイベント分類器を訓練するための新しい機械学習フレームワークを開発する。
論文 参考訳(メタデータ) (2021-10-19T17:41:43Z) - Bridging the Gap between Events and Frames through Unsupervised Domain
Adaptation [57.22705137545853]
本稿では,ラベル付き画像とラベル付きイベントデータを用いてモデルを直接訓練するタスク転送手法を提案する。
生成イベントモデルを利用して、イベント機能をコンテンツとモーションに分割します。
われわれのアプローチは、イベントベースのニューラルネットワークのトレーニングのために、膨大な量の既存の画像データセットをアンロックする。
論文 参考訳(メタデータ) (2021-09-06T17:31:37Z) - Unsupervised Feature Learning for Event Data: Direct vs Inverse Problem
Formulation [53.850686395708905]
イベントベースのカメラは、ピクセルごとの明るさ変化の非同期ストリームを記録する。
本稿では,イベントデータからの表現学習のための単一層アーキテクチャに焦点を当てる。
我々は,最先端手法と比較して,認識精度が最大9%向上したことを示す。
論文 参考訳(メタデータ) (2020-09-23T10:40:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。