論文の概要: Event Camera Data Pre-training
- arxiv url: http://arxiv.org/abs/2301.01928v1
- Date: Thu, 5 Jan 2023 06:32:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-06 14:10:42.651142
- Title: Event Camera Data Pre-training
- Title(参考訳): イベントカメラデータの事前トレーニング
- Authors: Yan Yang and Liyuan Pan and Liu Liu
- Abstract要約: 本稿では,イベントカメラデータを扱うためのトレーニング済みニューラルネットワークを提案する。
我々のモデルは、自己教師付き学習フレームワークで訓練されており、ペア化されたイベントカメラデータと自然なRGB画像を用いて訓練を行っている。
- 参考スコア(独自算出の注目度): 14.77724035068357
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a pre-trained neural network for handling event camera
data. Our model is trained in a self-supervised learning framework, and uses
paired event camera data and natural RGB images for training.
Our method contains three modules connected in a sequence: i) a family of
event data augmentations, generating meaningful event images for
self-supervised training; ii) a conditional masking strategy to sample
informative event patches from event images, encouraging our model to capture
the spatial layout of a scene and fast training; iii) a contrastive learning
approach, enforcing the similarity of embeddings between matching event images,
and between paired event-RGB images. An embedding projection loss is proposed
to avoid the model collapse when enforcing event embedding similarities. A
probability distribution alignment loss is proposed to encourage the event data
to be consistent with its paired RGB image in feature space.
Transfer performance in downstream tasks shows superior performance of our
method over state-of-the-art methods. For example, we achieve top-1 accuracy at
64.83\% on the N-ImageNet dataset.
- Abstract(参考訳): 本稿では,イベントカメラデータを扱うためのトレーニング済みニューラルネットワークを提案する。
私たちのモデルは、自己教師付き学習フレームワークでトレーニングされ、ペアのイベントカメラデータと自然なrgbイメージを使用してトレーニングを行います。
提案手法は3つのモジュールを連続して連結する。
一 自己監督訓練のための有意義なイベント画像を生成するイベントデータ増強の家系
二 イベント画像から有意義なイベントパッチをサンプリングし、我々のモデルにシーンの空間配置を捉え、迅速なトレーニングを促すための条件付きマスキング戦略。
三 一致したイベント画像とペア化されたイベント-RGB画像との埋め込みの類似性を強制する対照的な学習方法。
イベント埋め込み類似性を強制する際のモデル崩壊を回避するため、埋め込み投影損失を提案する。
特徴空間におけるイベントデータのペアRGB画像との整合性を促進するために,確率分布アライメント損失を提案する。
ダウンストリームタスクにおける転送性能は,最先端メソッドよりも優れた性能を示す。
例えば、N-ImageNetデータセット上で64.83\%でトップ1の精度を達成する。
関連論文リスト
- MatchU: Matching Unseen Objects for 6D Pose Estimation from RGB-D Images [61.15679579799858]
RGB-D画像からの6次元ポーズ推定のためのFuse-Describe-Match戦略を提案する。
MatchUは、2Dテクスチャと6Dポーズ予測のための3D幾何学的手がかりを融合する汎用的なアプローチである。
論文 参考訳(メタデータ) (2024-03-03T14:01:03Z) - Segment Any Events via Weighted Adaptation of Pivotal Tokens [85.39087004253163]
本稿では,Segment Anything Models (SAM) をイベントデータと統合する上で,難易度の高い課題に焦点を当てる。
本稿では,RGB画像とイベントデータからのトークン埋め込みのアライメントを最適化するマルチスケールな特徴蒸留手法を提案する。
論文 参考訳(メタデータ) (2023-12-24T12:47:08Z) - Event Camera Data Dense Pre-training [12.27119620314554]
本稿では,イベントカメラデータを用いた高密度予測タスクに適したニューラルネットワークの事前学習を目的とした,自己教師付き学習フレームワークを提案する。
フレームワークをトレーニングするために、さまざまなシーンと動きパターンを特徴とする合成イベントカメラデータセットをキュレートする。
論文 参考訳(メタデータ) (2023-11-20T04:36:19Z) - Rethinking Event-based Human Pose Estimation with 3D Event
Representations [26.592295349210787]
イベントカメラは、困難なコンテキストをナビゲートするための堅牢なソリューションを提供する。
我々は、Rasterized Event Point CloudとDecoupled Event Voxelの2つの3Dイベント表現を紹介します。
EV-3DPW実験により,従来のRGB画像やイベントフレーム技術と比較して,提案手法のロバスト性を示した。
論文 参考訳(メタデータ) (2023-11-08T10:45:09Z) - GET: Group Event Transformer for Event-Based Vision [82.312736707534]
イベントカメラは、注目を集めている新しいニューロモルフィックセンサーの一種である。
我々は、グループイベントトランスフォーマー(GET)と呼ばれる、イベントベースのビジョンのための新しいグループベースのビジョントランスフォーマーバックボーンを提案する。
GETは特徴抽出プロセスを通して空間的インフォメーションから時間的極性情報を分離する。
論文 参考訳(メタデータ) (2023-10-04T08:02:33Z) - Masked Event Modeling: Self-Supervised Pretraining for Event Cameras [41.263606382601886]
Masked Event Modeling (MEM) はイベントの自己組織化フレームワークである。
MEMは、記録されていないイベントのニューラルネットワークを事前トレーニングする。
本手法は3つのデータセットにまたがって最先端の分類精度に達する。
論文 参考訳(メタデータ) (2022-12-20T15:49:56Z) - Semantic keypoint-based pose estimation from single RGB frames [64.80395521735463]
一つのRGB画像からオブジェクトの連続6-DoFポーズを推定する手法を提案する。
このアプローチは、畳み込みネットワーク(convnet)によって予測されるセマンティックキーポイントと、変形可能な形状モデルを組み合わせる。
提案手法は,インスタンスベースのシナリオとクラスベースのシナリオの両方に対して,6-DoFオブジェクトのポーズを正確に復元できることを示す。
論文 参考訳(メタデータ) (2022-04-12T15:03:51Z) - Bridging the Gap between Events and Frames through Unsupervised Domain
Adaptation [57.22705137545853]
本稿では,ラベル付き画像とラベル付きイベントデータを用いてモデルを直接訓練するタスク転送手法を提案する。
生成イベントモデルを利用して、イベント機能をコンテンツとモーションに分割します。
われわれのアプローチは、イベントベースのニューラルネットワークのトレーニングのために、膨大な量の既存の画像データセットをアンロックする。
論文 参考訳(メタデータ) (2021-09-06T17:31:37Z) - Matching Neuromorphic Events and Color Images via Adversarial Learning [49.447580124957966]
本稿では,イベントベース画像検索(EBIR)問題を提案する。
ニューロモルフィックイベント・カラー画像特徴学習(ECFL)によるEBIR問題に対処する。
また,EBIR問題の発展を促進するため,コミュニティN-UKbenchとEC180データセットにも貢献する。
論文 参考訳(メタデータ) (2020-03-02T02:48:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。