論文の概要: GS-EVT: Cross-Modal Event Camera Tracking based on Gaussian Splatting

• arxiv url: http://arxiv.org/abs/2409.19228v1
• Date: Sat, 28 Sep 2024 03:56:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-06 00:28:26.060177
• Title: GS-EVT: Cross-Modal Event Camera Tracking based on Gaussian Splatting
• Title（参考訳）: GS-EVT:ガウス散乱に基づくイベントカメラのクロスモーダル追跡
• Authors: Tao Liu, Runze Yuan, Yi'ang Ju, Xun Xu, Jiaqi Yang, Xiangting Meng, Xavier Lagorce, Laurent Kneip,
• Abstract要約: 本稿では,モーショントラッキングにおけるイベントカメラの利用について検討する。 難解なダイナミクスと照明の下で、固有の堅牢性を備えたソリューションを提供する。 フレームベースのカメラから直接来る地図表現を追跡する。
• 参考スコア（独自算出の注目度）: 19.0745952177123
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reliable self-localization is a foundational skill for many intelligent mobile platforms. This paper explores the use of event cameras for motion tracking thereby providing a solution with inherent robustness under difficult dynamics and illumination. In order to circumvent the challenge of event camera-based mapping, the solution is framed in a cross-modal way. It tracks a map representation that comes directly from frame-based cameras. Specifically, the proposed method operates on top of gaussian splatting, a state-of-the-art representation that permits highly efficient and realistic novel view synthesis. The key of our approach consists of a novel pose parametrization that uses a reference pose plus first order dynamics for local differential image rendering. The latter is then compared against images of integrated events in a staggered coarse-to-fine optimization scheme. As demonstrated by our results, the realistic view rendering ability of gaussian splatting leads to stable and accurate tracking across a variety of both publicly available and newly recorded data sequences.
• Abstract（参考訳）: 信頼性の高い自己ローカライゼーションは多くのインテリジェントなモバイルプラットフォームの基礎となるスキルである。 本稿では,運動追跡におけるイベントカメラの利用について検討する。 イベントカメラベースのマッピングの課題を回避するため、ソリューションはクロスモーダルな方法でフレーム化される。 フレームベースのカメラから直接来る地図表現を追跡する。 具体的には,提案手法は,高効率でリアルな新規ビュー合成を可能にする最先端の表現であるガウススプラッティング(Gaussian splatting)上で動作させる。 提案手法の鍵となるのは,参照ポーズと局所微分画像レンダリングのための第1次ダイナミックスを用いた新しいポーズパラメトリゼーションである。 後者は、スタグ付き粗大な最適化スキームにおける統合イベントの画像と比較される。 以上の結果から,ガウススプラッティングのリアルなビューレンダリング能力は,公開および新たに記録されたデータシーケンスの多種多様な安定かつ正確な追跡に繋がることが示された。

関連論文リスト

• ESVO2: Direct Visual-Inertial Odometry with Stereo Event Cameras [33.81592783496106]
  イベントベースのビジュアルオドメトリーは、トラッキングとサブプロブレムを並列にマッピングすることを目的としている。 イベントベースのステレオビジュアル慣性オドメトリーシステムを構築した。
  論文  参考訳（メタデータ） (2024-10-12T05:35:27Z)
• Tracking Any Point with Frame-Event Fusion Network at High Frame Rate [16.749590397918574]
  本稿では,イメージイベント融合点トラッカー FE-TAP を提案する。 画像フレームからのコンテキスト情報と、イベントの高時間分解能を組み合わせる。 FE-TAPは様々な困難条件下で高いフレームレートとロバストな点追跡を実現する。
  論文  参考訳（メタデータ） (2024-09-18T13:07:19Z)
• Cameras as Rays: Pose Estimation via Ray Diffusion [54.098613859015856]
  カメラのポーズを推定することは3D再構成の基本的な課題であり、まばらにサンプリングされたビューを考えると依然として困難である。 本稿では,カメラを光束として扱うカメラポーズの分散表現を提案する。 提案手法は回帰法と拡散法の両方で,CO3Dのカメラポーズ推定における最先端性能を示す。
  論文  参考訳（メタデータ） (2024-02-22T18:59:56Z)
• Cross-Modal Semi-Dense 6-DoF Tracking of an Event Camera in Challenging Conditions [29.608665442108727]
  イベントベースのカメラはバイオインスパイアされた視覚センサーであり、HDR条件でよく機能し、時間分解能が高い。 本研究は、代替センサのマッピングが許された場合、純粋にイベントベースのトラッキングの実現可能性を示す。 この手法は、半密度マップとイベントの幾何学的3D-2D登録に依存しており、信頼性が高く正確なクロスモーダル追跡結果が得られる。
  論文  参考訳（メタデータ） (2024-01-16T01:48:45Z)
• Learning Robust Multi-Scale Representation for Neural Radiance Fields from Unposed Images [65.41966114373373]
  コンピュータビジョンにおけるニューラルイメージベースのレンダリング問題に対する改善された解決策を提案する。 提案手法は,テスト時に新たな視点からシーンのリアルなイメージを合成することができる。
  論文  参考訳（メタデータ） (2023-11-08T08:18:23Z)
• CROSSFIRE: Camera Relocalization On Self-Supervised Features from an Implicit Representation [3.565151496245487]
  我々は,あるシーンの暗黙の地図としてニューラル・ラジアンス・フィールドを使用し,この表現に適したカメラ再配置を提案する。 提案手法は,ナビゲーション中に1台のRGBカメラを用いて,デバイスの正確な位置をリアルタイムで計算することができる。
  論文  参考訳（メタデータ） (2023-03-08T20:22:08Z)
• Continuous-Time Gaussian Process Motion-Compensation for Event-vision Pattern Tracking with Distance Fields [4.168157981135697]
  本研究は,イベントカメラデータにおける動き補償とパターン追跡の問題に対処する。 提案手法は、追跡問題を局所的なSE(2)運動補償ステップに分解し、その後、小さな動き補償イベントバッチのホモグラフィー登録を行う。 我々のオープンソース実装は高精度な動作補償を行い、実世界のシナリオで高品質なトラックを生成する。
  論文  参考訳（メタデータ） (2023-03-05T13:48:20Z)
• ParticleSfM: Exploiting Dense Point Trajectories for Localizing Moving Cameras in the Wild [57.37891682117178]
  本稿では,一対の光流からの高密度対応に基づく動画の高密度間接構造抽出手法を提案する。 不規則点軌道データを処理するために,新しいニューラルネットワークアーキテクチャを提案する。 MPIシンテルデータセットを用いた実験により,我々のシステムはより正確なカメラ軌道を生成することがわかった。
  論文  参考訳（メタデータ） (2022-07-19T09:19:45Z)
• DynaST: Dynamic Sparse Transformer for Exemplar-Guided Image Generation [56.514462874501675]
  本稿では,動的スパースアテンションに基づくトランスフォーマーモデルを提案する。 このアプローチの核心は、ある位置がフォーカスすべき最適なトークン数の変化をカバーすることに特化した、新しいダイナミックアテンションユニットです。 3つの応用、ポーズ誘導型人物画像生成、エッジベース顔合成、歪みのない画像スタイル転送の実験により、DynaSTは局所的な詳細において優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2022-07-13T11:12:03Z)
• Cross-Camera Trajectories Help Person Retrieval in a Camera Network [124.65912458467643]
  既存の手法では、純粋な視覚的マッチングや時間的制約を考慮することが多いが、カメラネットワークの空間情報は無視する。 本稿では,時間的情報と空間的情報を統合したクロスカメラ生成に基づく歩行者検索フレームワークを提案する。 本手法の有効性を検証するため,最初のカメラ横断歩行者軌跡データセットを構築した。
  論文  参考訳（メタデータ） (2022-04-27T13:10:48Z)
• Asynchronous Optimisation for Event-based Visual Odometry [53.59879499700895]
  イベントカメラは、低レイテンシと高ダイナミックレンジのために、ロボット知覚の新しい可能性を開く。 イベントベースビジュアル・オドメトリー(VO)に焦点をあてる 動作最適化のバックエンドとして非同期構造を提案する。
  論文  参考訳（メタデータ） (2022-03-02T11:28:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。