論文の概要: Vector-Symbolic Architecture for Event-Based Optical Flow
- arxiv url: http://arxiv.org/abs/2405.08300v1
- Date: Tue, 14 May 2024 03:50:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-15 15:08:02.498427
- Title: Vector-Symbolic Architecture for Event-Based Optical Flow
- Title（参考訳）: イベントベースオプティカルフローのためのベクトル・シンボリックアーキテクチャ
- Authors: Hongzhi You, Yijun Cao, Wei Yuan, Fanjun Wang, Ning Qiao, Yongjie Li,
- Abstract要約: 本稿では,Vector Architectures(VSA)を利用した,実効的でロバストな高次元特徴記述子を提案する。
本稿では、モデルベース(VSA-Flow)と自己教師あり学習(VSA-SM)の両方を包含した、イベントベースの光フローのための新しい特徴マッチングフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 18.261064372829164
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: From a perspective of feature matching, optical flow estimation for event cameras involves identifying event correspondences by comparing feature similarity across accompanying event frames. In this work, we introduces an effective and robust high-dimensional (HD) feature descriptor for event frames, utilizing Vector Symbolic Architectures (VSA). The topological similarity among neighboring variables within VSA contributes to the enhanced representation similarity of feature descriptors for flow-matching points, while its structured symbolic representation capacity facilitates feature fusion from both event polarities and multiple spatial scales. Based on this HD feature descriptor, we propose a novel feature matching framework for event-based optical flow, encompassing both model-based (VSA-Flow) and self-supervised learning (VSA-SM) methods. In VSA-Flow, accurate optical flow estimation validates the effectiveness of HD feature descriptors. In VSA-SM, a novel similarity maximization method based on the HD feature descriptor is proposed to learn optical flow in a self-supervised way from events alone, eliminating the need for auxiliary grayscale images. Evaluation results demonstrate that our VSA-based method achieves superior accuracy in comparison to both model-based and self-supervised learning methods on the DSEC benchmark, while remains competitive among both methods on the MVSEC benchmark. This contribution marks a significant advancement in event-based optical flow within the feature matching methodology.
- Abstract（参考訳）: 特徴マッチングの観点から、イベントカメラの光学的フロー推定は、付随するイベントフレーム間の特徴類似性を比較することによって、イベント対応を識別する。
本稿では,Vector Symbolic Architectures(VSA)を利用して,イベントフレームのための実効的で堅牢な高次元特徴記述子を提案する。
VSA内の隣接する変数間の位相的類似性は、フローマッチング点に対する特徴記述子の表現類似性の向上に寄与する一方、その構造化されたシンボル表現能力は、事象極性と複数の空間スケールからの特徴融合を促進する。
本稿では,このHD特徴記述子に基づいて,モデルベース(VSA-Flow)と自己教師型学習(VSA-SM)の両方を対象とする,イベントベースの光フローのための新しい特徴マッチングフレームワークを提案する。
VSA-Flowでは、正確な光学フロー推定がHD特徴記述子の有効性を検証する。
VSA-SMでは、HD特徴記述子に基づく新しい類似度最大化法が提案され、補助的なグレースケール画像の必要性を排除し、イベントのみから自己教師付き方法で光の流れを学習する。
評価結果から,DSECベンチマークではモデルベースと自己教師型の両方の学習手法と比較して,VSAに基づく手法の方が精度がよいことが示されたが,MVSECベンチマークでは両手法の競合が続いている。
この貢献は、特徴マッチング手法における事象ベースの光学フローの著しい進歩を示す。
関連論文リスト
- Motion-prior Contrast Maximization for Dense Continuous-Time Motion Estimation [34.529280562470746]
コントラスト最大化フレームワークと非直線運動を組み合わせた新たな自己監督的損失を画素レベルの軌跡の形で導入する。
連続時間運動の高密度推定では, 合成学習モデルのゼロショット性能を29%向上する。
論文 参考訳（メタデータ） (2024-07-15T15:18:28Z) - GAFlow: Incorporating Gaussian Attention into Optical Flow [62.646389181507764]
我々はガウス的注意(GA)を光学フローモデルに押し込み、表現学習中に局所特性をアクセントする。
本稿では,既存の Transformer ブロックに簡単に接続可能な新しい Gaussian-Constrained Layer (GCL) を提案する。
動作解析のための新しいガウス誘導注意モジュール(GGAM)を提供する。
論文 参考訳（メタデータ） (2023-09-28T07:46:01Z) - DH-PTAM: A Deep Hybrid Stereo Events-Frames Parallel Tracking And Mapping System [1.443696537295348]
本稿では,視覚的並列追跡・マッピング(PTAM)システムに対するロバストなアプローチを提案する。
提案手法は,異種多モード視覚センサの強度を統一参照フレームに組み合わせたものである。
私たちの実装のリサーチベースのPython APIはGitHubで公開されています。
論文 参考訳（メタデータ） (2023-06-02T19:52:13Z) - PSNet: Parallel Symmetric Network for Video Salient Object Detection [85.94443548452729]
我々は,PSNet という名前のアップ・ダウン・パラレル対称性を持つ VSOD ネットワークを提案する。
2つの並列ブランチが、ビデオの完全サリエンシ復号化を実現するために設定されている。
論文 参考訳（メタデータ） (2022-10-12T04:11:48Z) - Spatiotemporal Multi-scale Bilateral Motion Network for Gait Recognition [3.1240043488226967]
本稿では,光学的流れに動機づけられた両動方向の特徴について述べる。
動作コンテキストを多段階の時間分解能でリッチに記述する多段階の時間表現を開発する。
論文 参考訳（メタデータ） (2022-09-26T01:36:22Z) - Hierarchical Feature Alignment Network for Unsupervised Video Object
Segmentation [99.70336991366403]
外観・動作特徴アライメントのための簡潔で実用的で効率的なアーキテクチャを提案する。
提案されたHFANはDAVIS-16の最先端性能に到達し、88.7ドルのmathcalJ&mathcalF$Meanを達成した。
論文 参考訳（メタデータ） (2022-07-18T10:10:14Z) - A Look at Improving Robustness in Visual-inertial SLAM by Moment
Matching [17.995121900076615]
本稿では,拡張カルマンフィルタ(EKF)がもたらす実用的意味と限界について批判的な考察を行う。
我々は,視覚-慣性計測と視覚SLAMの両方にモーメントマッチング(未開のカルマンフィルタリング)アプローチを採用する。
論文 参考訳（メタデータ） (2022-05-27T08:22:03Z) - Hybrid Routing Transformer for Zero-Shot Learning [83.64532548391]
本稿ではハイブリッド・ルーティング・トランス (HRT) と呼ばれる新しいトランス・デコーダモデルを提案する。
ボトムアップとトップダウンの動的ルーティング経路の両方で構築されたアクティブアテンションを組み込んで,属性に整合した視覚的特徴を生成する。
HRTデコーダでは,属性対応の視覚特徴,対応する属性セマンティクス,およびクラス属性ベクトル間の相関関係を静的なルーティングで計算し,最終クラスラベルの予測を生成する。
論文 参考訳（メタデータ） (2022-03-29T07:55:08Z) - Modeling long-term interactions to enhance action recognition [81.09859029964323]
本稿では,フレームレベルと時間レベルの両方でオブジェクト間の相互作用のセマンティクスを利用する,エゴセントリックなビデオのアンダースタンドアクションに対する新しいアプローチを提案する。
ユーザの手とほぼ対応するプライマリ領域と、相互作用するオブジェクトに対応する可能性のあるセカンダリ領域のセットを入力として、領域ベースのアプローチを使用する。
提案手法は, 標準ベンチマークの動作認識において, 最先端技術よりも優れている。
論文 参考訳（メタデータ） (2021-04-23T10:08:15Z) - Unsupervised Motion Representation Enhanced Network for Action
Recognition [4.42249337449125]
連続するフレーム間の動きの表現は、ビデオの理解を大いに促進することが証明されている。
効果的な光フロー解決器であるTV-L1法は、抽出した光フローをキャッシュするために時間と費用がかかる。
UF-TSN(UF-TSN)は、軽量な非監視光フロー推定器を組み込んだ、エンドツーエンドのアクション認識手法です。
論文 参考訳（メタデータ） (2021-03-05T04:14:32Z) - Inter-class Discrepancy Alignment for Face Recognition [55.578063356210144]
IA(Inter-class DiscrepancyAlignment)という統合フレームワークを提案する。
IDA-DAOは、画像と隣人の相違を考慮した類似度スコアの整合に使用される。
IDA-SSEは、GANで生成された仮想候補画像を導入することで、説得力のあるクラス間隣人を提供できます。
論文 参考訳（メタデータ） (2021-03-02T08:20:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。