論文の概要: Learning Normal Flow Directly From Event Neighborhoods
- arxiv url: http://arxiv.org/abs/2412.11284v1
- Date: Sun, 15 Dec 2024 19:09:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-17 13:57:21.177166
- Title: Learning Normal Flow Directly From Event Neighborhoods
- Title（参考訳）: イベント地区から直接正規流を学習する
- Authors: Dehao Yuan, Levi Burner, Jiayi Wu, Minghui Liu, Jingxi Chen, Yiannis Aloimonos, Cornelia Fermüller,
- Abstract要約: 正規フロー推定のための新しい教師付き点ベース手法を提案する。
ローカル・ポイント・クラウド・エンコーダを用いて,本手法は生イベントからのイベント当たりの通常の流れを直接推定する。
提案手法は, 異なるデータセット間で転送される場合の最先端手法よりも, より優れた, より一貫性のある性能を実現する。
- 参考スコア（独自算出の注目度）: 18.765370814655626
- License:
- Abstract: Event-based motion field estimation is an important task. However, current optical flow methods face challenges: learning-based approaches, often frame-based and relying on CNNs, lack cross-domain transferability, while model-based methods, though more robust, are less accurate. To address the limitations of optical flow estimation, recent works have focused on normal flow, which can be more reliably measured in regions with limited texture or strong edges. However, existing normal flow estimators are predominantly model-based and suffer from high errors. In this paper, we propose a novel supervised point-based method for normal flow estimation that overcomes the limitations of existing event learning-based approaches. Using a local point cloud encoder, our method directly estimates per-event normal flow from raw events, offering multiple unique advantages: 1) It produces temporally and spatially sharp predictions. 2) It supports more diverse data augmentation, such as random rotation, to improve robustness across various domains. 3) It naturally supports uncertainty quantification via ensemble inference, which benefits downstream tasks. 4) It enables training and inference on undistorted data in normalized camera coordinates, improving transferability across cameras. Extensive experiments demonstrate our method achieves better and more consistent performance than state-of-the-art methods when transferred across different datasets. Leveraging this transferability, we train our model on the union of datasets and release it for public use. Finally, we introduce an egomotion solver based on a maximum-margin problem that uses normal flow and IMU to achieve strong performance in challenging scenarios.
- Abstract（参考訳）: イベントベースの運動場推定は重要な課題である。
しかし、現在の光学フロー法では、学習ベースのアプローチ、しばしばフレームベースでCNNに依存し、ドメイン間の転送性に欠ける。
光流量推定の限界に対処するために、最近の研究は、テクスチャや強いエッジの限られた領域でより確実に測定できる通常の流れに焦点を当てている。
しかし、既存の正規フロー推定器は主にモデルベースであり、高い誤差に悩まされている。
本稿では,既存のイベント学習手法の限界を克服する,正規フロー推定のための新しい教師付きポイントベース手法を提案する。
ローカル・ポイント・クラウド・エンコーダを用いて、本手法は生イベントからのイベント当たりの通常の流れを直接推定する。
1)時間的・空間的に鋭い予測を行う。
2) 様々な領域にわたるロバスト性を改善するために, ランダム回転などの多種多様なデータ拡張をサポートする。
3)下流タスクの恩恵を受けるアンサンブル推論による不確実性定量化を自然にサポートする。
4) 正常化カメラ座標における歪みのないデータのトレーニングと推測を可能にし, カメラ間の転送性を向上させる。
大規模な実験により,本手法は,異なるデータセット間で転送される場合の最先端手法よりも,より優れた,より一貫した性能を達成できることを示した。
この転送可能性を活用して、データセットの結合に基づいてモデルをトレーニングし、パブリック使用のためにリリースします。
最後に,通常の流れとIMUを用いて,難易度の高いシナリオで高い性能を達成できる最大マージン問題に基づくエゴモーション解法を提案する。
関連論文リスト
- Conditional diffusions for neural posterior estimation [8.37884129644711]
NPEの正規化フローの代替として条件拡散の有効性を示す。
その結果,より単純で浅いモデルであっても,安定性の向上,精度の向上,トレーニング時間の短縮が得られた。
論文 参考訳（メタデータ） (2024-10-24T19:13:13Z) - Motion-prior Contrast Maximization for Dense Continuous-Time Motion Estimation [34.529280562470746]
コントラスト最大化フレームワークと非直線運動を組み合わせた新たな自己監督的損失を画素レベルの軌跡の形で導入する。
連続時間運動の高密度推定では, 合成学習モデルのゼロショット性能を29%向上する。
論文 参考訳（メタデータ） (2024-07-15T15:18:28Z) - Consistency Flow Matching: Defining Straight Flows with Velocity Consistency [97.28511135503176]
本稿では,速度場の自己整合性を明示する新しいFM法であるConsistency Flow Matching(Consistency-FM)を紹介する。
予備実験により、一貫性FMは、一貫性モデルよりも4.4倍速く収束することにより、トレーニング効率を著しく向上することが示された。
論文 参考訳（メタデータ） (2024-07-02T16:15:37Z) - FlowIE: Efficient Image Enhancement via Rectified Flow [71.6345505427213]
FlowIEはフローベースのフレームワークであり、基本的な分布から高品質な画像への直線パスを推定する。
私たちのコントリビューションは、合成および実世界のデータセットに関する包括的な実験を通じて、厳密に検証されています。
論文 参考訳（メタデータ） (2024-06-01T17:29:29Z) - Optimal Flow Matching: Learning Straight Trajectories in Just One Step [89.37027530300617]
我々は,新しいtextbf Optimal Flow Matching (OFM) アプローチを開発し,理論的に正当化する。
これは2次輸送のための直列のOT変位をFMの1ステップで回復することを可能にする。
提案手法の主な考え方は,凸関数によってパラメータ化されるFMのベクトル場の利用である。
論文 参考訳（メタデータ） (2024-03-19T19:44:54Z) - STARFlow: Spatial Temporal Feature Re-embedding with Attentive Learning for Real-world Scene Flow [5.476991379461233]
両ユークリッド空間における全点対に一致する大域的注意流埋め込みを提案する。
我々は、新しいドメイン適応損失を利用して、合成から実世界への動き推論のギャップを埋める。
提案手法は,実世界のLiDARスキャンデータセットにおいて特に顕著な結果を得て,各種データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-11T04:56:10Z) - Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。
特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
論文 参考訳（メタデータ） (2023-11-22T15:07:59Z) - Diffusion Generative Flow Samplers: Improving learning signals through
partial trajectory optimization [87.21285093582446]
Diffusion Generative Flow Samplers (DGFS) はサンプルベースのフレームワークであり、学習プロセスを短い部分的軌道セグメントに分解することができる。
生成フローネットワーク(GFlowNets)のための理論から着想を得た。
論文 参考訳（メタデータ） (2023-10-04T09:39:05Z) - Taming Contrast Maximization for Learning Sequential, Low-latency,
Event-based Optical Flow [18.335337530059867]
イベントカメラは、複雑なコンピュータビジョン問題に対する低レイテンシで低消費電力のソリューションのための新しい道を開くことで、大きな注目を集めている。
これらのソリューションをアンロックするには、イベントデータのユニークな性質を活用するアルゴリズムを開発する必要がある。
本研究では,イベントベース光フロー推定のための自己教師付き学習パイプラインを提案する。
論文 参考訳（メタデータ） (2023-03-09T12:37:33Z) - SCOOP: Self-Supervised Correspondence and Optimization-Based Scene Flow [25.577386156273256]
シーンフロー推定は、連続した観察からシーンの3次元運動を見つけることを目的として、コンピュータビジョンにおける長年の課題である。
そこで本研究では,少量のデータから学習可能なシーンフロー推定手法であるSCOOPについて紹介する。
論文 参考訳（メタデータ） (2022-11-25T10:52:02Z) - GFlowOut: Dropout with Generative Flow Networks [76.59535235717631]
モンテカルロ・ドロップアウトは近似推論の比較的安価な方法として広く利用されている。
最近の研究は、ドロップアウトマスクを潜伏変数と見なすことができ、変動推論で推測できることを示している。
GFlowOutleveragesは、最近提案されたジェネレーティブフローネットワーク(GFlowNets)の確率的フレームワークを使用して、ドロップアウトマスク上の後部分布を学習する。
論文 参考訳（メタデータ） (2022-10-24T03:00:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。