論文の概要: Motion-prior Contrast Maximization for Dense Continuous-Time Motion Estimation

• arxiv url: http://arxiv.org/abs/2407.10802v1
• Date: Mon, 15 Jul 2024 15:18:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 14:39:57.516989
• Title: Motion-prior Contrast Maximization for Dense Continuous-Time Motion Estimation
• Title（参考訳）: 高精度連続時間運動推定のためのモーション・プライア・コントラストの最大化
• Authors: Friedhelm Hamann, Ziyun Wang, Ioannis Asmanis, Kenneth Chaney, Guillermo Gallego, Kostas Daniilidis,
• Abstract要約: コントラスト最大化フレームワークと非直線運動を組み合わせた新たな自己監督的損失を画素レベルの軌跡の形で導入する。 連続時間運動の高密度推定では, 合成学習モデルのゼロショット性能を29%向上する。
• 参考スコア（独自算出の注目度）: 34.529280562470746
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Current optical flow and point-tracking methods rely heavily on synthetic datasets. Event cameras are novel vision sensors with advantages in challenging visual conditions, but state-of-the-art frame-based methods cannot be easily adapted to event data due to the limitations of current event simulators. We introduce a novel self-supervised loss combining the Contrast Maximization framework with a non-linear motion prior in the form of pixel-level trajectories and propose an efficient solution to solve the high-dimensional assignment problem between non-linear trajectories and events. Their effectiveness is demonstrated in two scenarios: In dense continuous-time motion estimation, our method improves the zero-shot performance of a synthetically trained model on the real-world dataset EVIMO2 by 29%. In optical flow estimation, our method elevates a simple UNet to achieve state-of-the-art performance among self-supervised methods on the DSEC optical flow benchmark. Our code is available at https://github.com/tub-rip/MotionPriorCMax.
• Abstract（参考訳）: 現在の光学フローと点追跡法は、合成データセットに大きく依存している。 イベントカメラは、難易度の高い視覚条件の利点を持つ新しい視覚センサであるが、現在のイベントシミュレータの制限により、最先端のフレームベースの手法は、イベントデータに容易に適応できない。 コントラスト最大化フレームワークと画素レベルのトラジェクトリの形式に先行する非線形運動を組み合わせた新たな自己監督的損失を導入し,非線形トラジェクトリとイベント間の高次元代入問題を解くための効率的な解法を提案する。 実世界のデータセットEVIMO2上での合成学習モデルのゼロショット性能を29%向上させる。 光フロー推定において,本手法は,DSEC光フローベンチマークにおける自己教師付き手法の最先端性能を達成するために,単純なUNetを増大させる。 私たちのコードはhttps://github.com/tub-rip/MotionPriorCMaxで利用可能です。

関連論文リスト

• Event-Aided Time-to-Collision Estimation for Autonomous Driving [28.13397992839372]
  ニューロモルフィックなイベントベースカメラを用いて衝突時刻を推定する新しい手法を提案する。 提案アルゴリズムは, 事象データに適合する幾何モデルに対して, 効率的かつ高精度な2段階のアプローチで構成する。 合成データと実データの両方の実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2024-07-10T02:37:36Z)
• Motion-Aware Video Frame Interpolation [49.49668436390514]
  我々は、連続するフレームから中間光の流れを直接推定する動き対応ビデオフレーム補間(MA-VFI)ネットワークを導入する。 受容場が異なる入力フレームからグローバルな意味関係と空間的詳細を抽出するだけでなく、必要な計算コストと複雑さを効果的に削減する。
  論文  参考訳（メタデータ） (2024-02-05T11:00:14Z)
• Taming Contrast Maximization for Learning Sequential, Low-latency, Event-based Optical Flow [18.335337530059867]
  イベントカメラは、複雑なコンピュータビジョン問題に対する低レイテンシで低消費電力のソリューションのための新しい道を開くことで、大きな注目を集めている。 これらのソリューションをアンロックするには、イベントデータのユニークな性質を活用するアルゴリズムを開発する必要がある。 本研究では,イベントベース光フロー推定のための自己教師付き学習パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-03-09T12:37:33Z)
• EM-driven unsupervised learning for efficient motion segmentation [3.5232234532568376]
  本稿では,光学的流れからの動作分割のためのCNNに基づく完全教師なし手法を提案する。 本研究では,移動分割ニューラルネットワークの損失関数とトレーニング手順を活用するために,期待最大化(EM)フレームワークを利用する。 提案手法は, 教師なし手法よりも優れ, 効率的である。
  論文  参考訳（メタデータ） (2022-01-06T14:35:45Z)
• Motion Deblurring with Real Events [50.441934496692376]
  本稿では,イベントベースの動作を自己教師型で記述するエンド・ツー・エンドの学習フレームワークを提案する。 実世界のイベントは、データ不整合によるパフォーマンス劣化を軽減するために利用される。
  論文  参考訳（メタデータ） (2021-09-28T13:11:44Z)
• TimeLens: Event-based Video Frame Interpolation [54.28139783383213]
  本稿では,合成法とフロー法の両方の利点を生かした,等価寄与法であるTime Lensを紹介する。 最先端のフレームベースおよびイベントベース手法よりもPSNRが最大5.21dB向上したことを示す。
  論文  参考訳（メタデータ） (2021-06-14T10:33:47Z)
• Unsupervised Motion Representation Enhanced Network for Action Recognition [4.42249337449125]
  連続するフレーム間の動きの表現は、ビデオの理解を大いに促進することが証明されている。 効果的な光フロー解決器であるTV-L1法は、抽出した光フローをキャッシュするために時間と費用がかかる。 UF-TSN(UF-TSN)は、軽量な非監視光フロー推定器を組み込んだ、エンドツーエンドのアクション認識手法です。
  論文  参考訳（メタデータ） (2021-03-05T04:14:32Z)
• Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
  画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。 本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:45:18Z)
• What Matters in Unsupervised Optical Flow [51.45112526506455]
  教師なし光流における鍵成分の集合を比較し解析する。 教師なしフローモデルに対する新しい改良点を多数構築する。 本稿では,従来の最先端技術よりもはるかに優れた非教師なしフロー技術を提案する。
  論文  参考訳（メタデータ） (2020-06-08T19:36:26Z)
• Joint Unsupervised Learning of Optical Flow and Egomotion with Bi-Level Optimization [59.9673626329892]
  エピポーラ幾何を用いた光学フローとカメラモーションのグローバルな関係を利用する。 我々は暗黙の微分を用いて、その実装とは無関係に低レベルの幾何最適化層を通してバックプロパゲーションを可能にする。
  論文  参考訳（メタデータ） (2020-02-26T22:28:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。