論文の概要: EV-MGRFlowNet: Motion-Guided Recurrent Network for Unsupervised
Event-based Optical Flow with Hybrid Motion-Compensation Loss
- arxiv url: http://arxiv.org/abs/2305.07853v1
- Date: Sat, 13 May 2023 07:08:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-16 19:18:27.374252
- Title: EV-MGRFlowNet: Motion-Guided Recurrent Network for Unsupervised
Event-based Optical Flow with Hybrid Motion-Compensation Loss
- Title(参考訳): EV-MGRFlowNet:ハイブリッド運動補償損失を有する教師なしイベントベース光流の動作誘導リカレントネットワーク
- Authors: Hao Zhuang, Xinjie Huang, Kuanxu Hou, Delei Kong, Chenming Hu, Zheng
Fang
- Abstract要約: イベントカメラは、高時間分解能や高ダイナミックレンジなどの有望な特性を提供する。
現在、既存のイベントベースのほとんどの作品では、光学フローを推定するためにディープラーニングを使用している。
本稿では,教師なしイベントベース光フロー推定パイプラインであるEV-MGRFlowNetを提案する。
- 参考スコア(独自算出の注目度): 4.266841662194981
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Event cameras offer promising properties, such as high temporal resolution
and high dynamic range. These benefits have been utilized into many machine
vision tasks, especially optical flow estimation. Currently, most existing
event-based works use deep learning to estimate optical flow. However, their
networks have not fully exploited prior hidden states and motion flows.
Additionally, their supervision strategy has not fully leveraged the geometric
constraints of event data to unlock the potential of networks. In this paper,
we propose EV-MGRFlowNet, an unsupervised event-based optical flow estimation
pipeline with motion-guided recurrent networks using a hybrid
motion-compensation loss. First, we propose a feature-enhanced recurrent
encoder network (FERE-Net) which fully utilizes prior hidden states to obtain
multi-level motion features. Then, we propose a flow-guided decoder network
(FGD-Net) to integrate prior motion flows. Finally, we design a hybrid
motion-compensation loss (HMC-Loss) to strengthen geometric constraints for the
more accurate alignment of events. Experimental results show that our method
outperforms the current state-of-the-art (SOTA) method on the MVSEC dataset,
with an average reduction of approximately 22.71% in average endpoint error
(AEE). To our knowledge, our method ranks first among unsupervised
learning-based methods.
- Abstract(参考訳): イベントカメラは、高時間分解能や高ダイナミックレンジなどの有望な特性を提供する。
これらの利点は多くの機械ビジョンタスク、特に光学フロー推定に利用されてきた。
現在、ほとんどのイベントベースの作品は、ディープラーニングを使って光の流れを推定している。
しかし、それらのネットワークは以前の隠れ状態や動きの流れを完全に活用していない。
さらに、彼らの監視戦略は、ネットワークの可能性を解き放つためにイベントデータの幾何学的制約を十分に活用していない。
本稿では,ハイブリッド動作補償損失を用いた動作誘導型リカレントネットワークを備えた,教師なしイベントベース光フロー推定パイプラインEV-MGRFlowNetを提案する。
まず,従来の隠れ状態を完全に活用してマルチレベル動作特性を得る機能強化型リカレントエンコーダネットワーク(FERE-Net)を提案する。
そこで我々は,フロー誘導型デコーダネットワーク(FGD-Net)を提案する。
最後に,より正確なイベントアライメントのための幾何学的制約を強化するために,ハイブリッドモーション補償損失(hmc-loss)を設計する。
実験結果から,本手法はmvsecデータセットのsof(state-of-the-art, sota)法を上回っており,平均エンドポイント誤差(aee)は22.71%であった。
我々の知る限り,本手法は教師なし学習手法の1つである。
関連論文リスト
- Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳(メタデータ) (2023-09-12T13:03:47Z) - EM-driven unsupervised learning for efficient motion segmentation [3.5232234532568376]
本稿では,光学的流れからの動作分割のためのCNNに基づく完全教師なし手法を提案する。
本研究では,移動分割ニューラルネットワークの損失関数とトレーニング手順を活用するために,期待最大化(EM)フレームワークを利用する。
提案手法は, 教師なし手法よりも優れ, 効率的である。
論文 参考訳(メタデータ) (2022-01-06T14:35:45Z) - FAMINet: Learning Real-time Semi-supervised Video Object Segmentation
with Steepest Optimized Optical Flow [21.45623125216448]
半教師付きビデオオブジェクトセグメンテーション(VOS)は、ビデオシーケンス内のいくつかの動くオブジェクトをセグメント化することを目的としており、これらのオブジェクトは第一フレームのアノテーションによって指定される。
光の流れは、セグメンテーションの精度を向上させるために、多くの既存の半教師付きVOS法で考慮されてきた。
本稿では,特徴抽出ネットワーク(F),外観ネットワーク(A),運動ネットワーク(M),統合ネットワーク(I)からなるFAMINetを提案する。
論文 参考訳(メタデータ) (2021-11-20T07:24:33Z) - MotionHint: Self-Supervised Monocular Visual Odometry with Motion
Constraints [70.76761166614511]
モノクローナルビジュアル・オドメトリー(VO)のための新しい自己教師型アルゴリズムMotionHintを提案する。
我々のMotionHintアルゴリズムは、既存のオープンソースSSM-VOシステムに容易に適用できる。
論文 参考訳(メタデータ) (2021-09-14T15:35:08Z) - Energy-Efficient Model Compression and Splitting for Collaborative
Inference Over Time-Varying Channels [52.60092598312894]
本稿では,エッジノードとリモートノード間のモデル圧縮と時間変化モデル分割を利用して,エッジデバイスにおける総エネルギーコストを削減する手法を提案する。
提案手法は, 検討されたベースラインと比較して, エネルギー消費が最小限であり, 排出コストが$CO$となる。
論文 参考訳(メタデータ) (2021-06-02T07:36:27Z) - FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。
現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。
提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
論文 参考訳(メタデータ) (2021-03-08T03:09:37Z) - Characterizing signal propagation to close the performance gap in
unnormalized ResNets [22.638397557336663]
バッチ正規化は、バッチ内のトレーニング例間の独立性を破り、計算とメモリオーバーヘッドを発生させ、しばしば予期せぬバグを引き起こす。
我々は,フォワードパス上での信号伝搬を特徴付ける簡易な解析ツールセットを提案し,これらのツールを用いて活性化正規化層を必要とせず,高パフォーマンスのresnetを設計する。
私たちの成功に重大なのは、最近提案された重量標準化の適応版です。
解析ツールは、チャネルごとのアクティベーション手段が深さとともに成長しないようにすることで、ReLUやSwishのアクティベーション機能付きネットワークにおける信号の保存方法を示す。
論文 参考訳(メタデータ) (2021-01-21T16:07:06Z) - Feature Flow: In-network Feature Flow Estimation for Video Object
Detection [56.80974623192569]
光の流れはコンピュータビジョンのタスクで広く使われ、ピクセルレベルのモーション情報を提供する。
一般的なアプローチは、ニューラルネットワークへの前向き光学フローと、タスクデータセット上のこのネットワークの微調整である。
ビデオオブジェクト検出のための textbfIn-network textbfFeature textbfFlow 推定モジュールを用いた新しいネットワーク (IFF-Net) を提案する。
論文 参考訳(メタデータ) (2020-09-21T07:55:50Z) - Implicit Euler ODE Networks for Single-Image Dehazing [33.34490764631837]
単一画像デハージング問題に対して,効率的なマルチレベル暗黙ネットワーク(MI-Net)を提案する。
提案手法は既存の手法より優れ,最先端の性能を実現する。
論文 参考訳(メタデータ) (2020-07-13T15:27:33Z) - Cascade Network with Guided Loss and Hybrid Attention for Two-view
Geometry [32.52184271700281]
本稿では,損失とFn値の直接負の相関関係を確立するためのガイド付き損失を提案する。
次に,特徴抽出のためのハイブリットアテンションブロックを提案する。
実験により,我々のネットワークは,ベンチマークデータセットの最先端性能を達成することが示された。
論文 参考訳(メタデータ) (2020-07-11T07:44:04Z) - What Matters in Unsupervised Optical Flow [51.45112526506455]
教師なし光流における鍵成分の集合を比較し解析する。
教師なしフローモデルに対する新しい改良点を多数構築する。
本稿では,従来の最先端技術よりもはるかに優れた非教師なしフロー技術を提案する。
論文 参考訳(メタデータ) (2020-06-08T19:36:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。