論文の概要: Rethink Predicting the Optical Flow with the Kinetics Perspective
- arxiv url: http://arxiv.org/abs/2405.12512v1
- Date: Tue, 21 May 2024 05:47:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-22 14:18:37.209330
- Title: Rethink Predicting the Optical Flow with the Kinetics Perspective
- Title(参考訳): 動力学的視点による光流予測の再考
- Authors: Yuhao Cheng, Siru Zhang, Yiqiang Yan,
- Abstract要約: 光フロー推定は、低レベルコンピュータビジョンにおける基本的なタスクの1つである。
見かけ上は、連続したフレーム内の画素間の相関として光学フローを見ることができる。
本稿では,このモチベーションから明らかな情報と運動学情報を組み合わせる手法を提案する。
- 参考スコア(独自算出の注目度): 1.7901503554839604
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Optical flow estimation is one of the fundamental tasks in low-level computer vision, which describes the pixel-wise displacement and can be used in many other tasks. From the apparent aspect, the optical flow can be viewed as the correlation between the pixels in consecutive frames, so continuously refining the correlation volume can achieve an outstanding performance. However, it will make the method have a catastrophic computational complexity. Not only that, the error caused by the occlusion regions of the successive frames will be amplified through the inaccurate warp operation. These challenges can not be solved only from the apparent view, so this paper rethinks the optical flow estimation from the kinetics viewpoint.We propose a method combining the apparent and kinetics information from this motivation. The proposed method directly predicts the optical flow from the feature extracted from images instead of building the correlation volume, which will improve the efficiency of the whole network. Meanwhile, the proposed method involves a new differentiable warp operation that simultaneously considers the warping and occlusion. Moreover, the proposed method blends the kinetics feature with the apparent feature through the novel self-supervised loss function. Furthermore, comprehensive experiments and ablation studies prove that the proposed novel insight into how to predict the optical flow can achieve the better performance of the state-of-the-art methods, and in some metrics, the proposed method outperforms the correlation-based method, especially in situations containing occlusion and fast moving. The code will be public.
- Abstract(参考訳): 光フロー推定は、低レベルのコンピュータビジョンにおける基本的なタスクの1つであり、ピクセル単位での変位を記述し、他の多くのタスクで使用することができる。
見かけ上は、連続するフレーム内の画素間の相関として光学流を見ることができるので、連続的に相関体積を精製することで、優れた性能が得られる。
しかし、この方法では破滅的な計算が複雑になる。
それだけでなく、連続するフレームの閉塞領域に起因する誤差は、不正確なワープ操作によって増幅される。
これらの課題は, 明らかな視点からのみ解決できないため, 本論文では, 運動学的な観点からの光学的フロー推定を再考し, このモチベーションからの見かけと運動学的な情報を組み合わせた手法を提案する。
提案手法は, 相関ボリュームを構築する代わりに, 画像から抽出した特徴量から直接光フローを予測し, ネットワーク全体の効率を向上する。
一方,本提案手法では,ワープとオクルージョンを同時に考慮した新たなワープ操作を行う。
さらに,本手法は,新たな自己教師付き損失関数により,運動学特徴と明らかな特徴とをブレンドする。
さらに, 包括的実験およびアブレーション研究により, 光流の予測方法に関する新たな知見が, 最先端手法の優れた性能を達成できることが証明され, 提案手法は, 特に閉塞や高速移動を含む状況において, 相関に基づく手法よりも優れていることが示唆された。
コードは公開されます。
関連論文リスト
- FlowDepth: Decoupling Optical Flow for Self-Supervised Monocular Depth Estimation [8.78717459496649]
本稿では,ダイナミックモーションフローモジュール (DMFM) が機構ベースのアプローチで光学フローを分離し,動的領域をワープし,ミスマッチ問題を解くフローDepthを提案する。
高フレック領域と低テクスチャ領域による光度誤差の不公平性については,入力と損失レベルでそれぞれDepth-Cue-Aware Blur(DCABlur)とCost-Volumeの空間損失を用いて解決する。
論文 参考訳(メタデータ) (2024-03-28T10:31:23Z) - Efficient Diffusion Model for Image Restoration by Residual Shifting [63.02725947015132]
本研究では,画像復元のための新しい,効率的な拡散モデルを提案する。
提案手法は,推論中の後処理の高速化を回避し,関連する性能劣化を回避する。
提案手法は,3つの古典的IRタスクにおける現在の最先端手法よりも優れた,あるいは同等の性能を実現する。
論文 参考訳(メタデータ) (2024-03-12T05:06:07Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳(メタデータ) (2023-06-10T08:25:16Z) - Taming Contrast Maximization for Learning Sequential, Low-latency,
Event-based Optical Flow [18.335337530059867]
イベントカメラは、複雑なコンピュータビジョン問題に対する低レイテンシで低消費電力のソリューションのための新しい道を開くことで、大きな注目を集めている。
これらのソリューションをアンロックするには、イベントデータのユニークな性質を活用するアルゴリズムを開発する必要がある。
本研究では,イベントベース光フロー推定のための自己教師付き学習パイプラインを提案する。
論文 参考訳(メタデータ) (2023-03-09T12:37:33Z) - Dense Optical Flow from Event Cameras [55.79329250951028]
本稿では,イベントカメラからの高密度光フロー推定に特徴相関と逐次処理を導入することを提案する。
提案手法は、高密度光流を計算し、MVSEC上での終点誤差を23%削減する。
論文 参考訳(メタデータ) (2021-08-24T07:39:08Z) - PCA Event-Based Otical Flow for Visual Odometry [0.0]
本稿では,イベントベース光流量推定問題に対する主成分分析手法を提案する。
提案手法の最良の変種は,ビジュアルオドメトリーのリアルタイムコンテキストを対象とし,最先端実装と比較して約2倍高速であることを示す。
論文 参考訳(メタデータ) (2021-05-08T18:30:44Z) - Unsupervised Motion Representation Enhanced Network for Action
Recognition [4.42249337449125]
連続するフレーム間の動きの表現は、ビデオの理解を大いに促進することが証明されている。
効果的な光フロー解決器であるTV-L1法は、抽出した光フローをキャッシュするために時間と費用がかかる。
UF-TSN(UF-TSN)は、軽量な非監視光フロー推定器を組み込んだ、エンドツーエンドのアクション認識手法です。
論文 参考訳(メタデータ) (2021-03-05T04:14:32Z) - Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。
本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
論文 参考訳(メタデータ) (2021-03-04T12:45:18Z) - What Matters in Unsupervised Optical Flow [51.45112526506455]
教師なし光流における鍵成分の集合を比較し解析する。
教師なしフローモデルに対する新しい改良点を多数構築する。
本稿では,従来の最先端技術よりもはるかに優れた非教師なしフロー技術を提案する。
論文 参考訳(メタデータ) (2020-06-08T19:36:26Z) - Joint Unsupervised Learning of Optical Flow and Egomotion with Bi-Level
Optimization [59.9673626329892]
エピポーラ幾何を用いた光学フローとカメラモーションのグローバルな関係を利用する。
我々は暗黙の微分を用いて、その実装とは無関係に低レベルの幾何最適化層を通してバックプロパゲーションを可能にする。
論文 参考訳(メタデータ) (2020-02-26T22:28:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。