論文の概要: Rethink Predicting the Optical Flow with the Kinetics Perspective

• arxiv url: http://arxiv.org/abs/2405.12512v1
• Date: Tue, 21 May 2024 05:47:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-22 14:18:37.209330
• Title: Rethink Predicting the Optical Flow with the Kinetics Perspective
• Title（参考訳）: 動力学的視点による光流予測の再考
• Authors: Yuhao Cheng, Siru Zhang, Yiqiang Yan,
• Abstract要約: 光フロー推定は、低レベルコンピュータビジョンにおける基本的なタスクの1つである。 見かけ上は、連続したフレーム内の画素間の相関として光学フローを見ることができる。 本稿では,このモチベーションから明らかな情報と運動学情報を組み合わせる手法を提案する。
• 参考スコア（独自算出の注目度）: 1.7901503554839604
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optical flow estimation is one of the fundamental tasks in low-level computer vision, which describes the pixel-wise displacement and can be used in many other tasks. From the apparent aspect, the optical flow can be viewed as the correlation between the pixels in consecutive frames, so continuously refining the correlation volume can achieve an outstanding performance. However, it will make the method have a catastrophic computational complexity. Not only that, the error caused by the occlusion regions of the successive frames will be amplified through the inaccurate warp operation. These challenges can not be solved only from the apparent view, so this paper rethinks the optical flow estimation from the kinetics viewpoint.We propose a method combining the apparent and kinetics information from this motivation. The proposed method directly predicts the optical flow from the feature extracted from images instead of building the correlation volume, which will improve the efficiency of the whole network. Meanwhile, the proposed method involves a new differentiable warp operation that simultaneously considers the warping and occlusion. Moreover, the proposed method blends the kinetics feature with the apparent feature through the novel self-supervised loss function. Furthermore, comprehensive experiments and ablation studies prove that the proposed novel insight into how to predict the optical flow can achieve the better performance of the state-of-the-art methods, and in some metrics, the proposed method outperforms the correlation-based method, especially in situations containing occlusion and fast moving. The code will be public.
• Abstract（参考訳）: 光フロー推定は、低レベルのコンピュータビジョンにおける基本的なタスクの1つであり、ピクセル単位での変位を記述し、他の多くのタスクで使用することができる。 見かけ上は、連続するフレーム内の画素間の相関として光学流を見ることができるので、連続的に相関体積を精製することで、優れた性能が得られる。 しかし、この方法では破滅的な計算が複雑になる。 それだけでなく、連続するフレームの閉塞領域に起因する誤差は、不正確なワープ操作によって増幅される。 これらの課題は, 明らかな視点からのみ解決できないため, 本論文では, 運動学的な観点からの光学的フロー推定を再考し, このモチベーションからの見かけと運動学的な情報を組み合わせた手法を提案する。 提案手法は, 相関ボリュームを構築する代わりに, 画像から抽出した特徴量から直接光フローを予測し, ネットワーク全体の効率を向上する。 一方,本提案手法では,ワープとオクルージョンを同時に考慮した新たなワープ操作を行う。 さらに,本手法は,新たな自己教師付き損失関数により,運動学特徴と明らかな特徴とをブレンドする。 さらに, 包括的実験およびアブレーション研究により, 光流の予測方法に関する新たな知見が, 最先端手法の優れた性能を達成できることが証明され, 提案手法は, 特に閉塞や高速移動を含む状況において, 相関に基づく手法よりも優れていることが示唆された。 コードは公開されます。

関連論文リスト

• Oscillation Inversion: Understand the structure of Large Flow Model through the Lens of Inversion Method [60.88467353578118]
  実世界のイメージを逆転させる固定点インスパイアされた反復的アプローチは収束を達成せず、異なるクラスタ間で振動することを示す。 本稿では,画像強調,ストロークベースのリカラー化,および視覚的プロンプト誘導画像編集を容易にする,シンプルで高速な分布転送手法を提案する。
  論文  参考訳（メタデータ） (2024-11-17T17:45:37Z)
• Efficient Diffusion as Low Light Enhancer [63.789138528062225]
  RATR(Reflectance-Aware Trajectory Refinement)は、イメージの反射成分を用いて教師の軌跡を洗練するための、シンプルで効果的なモジュールである。 textbfReDDiT (textbfDistilled textbfTrajectory) は低照度画像強調(LLIE)に適した効率的で柔軟な蒸留フレームワークである。
  論文  参考訳（メタデータ） (2024-10-16T08:07:18Z)
• Robust Optical Flow Computation: A Higher-Order Differential Approach [0.0]
  本研究は,2次テイラー級数近似の高精度化を利用して,光フロー計算のための革新的なアルゴリズムを提案する。 KITTIやMiddleburyのような光学フローベンチマークのパフォーマンスによって、アルゴリズムの機能を示す印象的な例が現れる。
  論文  参考訳（メタデータ） (2024-10-12T15:20:11Z)
• Neural refractive index field: Unlocking the Potential of Background-oriented Schlieren Tomography in Volumetric Flow Visualization [6.748519362625069]
  本研究はニューラル屈折指数場(NeRIF)と呼ばれる革新的な再構成手法を提案する。 NeRIFはニューラルネットワークで流れの場を暗黙的に表現する。 乱流文泉火炎における数値シミュレーションと実験実験の両方により, 再現精度と空間分解能を大幅に向上させることができることが示唆された。
  論文  参考訳（メタデータ） (2024-09-23T05:40:50Z)
• Efficient Diffusion Model for Image Restoration by Residual Shifting [63.02725947015132]
  本研究では,画像復元のための新しい,効率的な拡散モデルを提案する。 提案手法は,推論中の後処理の高速化を回避し,関連する性能劣化を回避する。 提案手法は,3つの古典的IRタスクにおける現在の最先端手法よりも優れた,あるいは同等の性能を実現する。
  論文  参考訳（メタデータ） (2024-03-12T05:06:07Z)
• Dense Optical Flow from Event Cameras [55.79329250951028]
  本稿では,イベントカメラからの高密度光フロー推定に特徴相関と逐次処理を導入することを提案する。 提案手法は、高密度光流を計算し、MVSEC上での終点誤差を23%削減する。
  論文  参考訳（メタデータ） (2021-08-24T07:39:08Z)
• PCA Event-Based Otical Flow for Visual Odometry [0.0]
  本稿では,イベントベース光流量推定問題に対する主成分分析手法を提案する。 提案手法の最良の変種は,ビジュアルオドメトリーのリアルタイムコンテキストを対象とし,最先端実装と比較して約2倍高速であることを示す。
  論文  参考訳（メタデータ） (2021-05-08T18:30:44Z)
• Unsupervised Motion Representation Enhanced Network for Action Recognition [4.42249337449125]
  連続するフレーム間の動きの表現は、ビデオの理解を大いに促進することが証明されている。 効果的な光フロー解決器であるTV-L1法は、抽出した光フローをキャッシュするために時間と費用がかかる。 UF-TSN(UF-TSN)は、軽量な非監視光フロー推定器を組み込んだ、エンドツーエンドのアクション認識手法です。
  論文  参考訳（メタデータ） (2021-03-05T04:14:32Z)
• Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
  画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。 本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:45:18Z)
• Joint Unsupervised Learning of Optical Flow and Egomotion with Bi-Level Optimization [59.9673626329892]
  エピポーラ幾何を用いた光学フローとカメラモーションのグローバルな関係を利用する。 我々は暗黙の微分を用いて、その実装とは無関係に低レベルの幾何最適化層を通してバックプロパゲーションを可能にする。
  論文  参考訳（メタデータ） (2020-02-26T22:28:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。