論文の概要: YOIO: You Only Iterate Once by mining and fusing multiple necessary global information in the optical flow estimation

• arxiv url: http://arxiv.org/abs/2401.05879v1
• Date: Thu, 11 Jan 2024 12:37:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-12 15:04:46.454704
• Title: YOIO: You Only Iterate Once by mining and fusing multiple necessary global information in the optical flow estimation
• Title（参考訳）: YOIO: オプティカルフロー推定において,複数の必要なグローバル情報をマイニングし,融合することによって,一度だけ反復する
• Authors: Yu Jing, Tan Yujuan, Ren Ao, Liu Duo
• Abstract要約: オークルージョンは、グローバルな証拠に依存する光学フローアルゴリズムに重大な課題をもたらす。 本稿では,初期フロー推定器,複数グローバル情報抽出器,統一改良モジュールの3つの主要コンポーネントからなるYOIOフレームワークを提案する。 閉鎖領域における光学的フロー推定は,非閉塞領域における性能を損なうことなく,1回の反復で大幅に改善できることを実証した。
• 参考スコア（独自算出の注目度）: 0.9012198585960443
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Occlusions pose a significant challenge to optical flow algorithms that even rely on global evidences. We consider an occluded point to be one that is imaged in the reference frame but not in the next. Estimating the motion of these points is extremely difficult, particularly in the two-frame setting. Previous work only used the current frame as the only input, which could not guarantee providing correct global reference information for occluded points, and had problems such as long calculation time and poor accuracy in predicting optical flow at occluded points. To enable both high accuracy and efficiency, We fully mine and utilize the spatiotemporal information provided by the frame pair, design a loopback judgment algorithm to ensure that correct global reference information is obtained, mine multiple necessary global information, and design an efficient refinement module that fuses these global information. Specifically, we propose a YOIO framework, which consists of three main components: an initial flow estimator, a multiple global information extraction module, and a unified refinement module. We demonstrate that optical flow estimates in the occluded regions can be significantly improved in only one iteration without damaging the performance in non-occluded regions. Compared with GMA, the optical flow prediction accuracy of this method in the occluded area is improved by more than 10%, and the occ_out area exceeds 15%, while the calculation time is 27% shorter. This approach, running up to 18.9fps with 436*1024 image resolution, obtains new state-of-the-art results on the challenging Sintel dataset among all published and unpublished approaches that can run in real-time, suggesting a new paradigm for accurate and efficient optical flow estimation.
• Abstract（参考訳）: オークルージョンは、グローバルな証拠に依存する光学フローアルゴリズムに重大な課題をもたらす。 occluded point は参照フレームで撮影されるが、次のフレームでは撮影されない点であると考える。 これらの点の運動を推定するのは、特に2フレームの設定において非常に難しい。 以前の研究では、現在のフレームのみを入力として使用しており、オクルード点に対する正確なグローバル参照情報の提供を保証できず、オクルード点における光流の予測における長い計算時間や精度の低下といった問題があった。 高い精度と効率を両立させるために,フレームペアが提供する時空間情報を完全にマイニングし,ループバック判定アルゴリズムを設計し,適切なグローバル参照情報を得るようにし,必要なグローバル情報を複数マイニングし,これらのグローバル情報を融合する効率的なリファインメントモジュールを設計する。 具体的には,初期フロー推定器,複数グローバル情報抽出モジュール,統一改良モジュールの3つの主要コンポーネントからなるYOIOフレームワークを提案する。 閉鎖領域における光学的フロー推定は,非閉塞領域における性能を損なうことなく,1回の反復で大幅に改善できることを実証した。 GMAと比較して、閉塞領域におけるこの手法の光流量予測精度は10%以上向上し、occ_out領域は15%以上であり、計算時間は27%短い。 このアプローチは、最大18.9fpsの436*1024画像解像度で動作し、リアルタイムに実行できる公開および未公開のすべてのアプローチの中で、挑戦的なsintelデータセットに関する最新の結果を得る。

関連論文リスト

• SciFlow: Empowering Lightweight Optical Flow Models with Self-Cleaning Iterations [44.92134227376008]
  本稿では,SCI(Self-Cleaning Iteration)とRFL(Regression Focal Loss)の2つの相乗的手法を紹介する。 SCIとRFLは、反復洗練された光学流モデルにおいて、特に誤差伝播の緩和に有効である。 今回提案したSCIおよびRFL技術の有効性は,2つの異なる光フローモデルアーキテクチャで実証された。
  論文  参考訳（メタデータ） (2024-04-11T21:41:55Z)
• NeuFlow: Real-time, High-accuracy Optical Flow Estimation on Robots Using Edge Devices [6.470511497023878]
  リアルタイムの高精度光フロー推定は,様々な応用において重要な要素である。 我々は,高精度かつ計算コストの懸念に対処する,高速な光フローアーキテクチャであるNeuFlowを提案する。 当社のアプローチはエッジコンピューティングプラットフォーム上で約30FPSを実現しており、複雑なコンピュータビジョンタスクのデプロイにおいて大きなブレークスルーをもたらしている。
  論文  参考訳（メタデータ） (2024-03-15T15:58:51Z)
• GAFlow: Incorporating Gaussian Attention into Optical Flow [62.646389181507764]
  我々はガウス的注意(GA)を光学フローモデルに押し込み、表現学習中に局所特性をアクセントする。 本稿では,既存の Transformer ブロックに簡単に接続可能な新しい Gaussian-Constrained Layer (GCL) を提案する。 動作解析のための新しいガウス誘導注意モジュール(GGAM)を提供する。
  論文  参考訳（メタデータ） (2023-09-28T07:46:01Z)
• Globally Optimal Event-Based Divergence Estimation for Ventral Landing [55.29096494880328]
  イベントセンシングはバイオインスパイアされた飛行誘導と制御システムの主要なコンポーネントである。 本研究では, イベントカメラを用いた腹側着陸時の表面との接触時間予測について検討する。 これは、着陸時に発生する事象の流れから放射光の流れの速度である発散(逆TTC)を推定することで達成される。 我々のコアコントリビューションは、イベントベースの発散推定のための新しいコントラスト最大化定式化と、コントラストを正確に最大化し、最適な発散値を求めるブランチ・アンド・バウンドアルゴリズムである。
  論文  参考訳（メタデータ） (2022-09-27T06:00:52Z)
• GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
  光フロー推定学習のためのGMFlowフレームワークを提案する。 機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。 我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
  論文  参考訳（メタデータ） (2021-11-26T18:59:56Z)
• Dense Optical Flow from Event Cameras [55.79329250951028]
  本稿では,イベントカメラからの高密度光フロー推定に特徴相関と逐次処理を導入することを提案する。 提案手法は、高密度光流を計算し、MVSEC上での終点誤差を23%削減する。
  論文  参考訳（メタデータ） (2021-08-24T07:39:08Z)
• Learning to Estimate Hidden Motions with Global Motion Aggregation [71.12650817490318]
  閉塞は、局所的な証拠に依存する光学フローアルゴリズムに重大な課題をもたらす。 最初の画像でピクセル間の長距離依存性を見つけるために,グローバルモーションアグリゲーションモジュールを導入する。 遮蔽領域における光流量推定が非遮蔽領域における性能を損なうことなく大幅に改善できることを実証した。
  論文  参考訳（メタデータ） (2021-04-06T10:32:03Z)
• FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
  ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。 現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。 提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
  論文  参考訳（メタデータ） (2021-03-08T03:09:37Z)
• Unsupervised Motion Representation Enhanced Network for Action Recognition [4.42249337449125]
  連続するフレーム間の動きの表現は、ビデオの理解を大いに促進することが証明されている。 効果的な光フロー解決器であるTV-L1法は、抽出した光フローをキャッシュするために時間と費用がかかる。 UF-TSN(UF-TSN)は、軽量な非監視光フロー推定器を組み込んだ、エンドツーエンドのアクション認識手法です。
  論文  参考訳（メタデータ） (2021-03-05T04:14:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。