論文の概要: Benchmarking the Robustness of Optical Flow Estimation to Corruptions
- arxiv url: http://arxiv.org/abs/2411.14865v1
- Date: Fri, 22 Nov 2024 11:31:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-25 15:02:35.981851
- Title: Benchmarking the Robustness of Optical Flow Estimation to Corruptions
- Title（参考訳）: 破壊に対する光学的流れ推定のロバストさのベンチマーク
- Authors: Zhonghua Yi, Hao Shi, Qi Jiang, Yao Gao, Ze Wang, Yufan Zhang, Kailun Yang, Kaiwei Wang,
- Abstract要約: 光フローモデルのベンチマークに特化して設計された7つの時間的破損について紹介する。
2つのロバスト性ベンチマーク、KITTI-FCとGoPro-FCが、光学フロー推定のための最初の汚職性ベンチマークとして確立されている。
15個の光学流法から29種類のモデルが評価され、10個の興味深い観測結果が得られた。
- 参考スコア（独自算出の注目度）: 25.789811424859554
- License:
- Abstract: Optical flow estimation is extensively used in autonomous driving and video editing. While existing models demonstrate state-of-the-art performance across various benchmarks, the robustness of these methods has been infrequently investigated. Despite some research focusing on the robustness of optical flow models against adversarial attacks, there has been a lack of studies investigating their robustness to common corruptions. Taking into account the unique temporal characteristics of optical flow, we introduce 7 temporal corruptions specifically designed for benchmarking the robustness of optical flow models, in addition to 17 classical single-image corruptions, in which advanced PSF Blur simulation method is performed. Two robustness benchmarks, KITTI-FC and GoPro-FC, are subsequently established as the first corruption robustness benchmark for optical flow estimation, with Out-Of-Domain (OOD) and In-Domain (ID) settings to facilitate comprehensive studies. Robustness metrics, Corruption Robustness Error (CRE), Corruption Robustness Error ratio (CREr), and Relative Corruption Robustness Error (RCRE) are further introduced to quantify the optical flow estimation robustness. 29 model variants from 15 optical flow methods are evaluated, yielding 10 intriguing observations, such as 1) the absolute robustness of the model is heavily dependent on the estimation performance; 2) the corruptions that diminish local information are more serious than that reduce visual effects. We also give suggestions for the design and application of optical flow models. We anticipate that our benchmark will serve as a foundational resource for advancing research in robust optical flow estimation. The benchmarks and source code will be released at https://github.com/ZhonghuaYi/optical_flow_robustness_benchmark.
- Abstract（参考訳）: 光フロー推定は、自律運転やビデオ編集に広く用いられている。
既存のモデルは様々なベンチマークで最先端性能を示すが、これらの手法のロバスト性はまれに研究されている。
敵対的攻撃に対する光学フローモデルの堅牢性に着目した研究はいくつかあるが、一般的な腐敗に対するその堅牢性を研究する研究は乏しい。
光フローの特異な時間的特性を考慮し,光学フローモデルのロバスト性を評価するために設計された7つの時間的汚職と,先進的なPSFブラーシミュレーションを行う17の古典的な単一イメージの汚損を紹介する。
その後、2つのロバストネスベンチマーク、KITTI-FCとGoPro-FCが光学フロー推定のための最初の汚いロバストネスベンチマークとして確立され、OF-Domain (OOD) とIn-Domain (ID) が包括的な研究を容易にする。
さらに、光流推定ロバストネスを定量化するために、ロバストネス指標、破壊ロバストネス誤差(CRE)、破壊ロバストネス誤差(CRE)、および相対破壊ロバストネス誤差(RCRE)を導入している。
15個の光流法から29種類のモデルが評価され、10個の興味深い観測結果が得られた。
1) モデルの絶対ロバスト性は,推定性能に大きく依存する。
2)局地情報を低下させる汚職は、視覚効果を低下させるよりも深刻である。
また,光学フローモデルの設計と応用についても提案する。
我々は,我々のベンチマークが,ロバストな光フロー推定研究の基盤となることを期待する。
ベンチマークとソースコードはhttps://github.com/ZhonghuaYi/optical_flow_robustness_benchmarkで公開される。
関連論文リスト
- Efficient Diffusion as Low Light Enhancer [63.789138528062225]
RATR(Reflectance-Aware Trajectory Refinement)は、イメージの反射成分を用いて教師の軌跡を洗練するための、シンプルで効果的なモジュールである。
textbfReDDiT (textbfDistilled textbfTrajectory) は低照度画像強調(LLIE)に適した効率的で柔軟な蒸留フレームワークである。
論文 参考訳（メタデータ） (2024-10-16T08:07:18Z) - SciFlow: Empowering Lightweight Optical Flow Models with Self-Cleaning Iterations [44.92134227376008]
本稿では,SCI(Self-Cleaning Iteration)とRFL(Regression Focal Loss)の2つの相乗的手法を紹介する。
SCIとRFLは、反復洗練された光学流モデルにおいて、特に誤差伝播の緩和に有効である。
今回提案したSCIおよびRFL技術の有効性は,2つの異なる光フローモデルアーキテクチャで実証された。
論文 参考訳（メタデータ） (2024-04-11T21:41:55Z) - Benchmarking the Robustness of Temporal Action Detection Models Against Temporal Corruptions [21.031546310537692]
時間的行動検出(TAD)は、アクションの位置を特定し、長期的な未トリミングビデオでアクションカテゴリを認識することを目的としている。
ビデオ内の時間情報は、フレームの欠落やぼやけなど、時々破損する可能性がある。
本稿では,7種類のTAD手法のロバスト性を網羅的に分析し,いくつかの興味深い知見を得た。
論文 参考訳（メタデータ） (2024-03-29T16:01:00Z) - OCAI: Improving Optical Flow Estimation by Occlusion and Consistency Aware Interpolation [55.676358801492114]
本稿では,中間映像フレームと光フローを同時に生成することで,フレームのあいまいさを頑健に支援するOCAIを提案する。
我々は,Sintel や KITTI などの既存のベンチマークにおいて,優れた品質と光フロー精度を実証した。
論文 参考訳（メタデータ） (2024-03-26T20:23:48Z) - DepthFM: Fast Monocular Depth Estimation with Flow Matching [22.206355073676082]
この問題に対する現在の差別的アプローチは、ぼやけた人工物のために限られている。
最先端の生成法は、SDEの性質上、サンプリングが遅い。
解空間を通した直線軌道は効率と高品質を提供するので,フローマッチングを用いて効果的にフレーム化することができる。
論文 参考訳（メタデータ） (2024-03-20T17:51:53Z) - Benchmarking the Robustness of Spatial-Temporal Models Against
Corruptions [32.821121530785504]
我々は、画像の空間的腐敗を超えた時間的腐敗を考慮した、汚職堅牢性ベンチマーク、Mini Kinetics-CとMini SSV2-Cを確立する。
我々は、確立されたCNNベースおよびトランスフォーマーベースの時空間時間モデルにおける破壊堅牢性に関する徹底的な研究を行うための最初の試みを行う。
論文 参考訳（メタデータ） (2021-10-13T05:59:39Z) - Sensor-Guided Optical Flow [53.295332513139925]
本稿では、未知の領域や未知の領域において、より優れた精度を実現するために、外部キューを用いた光フローネットワークを誘導するフレームワークを提案する。
能動センサからの深度測定と幾何および手作り光学フローアルゴリズムを組み合わせることで,これらがどのように得られるかを示す。
論文 参考訳（メタデータ） (2021-09-30T17:59:57Z) - Dense Optical Flow from Event Cameras [55.79329250951028]
本稿では,イベントカメラからの高密度光フロー推定に特徴相関と逐次処理を導入することを提案する。
提案手法は、高密度光流を計算し、MVSEC上での終点誤差を23%削減する。
論文 参考訳（メタデータ） (2021-08-24T07:39:08Z) - PCA Event-Based Otical Flow for Visual Odometry [0.0]
本稿では,イベントベース光流量推定問題に対する主成分分析手法を提案する。
提案手法の最良の変種は,ビジュアルオドメトリーのリアルタイムコンテキストを対象とし,最先端実装と比較して約2倍高速であることを示す。
論文 参考訳（メタデータ） (2021-05-08T18:30:44Z) - Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。
本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
論文 参考訳（メタデータ） (2021-03-04T12:45:18Z) - What Matters in Unsupervised Optical Flow [51.45112526506455]
教師なし光流における鍵成分の集合を比較し解析する。
教師なしフローモデルに対する新しい改良点を多数構築する。
本稿では,従来の最先端技術よりもはるかに優れた非教師なしフロー技術を提案する。
論文 参考訳（メタデータ） (2020-06-08T19:36:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。