論文の概要: SciFlow: Empowering Lightweight Optical Flow Models with Self-Cleaning Iterations

• arxiv url: http://arxiv.org/abs/2404.08135v1
• Date: Thu, 11 Apr 2024 21:41:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 16:24:45.369184
• Title: SciFlow: Empowering Lightweight Optical Flow Models with Self-Cleaning Iterations
• Title（参考訳）: SciFlow: 自己クリーニングを繰り返した軽量光フローモデル
• Authors: Jamie Menjay Lin, Jisoo Jeong, Hong Cai, Risheek Garrepalli, Kai Wang, Fatih Porikli,
• Abstract要約: 本稿では,SCI(Self-Cleaning Iteration)とRFL(Regression Focal Loss)の2つの相乗的手法を紹介する。 SCIとRFLは、反復洗練された光学流モデルにおいて、特に誤差伝播の緩和に有効である。 今回提案したSCIおよびRFL技術の有効性は,2つの異なる光フローモデルアーキテクチャで実証された。
• 参考スコア（独自算出の注目度）: 44.92134227376008
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Optical flow estimation is crucial to a variety of vision tasks. Despite substantial recent advancements, achieving real-time on-device optical flow estimation remains a complex challenge. First, an optical flow model must be sufficiently lightweight to meet computation and memory constraints to ensure real-time performance on devices. Second, the necessity for real-time on-device operation imposes constraints that weaken the model's capacity to adequately handle ambiguities in flow estimation, thereby intensifying the difficulty of preserving flow accuracy. This paper introduces two synergistic techniques, Self-Cleaning Iteration (SCI) and Regression Focal Loss (RFL), designed to enhance the capabilities of optical flow models, with a focus on addressing optical flow regression ambiguities. These techniques prove particularly effective in mitigating error propagation, a prevalent issue in optical flow models that employ iterative refinement. Notably, these techniques add negligible to zero overhead in model parameters and inference latency, thereby preserving real-time on-device efficiency. The effectiveness of our proposed SCI and RFL techniques, collectively referred to as SciFlow for brevity, is demonstrated across two distinct lightweight optical flow model architectures in our experiments. Remarkably, SciFlow enables substantial reduction in error metrics (EPE and Fl-all) over the baseline models by up to 6.3% and 10.5% for in-domain scenarios and by up to 6.2% and 13.5% for cross-domain scenarios on the Sintel and KITTI 2015 datasets, respectively.
• Abstract（参考訳）: 光フロー推定は様々な視覚タスクに不可欠である。 近年の進歩にもかかわらず、リアルタイムのオンデバイス光フロー推定を実現することは複雑な課題である。 第一に、光学フローモデルは、デバイス上でのリアルタイムパフォーマンスを保証するために、計算とメモリの制約を満たすのに十分軽量でなければならない。 第二に、リアルタイムオンデバイス操作の必要性は、フロー推定におけるあいまいさを適切に扱うためにモデルの能力を弱める制約を課し、フロー精度の保存が困難になる。 本稿では,光フローモデルの性能向上を目的として,SCI(Self-Cleaning Iteration)とRFL(Regression Focal Loss)の2つの相乗的手法を紹介する。 これらの手法は、反復洗練された光学流モデルにおいて、誤差伝播の緩和に特に有効であることが証明されている。 特に、これらのテクニックはモデルパラメータと推論遅延のオーバーヘッドをゼロにすることで、デバイス上でリアルタイムな効率を維持する。 今回提案したSCIおよびRFL技術の有効性は,2つの異なる光フローモデルアーキテクチャで実証された。 注目すべきなのは、SciFlowはベースラインモデル上のエラーメトリクス(EPEとFl-all)を、ドメイン内シナリオで最大6.3%と10.5%、SintelとKITTI 2015データセットで最大6.2%と13.5%削減できることだ。

関連論文リスト

• Efficient Diffusion as Low Light Enhancer [63.789138528062225]
  RATR(Reflectance-Aware Trajectory Refinement)は、イメージの反射成分を用いて教師の軌跡を洗練するための、シンプルで効果的なモジュールである。 textbfReDDiT (textbfDistilled textbfTrajectory) は低照度画像強調(LLIE)に適した効率的で柔軟な蒸留フレームワークである。
  論文  参考訳（メタデータ） (2024-10-16T08:07:18Z)
• Motion-prior Contrast Maximization for Dense Continuous-Time Motion Estimation [34.529280562470746]
  コントラスト最大化フレームワークと非直線運動を組み合わせた新たな自己監督的損失を画素レベルの軌跡の形で導入する。 連続時間運動の高密度推定では, 合成学習モデルのゼロショット性能を29%向上する。
  論文  参考訳（メタデータ） (2024-07-15T15:18:28Z)
• FlowDA: Unsupervised Domain Adaptive Framework for Optical Flow Estimation [6.122542233250026]
  本稿では、光学的フロー推定のための教師なし領域適応(UDA)フレームワークであるFlowDAを紹介する。 FlowDAは、最先端の教師なし光フロー推定法SMURFを21.6%、実光フローデータセット生成法MPI-Flowを27.8%、光フロー推定適応法FlowSupervisorを30.9%上回る。
  論文  参考訳（メタデータ） (2023-12-28T12:51:48Z)
• The Surprising Effectiveness of Diffusion Models for Optical Flow and Monocular Depth Estimation [42.48819460873482]
  拡散確率モデルは、その印象的な忠実さと多様性で画像生成を変換した。 また,タスク固有のアーキテクチャや損失関数を使わずに,光学的フローと単眼深度の推定に優れることを示す。
  論文  参考訳（メタデータ） (2023-06-02T21:26:20Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
  光フロー推定学習のためのGMFlowフレームワークを提案する。 機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。 我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
  論文  参考訳（メタデータ） (2021-11-26T18:59:56Z)
• FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
  ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。 現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。 提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
  論文  参考訳（メタデータ） (2021-03-08T03:09:37Z)
• Unsupervised Motion Representation Enhanced Network for Action Recognition [4.42249337449125]
  連続するフレーム間の動きの表現は、ビデオの理解を大いに促進することが証明されている。 効果的な光フロー解決器であるTV-L1法は、抽出した光フローをキャッシュするために時間と費用がかかる。 UF-TSN(UF-TSN)は、軽量な非監視光フロー推定器を組み込んだ、エンドツーエンドのアクション認識手法です。
  論文  参考訳（メタデータ） (2021-03-05T04:14:32Z)
• STaRFlow: A SpatioTemporal Recurrent Cell for Lightweight Multi-Frame Optical Flow Estimation [64.99259320624148]
  マルチフレーム光フロー推定のための軽量CNNアルゴリズムを提案する。 結果のSTaRFlowアルゴリズムは、MPI SintelとKitti2015で最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2020-07-10T17:01:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。