論文の概要: Context-Aware Iteration Policy Network for Efficient Optical Flow Estimation

• arxiv url: http://arxiv.org/abs/2312.07180v4
• Date: Fri, 5 Jan 2024 11:10:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-08 17:41:24.773012
• Title: Context-Aware Iteration Policy Network for Efficient Optical Flow Estimation
• Title（参考訳）: 効率的なオプティカルフロー推定のためのコンテキストアウェア・イテレーション・ポリシーネットワーク
• Authors: Ri Cheng, Ruian He, Xuhao Jiang, Shili Zhou, Weimin Tan, Bo Yan
• Abstract要約: 我々は,効率的な光フロー推定のためのコンテキスト認識反復ポリシーネットワークを開発した。 Sintel/KITTIデータセットのFLOPを約40%/20%削減しながら性能を維持できる。
• 参考スコア（独自算出の注目度）: 19.077966606237897
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing recurrent optical flow estimation networks are computationally expensive since they use a fixed large number of iterations to update the flow field for each sample. An efficient network should skip iterations when the flow improvement is limited. In this paper, we develop a Context-Aware Iteration Policy Network for efficient optical flow estimation, which determines the optimal number of iterations per sample. The policy network achieves this by learning contextual information to realize whether flow improvement is bottlenecked or minimal. On the one hand, we use iteration embedding and historical hidden cell, which include previous iterations information, to convey how flow has changed from previous iterations. On the other hand, we use the incremental loss to make the policy network implicitly perceive the magnitude of optical flow improvement in the subsequent iteration. Furthermore, the computational complexity in our dynamic network is controllable, allowing us to satisfy various resource preferences with a single trained model. Our policy network can be easily integrated into state-of-the-art optical flow networks. Extensive experiments show that our method maintains performance while reducing FLOPs by about 40%/20% for the Sintel/KITTI datasets.
• Abstract（参考訳）: 既存のリカレント光フロー推定ネットワークは、各サンプルのフローフィールドを更新するために固定された多数のイテレーションを使用するため、計算コストが高い。 効率的なネットワークは、フロー改善が制限されたときにイテレーションをスキップすべきである。 本稿では,サンプルあたりの最適イテレーション数を決定する効率的な光フロー推定のための文脈認識型イテレーションポリシーネットワークを開発した。 ポリシーネットワークは、コンテキスト情報を学習して、フロー改善がボトルネックになっているか、最小限であるかを認識する。 一方で、過去のイテレーション情報を含むイテレーション埋め込みと歴史的な隠れたセルを使用して、フローが以前のイテレーションからどのように変わったかを伝える。 一方で、ポリシーネットワークにインクリメンタルな損失を利用して、その後のイテレーションにおける光フロー改善の大きさを暗黙的に認識します。 さらに、我々の動的ネットワークにおける計算複雑性は制御可能であり、単一の訓練されたモデルで様々なリソースの選好を満たすことができる。 我々のポリシネットワークは、最先端の光フローネットワークに容易に統合できる。 Sintel/KITTIデータセットのFLOPを約40%/20%削減しながら,本手法が性能を維持することを示す。

関連論文リスト

• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• AccFlow: Backward Accumulation for Long-Range Optical Flow [70.4251045372285]
  本稿では、長距離光フロー推定のためのAccFlowと呼ばれる新しいリカレントフレームワークを提案する。 従来の前方累積よりも後方累積の方が優れていることを示す。 長距離光流量推定におけるAccFlowの有効性を検証する実験
  論文  参考訳（メタデータ） (2023-08-25T01:51:26Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• GMFlow: Learning Optical Flow via Global Matching [124.57850500778277]
  光フロー推定学習のためのGMFlowフレームワークを提案する。 機能拡張のためのカスタマイズトランスフォーマー、グローバル機能マッチングのための相関層とソフトマックス層、フロー伝搬のための自己保持層である。 我々の新しいフレームワークは、挑戦的なSintelベンチマークにおいて、32項目RAFTのパフォーマンスより優れています。
  論文  参考訳（メタデータ） (2021-11-26T18:59:56Z)
• Normalized Convolution Upsampling for Refined Optical Flow Estimation [23.652615797842085]
  正常化された畳み込みのUPsampler (NCUP)は光学流れCNNsの訓練の間にフル レゾリューションの流れを作り出す有効な共同アップサンプリングのアプローチです。 提案手法では,アップサンプリングタスクをスパース問題として定式化し,正規化畳み込みニューラルネットワークを用いて解く。 6%のエラー低減とKITTIデータセットのオンパーで、Sintelベンチマークの最新の結果を達成し、パラメータを7.5%削減します。
  論文  参考訳（メタデータ） (2021-02-13T18:34:03Z)
• LiteFlowNet3: Resolving Correspondence Ambiguity for More Accurate Optical Flow Estimation [99.19322851246972]
  本稿では,光フロー推定の問題に対処する2つのモジュールからなるディープネットワークである LiteFlowNet3 を紹介する。 LiteFlowNet3は、公開ベンチマークで有望な結果を達成するだけでなく、小さなモデルサイズと高速なランタイムも備えている。
  論文  参考訳（メタデータ） (2020-07-18T03:30:39Z)
• FDFlowNet: Fast Optical Flow Estimation using a Deep Lightweight Network [12.249680550252327]
  我々はFDFlowNet(fast Deep Flownet)と呼ばれるリアルタイム光フロー推定のための軽量で効果的なモデルを提案する。 我々は、PWC-Netの約2倍の速度で、挑戦的なKITTIとSintelベンチマークにおいて、より良い、あるいは同様の精度を達成する。
  論文  参考訳（メタデータ） (2020-06-22T14:01:01Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。