論文の概要: RAFT: Recurrent All-Pairs Field Transforms for Optical Flow
- arxiv url: http://arxiv.org/abs/2003.12039v3
- Date: Tue, 25 Aug 2020 15:49:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-19 21:59:45.754546
- Title: RAFT: Recurrent All-Pairs Field Transforms for Optical Flow
- Title(参考訳): RAFT:光流用全対電場変換器
- Authors: Zachary Teed and Jia Deng
- Abstract要約: 光フローのための新しいディープネットワークアーキテクチャであるRAFT(Recurrent All-Pairs Field Transforms)を導入する。
RAFTは画素あたりの特徴を抽出し、すべての画素に対してマルチスケールの4D相関ボリュームを構築し、フローフィールドを反復的に更新する。
RAFTは最先端のパフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 78.92562539905951
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Recurrent All-Pairs Field Transforms (RAFT), a new deep network
architecture for optical flow. RAFT extracts per-pixel features, builds
multi-scale 4D correlation volumes for all pairs of pixels, and iteratively
updates a flow field through a recurrent unit that performs lookups on the
correlation volumes. RAFT achieves state-of-the-art performance. On KITTI, RAFT
achieves an F1-all error of 5.10%, a 16% error reduction from the best
published result (6.10%). On Sintel (final pass), RAFT obtains an
end-point-error of 2.855 pixels, a 30% error reduction from the best published
result (4.098 pixels). In addition, RAFT has strong cross-dataset
generalization as well as high efficiency in inference time, training speed,
and parameter count. Code is available at https://github.com/princeton-vl/RAFT.
- Abstract(参考訳): 光フローのための新しいディープネットワークアーキテクチャであるRAFT(Recurrent All-Pairs Field Transforms)を導入する。
RAFTは画素あたりの特徴を抽出し、すべての画素に対してマルチスケールの4D相関ボリュームを構築し、その相関ボリュームのルックアップを実行するリカレントユニットを介してフローフィールドを反復的に更新する。
RAFTは最先端のパフォーマンスを達成する。
KITTIでは、RAFT は F1-all エラーの5.10%を達成し、最高の結果(6.10%)から 16% エラーを削減した。
Sintel(ファイナルパス)では、RAFTは2.855ピクセルのエンドポイントエラーを取得し、最高の出力結果(4.098ピクセル)から30%のエラー削減を行う。
さらに、RAFTは強力なクロスデータセットの一般化を持ち、推論時間、トレーニング速度、パラメータカウントの効率も高い。
コードはhttps://github.com/princeton-vl/raftで入手できる。
関連論文リスト
- RAF-GI: Towards Robust, Accurate and Fast-Convergent Gradient Inversion
Attack in Federated Learning [5.689524859498987]
本稿では,RAF-GIと呼ばれるロバスト,高精度,高速なGI攻撃アルゴリズムを提案する。
RAF-GIは、ImageNetデータセットの超高画質を実現しながら、94%の時間コストを削減できる。
バッチサイズ1のRAF-GIは、最先端のベースラインに比べて7.89ピーク信号対ノイズ比(PSNR)が高い。
論文 参考訳(メタデータ) (2024-03-13T09:48:04Z) - Rethinking RAFT for Efficient Optical Flow [9.115508086522887]
本稿ではRAFTフレームワークに基づく新しいアプローチを提案する。
グローバルな特徴抽出と繰り返しパターンへの対処のためのアテンションメカニズムが組み込まれている。
提案手法は,効率的なRAFT(Ef-RAFT)であり,Sintelデータセットで10%,RAFT上でのKITTIデータセットで5%の大幅な改善を実現している。
論文 参考訳(メタデータ) (2024-01-01T18:23:39Z) - CLIP-FLow: Contrastive Learning by {s}emi-supervised Iterative Pseudo
{l}abeling for Optical Flow Estimation [31.773232370688657]
本稿では,事前学習の知識を対象の実領域に伝達するための,半教師付き反復的擬似ラベルフレームワークを提案する。
我々は、大規模でラベルのない実データを活用して、反復的に更新された擬似的真実ラベルを監督し、伝達学習を容易にする。
私たちのフレームワークはCRAFTなど他のモデルにも拡張可能で、KITTI 2015ベンチマークではF1全体のエラーを4.79%から4.66%に削減できる。
論文 参考訳(メタデータ) (2022-10-25T23:22:25Z) - Differentiable Architecture Search with Random Features [80.31916993541513]
微分可能なアーキテクチャサーチ (DARTS) は、探索効率と効率性からNAS技術の発展を著しく促進してきたが、性能の低下に悩まされている。
本稿では,BatchNormのトレーニングのみによるDARTSの性能崩壊問題を軽減するための取り組みを行う。
論文 参考訳(メタデータ) (2022-08-18T13:55:27Z) - DIP: Deep Inverse Patchmatch for High-Resolution Optical Flow [7.73554718719193]
本稿では,高分解能光フロー推定のための新しいPatchmatchベースのフレームワークを提案する。
伝播とPatchmatchの局所探索の恩恵を受け、低メモリで高精度な結果が得られる。
提案手法は,KITTI2015ベンチマークのすべての指標で第1位,Sintelクリーンベンチマークでは第2位である。
論文 参考訳(メタデータ) (2022-04-01T10:13:59Z) - Deep Residual Fourier Transformation for Single Image Deblurring [12.674752421170547]
ぼやけた画像からシャープな画像を再構成するには、低周波情報と高周波情報の両方を変更する必要がある。
本稿では,コンボリューションブロック (Res FFT-Conv Block) を用いたResidual Fast Fourier Transformを提案する。
論文 参考訳(メタデータ) (2021-11-23T09:40:40Z) - RAFT-Stereo: Multilevel Recurrent Field Transforms for Stereo Matching [60.44903340167672]
RAFT-Stereoは,光学フローネットワークRAFTをベースとした修正ステレオのための新しい深層アーキテクチャである。
画像間でより効率的に情報を伝達する多レベル畳み込みGRUを導入する。
RAFT-Stereoの修正版は正確なリアルタイム推論を行うことができる。
論文 参考訳(メタデータ) (2021-09-15T19:27:31Z) - Fourier Space Losses for Efficient Perceptual Image Super-Resolution [131.50099891772598]
提案した損失関数の適用のみで,最近導入された効率的なジェネレータアーキテクチャの性能向上が可能であることを示す。
フーリエ空間における周波数に対する損失の直接的強調は知覚的画質を著しく向上させることを示す。
訓練されたジェネレータは、最先端の知覚的SR法である RankSRGAN と SRFlow よりも2.4倍、48倍高速である。
論文 参考訳(メタデータ) (2021-06-01T20:34:52Z) - FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation [81.76975488010213]
ディセンス光学フロー推定は、多くのロボットビジョンタスクで重要な役割を果たしています。
現在のネットワークはしばしば多くのパラメータを占有し、計算コストがかかる。
提案したFastFlowNetは、周知の粗大なやり方で、以下のイノベーションで機能する。
論文 参考訳(メタデータ) (2021-03-08T03:09:37Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳(メタデータ) (2020-06-21T08:23:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。