論文の概要: SMURF: Self-Teaching Multi-Frame Unsupervised RAFT with Full-Image Warping

• arxiv url: http://arxiv.org/abs/2105.07014v1
• Date: Fri, 14 May 2021 18:02:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-20 06:13:33.131738
• Title: SMURF: Self-Teaching Multi-Frame Unsupervised RAFT with Full-Image Warping
• Title（参考訳）: SMURF:フルイメージ・ワープによる自己学習型マルチフレーム教師なしRAFT
• Authors: Austin Stone, Daniel Maurer, Alper Ayvaci, Anelia Angelova, Rico Jonschkowski
• Abstract要約: SMURFは、すべてのベンチマークの状態を36%$から$ 40$に改善する、光学フローの監視されていない学習方法です。 本手法は,教師付き光フローからのアーキテクチャ改善を統合する。 教師なし学習の新しいアイデアには、シーケンス対応の自己スーパービジョンロス、フレーム外動作を処理する技術、マルチフレームビデオデータから効果的に学習するアプローチなどがある。
• 参考スコア（独自算出の注目度）: 28.505194400883475
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present SMURF, a method for unsupervised learning of optical flow that improves state of the art on all benchmarks by $36\%$ to $40\%$ (over the prior best method UFlow) and even outperforms several supervised approaches such as PWC-Net and FlowNet2. Our method integrates architecture improvements from supervised optical flow, i.e. the RAFT model, with new ideas for unsupervised learning that include a sequence-aware self-supervision loss, a technique for handling out-of-frame motion, and an approach for learning effectively from multi-frame video data while still only requiring two frames for inference.
• Abstract（参考訳）: そこで,本研究では,全ベンチマークの精度を3,6\%$から$40\%$(先行最良手法であるuflowより)向上させ,pwc-net や flownet2 のような教師なし手法よりも優れる光フローの教師なし学習法である smurf を提案する。 提案手法は, 教師付き光流, すなわち, アーキテクチャの改善を統合する。 RAFTモデルは、シーケンス対応の自己超越損失、フレーム外動作を処理する技術、そして、推論に2フレームしか必要とせず、マルチフレームのビデオデータから効果的に学習するためのアプローチを含む、教師なし学習のための新しいアイデアを備える。

関連論文リスト

• EMR-MSF: Self-Supervised Recurrent Monocular Scene Flow Exploiting Ego-Motion Rigidity [13.02735046166494]
  自己監督型単分子シーンフロー推定は、単純で経済的なセンサーの設置に注目が集まっている。 本稿では,教師あり学習の範囲内でのネットワークアーキテクチャ設計の利点を活かして,EMR-MSFという優れたモデルを提案する。 KITTIのシーンフローベンチマークでは,最先端の自己監督単分子法のSF-all測定値が44%向上した。
  論文  参考訳（メタデータ） (2023-09-04T00:30:06Z)
• RAFT-MSF: Self-Supervised Monocular Scene Flow using Recurrent Optimizer [21.125470798719967]
  本稿では,従来の手法に比べて精度が大幅に向上する自己教師付き単眼シーンフロー手法を提案する。 現状の光学フローモデルであるRAFTに基づいて、3次元運動場と不均一マップを同時に更新する新しいデコーダを設計する。 本手法は, 自己監督型単眼シーンフロー法における最先端の精度を実現し, 精度を34.2%向上させる。
  論文  参考訳（メタデータ） (2022-05-03T15:43:57Z)
• Optical-Flow-Reuse-Based Bidirectional Recurrent Network for Space-Time Video Super-Resolution [52.899234731501075]
  時空間ビデオ超解像(ST-VSR)は、与えられたビデオの空間解像度とフレームレートを同時に増加させる。 既存の手法は通常、近隣の幅広いフレームからの情報を効率的に活用する方法の難しさに悩まされる。 本稿では,隣接するフレーム間の知識を活用するために,ConvLSTMの代わりに粗大な双方向リカレントニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-10-13T15:21:30Z)
• Learning by Distillation: A Self-Supervised Learning Framework for Optical Flow Estimation [71.76008290101214]
  DistillFlowは光の流れを学ぶための知識蒸留手法である。 KITTIとSintelの両方のデータセット上で、最先端の教師なし学習性能を実現する。 我々のモデルは、KITTI 2015ベンチマークにおけるすべての単分子的手法の中で、第1位にランクされ、Sintel Finalベンチマークで発表されたすべてのメソッドよりも優れています。
  論文  参考訳（メタデータ） (2021-06-08T09:13:34Z)
• Self-Supervised Multi-Frame Monocular Scene Flow [61.588808225321735]
  自己監督学習に基づくマルチフレーム一眼的シーンフローネットワークを導入。 自己監督学習に基づく単眼的シーンフロー法における最新の精度を観察する。
  論文  参考訳（メタデータ） (2021-05-05T17:49:55Z)
• Unsupervised Motion Representation Enhanced Network for Action Recognition [4.42249337449125]
  連続するフレーム間の動きの表現は、ビデオの理解を大いに促進することが証明されている。 効果的な光フロー解決器であるTV-L1法は、抽出した光フローをキャッシュするために時間と費用がかかる。 UF-TSN(UF-TSN)は、軽量な非監視光フロー推定器を組み込んだ、エンドツーエンドのアクション認識手法です。
  論文  参考訳（メタデータ） (2021-03-05T04:14:32Z)
• FLAVR: Flow-Agnostic Video Representations for Fast Frame Interpolation [97.99012124785177]
  FLAVRは、3D空間時間の畳み込みを使用して、ビデオフレームのエンドツーエンドの学習と推論を可能にする柔軟で効率的なアーキテクチャです。 FLAVRは、アクション認識、光フロー推定、モーション拡大のための有用な自己解釈タスクとして役立つことを実証します。
  論文  参考訳（メタデータ） (2020-12-15T18:59:30Z)
• What Matters in Unsupervised Optical Flow [51.45112526506455]
  教師なし光流における鍵成分の集合を比較し解析する。 教師なしフローモデルに対する新しい改良点を多数構築する。 本稿では,従来の最先端技術よりもはるかに優れた非教師なしフロー技術を提案する。
  論文  参考訳（メタデータ） (2020-06-08T19:36:26Z)
• Flow2Stereo: Effective Self-Supervised Learning of Optical Flow and Stereo Matching [41.18196059378694]
  本稿では,光学フローとステレオマッチングを協調的に学習する統一手法を提案する。 我々はこの知識を最先端の自己教師型学習フレームワークに登録する。 次に、フローとステレオの両方を見積もるために、1つのネットワークをトレーニングします。
  論文  参考訳（メタデータ） (2020-04-05T09:52:04Z)
• Learning by Analogy: Reliable Supervision from Transformations for Unsupervised Optical Flow Estimation [83.23707895728995]
  光フローの教師なし学習は、教師付き手法に代わる有望な代替手段として登場した。 私たちは、トランスフォーメーションからより信頼性の高い監視を使用するためのフレームワークを提示します。 提案手法は, 深い教師なし手法の中で, 最高の精度で, いくつかのベンチマークで連続的に性能を向上する。
  論文  参考訳（メタデータ） (2020-03-29T14:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。