論文の概要: FocusFlow: Boosting Key-Points Optical Flow Estimation for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2308.07104v1
• Date: Mon, 14 Aug 2023 12:35:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-15 13:28:58.165535
• Title: FocusFlow: Boosting Key-Points Optical Flow Estimation for Autonomous Driving
• Title（参考訳）: FocusFlow: 自律運転のためのキーポイント光フロー推定の強化
• Authors: Zhonghua Yi, Hao Shi, Kailun Yang, Qi Jiang, Yaozu Ye, Ze Wang, Kaiwei Wang
• Abstract要約: 本稿では,キーポイント関連先行情報を明示的に学習するためのポイントベースモデリング手法を提案する。 1)光度損失関数と条件点制御損失関数を組み合わせた混合損失関数からなるフレームワークであるFocusFlowを提案する。 ORBやSIFT,さらには学習ベースのSiLKなど,さまざまなキーポイントにおいて,最大で44.5%の精度向上を実現した優れた性能を示す。
• 参考スコア（独自算出の注目度）: 27.44687425408033
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Key-point-based scene understanding is fundamental for autonomous driving applications. At the same time, optical flow plays an important role in many vision tasks. However, due to the implicit bias of equal attention on all points, classic data-driven optical flow estimation methods yield less satisfactory performance on key points, limiting their implementations in key-point-critical safety-relevant scenarios. To address these issues, we introduce a points-based modeling method that requires the model to learn key-point-related priors explicitly. Based on the modeling method, we present FocusFlow, a framework consisting of 1) a mix loss function combined with a classic photometric loss function and our proposed Conditional Point Control Loss (CPCL) function for diverse point-wise supervision; 2) a conditioned controlling model which substitutes the conventional feature encoder by our proposed Condition Control Encoder (CCE). CCE incorporates a Frame Feature Encoder (FFE) that extracts features from frames, a Condition Feature Encoder (CFE) that learns to control the feature extraction behavior of FFE from input masks containing information of key points, and fusion modules that transfer the controlling information between FFE and CFE. Our FocusFlow framework shows outstanding performance with up to +44.5% precision improvement on various key points such as ORB, SIFT, and even learning-based SiLK, along with exceptional scalability for most existing data-driven optical flow methods like PWC-Net, RAFT, and FlowFormer. Notably, FocusFlow yields competitive or superior performances rivaling the original models on the whole frame. The source code will be available at https://github.com/ZhonghuaYi/FocusFlow_official.
• Abstract（参考訳）: キーポイントに基づくシーン理解は、自動運転アプリケーションの基本である。 同時に、光学フローは多くの視覚タスクにおいて重要な役割を果たす。 しかしながら、全ての点に等しく注目される暗黙のバイアスのため、古典的なデータ駆動光フロー推定手法はキーポイントにおける満足度の低い性能をもたらし、キーポイントクリティカルな安全関連シナリオの実装を制限する。 そこで本研究では,キーポイント関係の事前学習をモデルに要求するポイントベースモデリング手法を提案する。 モデリング手法に基づいて,FocusFlowというフレームワークを提案する。 1) 古典的測光損失関数と組み合わされた混合損失関数と,提案する条件点制御損失(cpcl)関数は,多様である。 2) 提案する条件制御エンコーダ(cce)により従来の特徴エンコーダを置き換える条件付き制御モデルを提案する。 CCEにはフレームから特徴を抽出するフレーム特徴エンコーダ(FFE)、キーポイントの情報を含む入力マスクからFFEの特徴抽出動作を制御することを学ぶ条件特徴エンコーダ(CFE)、FFEとCFEの間で制御情報を転送する融合モジュールが含まれている。 当社のfocusflowフレームワークは,orbやsift,さらには学習ベースのシルクなど,さまざまなポイントで最大44.5%の精度向上と,pwc-netやraft,flowformerといった既存のデータ駆動型光フローメソッドの例外的なスケーラビリティを実現しています。 特に、FocusFlowは、フレーム全体のオリジナルのモデルに匹敵する競争力または優れたパフォーマンスを得る。 ソースコードはhttps://github.com/ZhonghuaYi/FocusFlow_officialで入手できる。

関連論文リスト

• Bringing Masked Autoencoders Explicit Contrastive Properties for Point Cloud Self-Supervised Learning [116.75939193785143]
  画像領域における視覚変換器(ViT)のコントラスト学習(CL)は、従来の畳み込みバックボーンのCLに匹敵する性能を達成した。 ViTで事前訓練した3Dポイントクラウドでは、マスク付きオートエンコーダ(MAE)モデリングが主流である。
  論文  参考訳（メタデータ） (2024-07-08T12:28:56Z)
• SeFlow: A Self-Supervised Scene Flow Method in Autonomous Driving [18.88208422580103]
  連続したLiDARスキャンで各点における3次元運動を予測する。 現在の最先端の手法は、シーンフローネットワークをトレーニングするために注釈付きデータを必要とする。 本研究では,効率的な動的分類を学習に基づくシーンフローパイプラインに統合するSeFlowを提案する。
  論文  参考訳（メタデータ） (2024-07-01T18:22:54Z)
• SimulFlow: Simultaneously Extracting Feature and Identifying Target for Unsupervised Video Object Segmentation [28.19471998380114]
  教師なしビデオオブジェクトセグメンテーション(UVOS)は、人間が介在することなく、所定のビデオシーケンス内の一次オブジェクトを検出することを目的としている。 既存のほとんどの手法は、ターゲットを識別してオブジェクトマスクを生成する前に、外観と動き情報を別々に符号化する2ストリームアーキテクチャに依存している。 特徴抽出とターゲット識別を同時に行うSimulFlowと呼ばれる新しいUVOSモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-30T06:44:44Z)
• PointFlowHop: Green and Interpretable Scene Flow Estimation from Consecutive Point Clouds [49.7285297470392]
  本研究では,PointFlowHopと呼ばれる3次元シーンフローの効率的な推定法を提案する。 ポイントフローホップは2つの連続する点雲を取り、第1点雲の各点の3次元フローベクトルを決定する。 シーンフロー推定タスクを,エゴモーション補償,オブジェクトアソシエーション,オブジェクトワイドモーション推定など,一連のサブタスクに分解する。
  論文  参考訳（メタデータ） (2023-02-27T23:06:01Z)
• Centralized Feature Pyramid for Object Detection [53.501796194901964]
  視覚的特徴ピラミッドは、広範囲のアプリケーションにおいて、有効性と効率の両方において、その優位性を示している。 本稿では,オブジェクト検出のためのOLO特徴ピラミッドを提案する。
  論文  参考訳（メタデータ） (2022-10-05T08:32:54Z)
• Hierarchical Feature Alignment Network for Unsupervised Video Object Segmentation [99.70336991366403]
  外観・動作特徴アライメントのための簡潔で実用的で効率的なアーキテクチャを提案する。 提案されたHFANはDAVIS-16の最先端性能に到達し、88.7ドルのmathcalJ&mathcalF$Meanを達成した。
  論文  参考訳（メタデータ） (2022-07-18T10:10:14Z)
• CSFlow: Learning Optical Flow via Cross Strip Correlation for Autonomous Driving [9.562270891742982]
  クロスストリップ相関モジュール(CSC)と相関回帰初期化モジュール(CRI) CSFlowは2つの新しいモジュールで構成されている。クロスストリップ相関モジュール(CSC)と相関回帰初期化モジュール(CRI)である。
  論文  参考訳（メタデータ） (2022-02-02T08:17:45Z)
• DeMFI: Deep Joint Deblurring and Multi-Frame Interpolation with Flow-Guided Attentive Correlation and Recursive Boosting [50.17500790309477]
  DeMFI-Netは、共同でデブロアリングとマルチフレームのフレームワークである。 低フレームレートのぼやけたビデオを高フレームレートでシャープなビデオに変換する。 多様なデータセットに対して、最先端(SOTA)のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-11-19T00:00:15Z)
• Unsupervised Feedforward Feature (UFF) Learning for Point Cloud Classification and Segmentation [57.62713515497585]
  3次元点雲の連成分類とセグメンテーションのために,教師なしフィードフォワード特徴学習を提案する。 UFF法は、点雲セット内の点の統計的相関を利用して、1パスのフィードフォワード方式で形状と点の特徴を学習する。 エンコーダとローカルポイントでグローバルな形状の特徴を、エンコーダ-デコーダアーキテクチャを通して学習する。
  論文  参考訳（メタデータ） (2020-09-02T18:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。