論文の概要: SemARFlow: Injecting Semantics into Unsupervised Optical Flow Estimation for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2303.06209v1
• Date: Fri, 10 Mar 2023 21:17:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-14 20:23:17.169980
• Title: SemARFlow: Injecting Semantics into Unsupervised Optical Flow Estimation for Autonomous Driving
• Title（参考訳）: SemARFlow: 自律運転のための教師なし光フロー推定にセマンティックスを注入する
• Authors: Shuai Yuan, Shuzhi Yu, Hannah Kim and Carlo Tomasi
• Abstract要約: 本稿では、自律運転データ用に設計された教師なし光フローネットワークであるSemARFlowを紹介する。 オブジェクト境界に関する目に見える改善に加えて、データセットをまたいで一般化する能力も示しています。
• 参考スコア（独自算出の注目度）: 5.342413115295559
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised optical flow estimation is especially hard near occlusions and motion boundaries and in low-texture regions. We show that additional information such as semantics and domain knowledge can help better constrain this problem. We introduce SemARFlow, an unsupervised optical flow network designed for autonomous driving data that takes estimated semantic segmentation masks as additional inputs. This additional information is injected into the encoder and into a learned upsampler that refines the flow output. In addition, a simple yet effective semantic augmentation module provides self-supervision when learning flow and its boundaries for vehicles, poles, and sky. Together, these injections of semantic information improve the KITTI-2015 optical flow test error rate from 11.80% to 8.38%. We also show visible improvements around object boundaries as well as a greater ability to generalize across datasets. Code will be made available.
• Abstract（参考訳）: 教師なし光フロー推定は、特に低テクスチャ領域における閉塞や運動境界付近で困難である。 セマンティクスやドメイン知識などの追加情報は、この問題をより制約するのに役立ちます。 本稿では,セマンティックセグメンテーションマスクを付加入力として利用する自律運転データのための教師なし光フローネットワークSemARFlowを紹介する。 この追加情報はエンコーダに注入され、フロー出力を洗練する学習アップサンプラーに注入される。 さらに、単純だが効果的なセマンティック拡張モジュールは、車両、ポール、空のフローとその境界を学習する際の自己スーパービジョンを提供する。 これらの意味情報の注入により、KITTI-2015の光学フローテストの誤差は11.80%から8.38%に改善された。 また、オブジェクト境界に関する目に見える改善や、データセットをまたいで一般化する能力も示しています。 コードは利用可能になる。

関連論文リスト

• UnSAMFlow: Unsupervised Optical Flow Guided by Segment Anything Model [12.706915226843401]
  UnSAMFlowは教師なしのフローネットワークで、最新の基盤モデルSegment Anything Model(SAM)のオブジェクト情報も活用している。 従来の滑らかさ損失の勾配の低さを解析し,その代わりにホモグラフィに基づく新しい滑らかさ定義を提案する。 KITTIとSintelのデータセットにおける最先端の手法よりも高い精度で、物体の周囲の鋭い境界で透明な光フロー推定を行う。
  論文  参考訳（メタデータ） (2024-05-04T08:27:12Z)
• FlowDA: Unsupervised Domain Adaptive Framework for Optical Flow Estimation [6.122542233250026]
  本稿では、光学的フロー推定のための教師なし領域適応(UDA)フレームワークであるFlowDAを紹介する。 FlowDAは、最先端の教師なし光フロー推定法SMURFを21.6%、実光フローデータセット生成法MPI-Flowを27.8%、光フロー推定適応法FlowSupervisorを30.9%上回る。
  論文  参考訳（メタデータ） (2023-12-28T12:51:48Z)
• GAFlow: Incorporating Gaussian Attention into Optical Flow [62.646389181507764]
  我々はガウス的注意(GA)を光学フローモデルに押し込み、表現学習中に局所特性をアクセントする。 本稿では,既存の Transformer ブロックに簡単に接続可能な新しい Gaussian-Constrained Layer (GCL) を提案する。 動作解析のための新しいガウス誘導注意モジュール(GGAM)を提供する。
  論文  参考訳（メタデータ） (2023-09-28T07:46:01Z)
• TransFlow: Transformer as Flow Learner [22.727953339383344]
  本稿では,光フロー推定のためのトランスフォーマーアーキテクチャであるTransFlowを提案する。 フロー推定において、より正確な相関と信頼できるマッチングを提供する。 ダイナミックなシーンにおける長距離時間的関連を通して、フロー推定においてより妥協された情報を復元する。
  論文  参考訳（メタデータ） (2023-04-23T03:11:23Z)
• DistractFlow: Improving Optical Flow Estimation via Realistic Distractions and Pseudo-Labeling [49.46842536813477]
  本稿では,光フロー推定モデルのトレーニングのための新しいデータ拡張手法であるDistractFlowを提案する。 2つのフレームのうちの1つを、類似したドメインを描写したイントラクタイメージと組み合わせることで、自然の物体やシーンと相反する視覚的摂動を誘発することができる。 私たちのアプローチでは、追加のアノテーションを必要とせずに、利用可能なトレーニングペアの数を大幅に増やすことができます。
  論文  参考訳（メタデータ） (2023-03-24T15:42:54Z)
• Semi-Supervised Learning of Optical Flow by Flow Supervisor [16.406213579356795]
  そこで本研究では,事前学習したモデルに対して,地中真実の流れを伴わずに,目標データセットに適応するファインチューニング手法を提案する。 この設計は、従来の自己超越法よりも安定した収束と精度の向上を目的としている。 我々は,Sintel および KITTI ベンチマークにおける最先端光学フローモデルに対する有意義な改善を実現する。
  論文  参考訳（メタデータ） (2022-07-21T06:11:52Z)
• Imposing Consistency for Optical Flow Estimation [73.53204596544472]
  プロキシタスクによる一貫性の導入は、データ駆動学習を強化することが示されている。 本稿では,光フロー推定のための新しい,効果的な整合性戦略を提案する。
  論文  参考訳（メタデータ） (2022-04-14T22:58:30Z)
• CSFlow: Learning Optical Flow via Cross Strip Correlation for Autonomous Driving [9.562270891742982]
  クロスストリップ相関モジュール(CSC)と相関回帰初期化モジュール(CRI) CSFlowは2つの新しいモジュールで構成されている。クロスストリップ相関モジュール(CSC)と相関回帰初期化モジュール(CRI)である。
  論文  参考訳（メタデータ） (2022-02-02T08:17:45Z)
• Sensor-Guided Optical Flow [53.295332513139925]
  本稿では、未知の領域や未知の領域において、より優れた精度を実現するために、外部キューを用いた光フローネットワークを誘導するフレームワークを提案する。 能動センサからの深度測定と幾何および手作り光学フローアルゴリズムを組み合わせることで,これらがどのように得られるかを示す。
  論文  参考訳（メタデータ） (2021-09-30T17:59:57Z)
• AutoFlow: Learning a Better Training Set for Optical Flow [62.40293188964933]
  AutoFlowは、光学フローのトレーニングデータをレンダリングする手法である。 AutoFlowはPWC-NetとRAFTの両方の事前トレーニングにおいて最先端の精度を実現する。
  論文  参考訳（メタデータ） (2021-04-29T17:55:23Z)
• What Matters in Unsupervised Optical Flow [51.45112526506455]
  教師なし光流における鍵成分の集合を比較し解析する。 教師なしフローモデルに対する新しい改良点を多数構築する。 本稿では,従来の最先端技術よりもはるかに優れた非教師なしフロー技術を提案する。
  論文  参考訳（メタデータ） (2020-06-08T19:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。