論文の概要: UnSAMFlow: Unsupervised Optical Flow Guided by Segment Anything Model

• arxiv url: http://arxiv.org/abs/2405.02608v1
• Date: Sat, 4 May 2024 08:27:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 19:10:59.465474
• Title: UnSAMFlow: Unsupervised Optical Flow Guided by Segment Anything Model
• Title（参考訳）: UnSAMFlow:Segment Anything Modelでガイドされた教師なし光学フロー
• Authors: Shuai Yuan, Lei Luo, Zhuo Hui, Can Pu, Xiaoyu Xiang, Rakesh Ranjan, Denis Demandolx,
• Abstract要約: UnSAMFlowは教師なしのフローネットワークで、最新の基盤モデルSegment Anything Model(SAM)のオブジェクト情報も活用している。 従来の滑らかさ損失の勾配の低さを解析し,その代わりにホモグラフィに基づく新しい滑らかさ定義を提案する。 KITTIとSintelのデータセットにおける最先端の手法よりも高い精度で、物体の周囲の鋭い境界で透明な光フロー推定を行う。
• 参考スコア（独自算出の注目度）: 12.706915226843401
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Traditional unsupervised optical flow methods are vulnerable to occlusions and motion boundaries due to lack of object-level information. Therefore, we propose UnSAMFlow, an unsupervised flow network that also leverages object information from the latest foundation model Segment Anything Model (SAM). We first include a self-supervised semantic augmentation module tailored to SAM masks. We also analyze the poor gradient landscapes of traditional smoothness losses and propose a new smoothness definition based on homography instead. A simple yet effective mask feature module has also been added to further aggregate features on the object level. With all these adaptations, our method produces clear optical flow estimation with sharp boundaries around objects, which outperforms state-of-the-art methods on both KITTI and Sintel datasets. Our method also generalizes well across domains and runs very efficiently.
• Abstract（参考訳）: 従来の教師なし光学フロー法は、オブジェクトレベルの情報がないため、閉塞や運動境界に弱い。 そこで本研究では,UnSAMFlowを提案する。UnSAMFlowは,最新の基盤モデルセグメンツ・ア・シング・モデル(SAM)のオブジェクト情報も活用する,教師なしフローネットワークである。 まず、SAMマスクに合わせた自己教師付きセマンティック拡張モジュールを含める。 また,従来の滑らかさ損失の勾配の低さを解析し,その代わりにホモグラフィに基づく新しい滑らかさ定義を提案する。 オブジェクトレベルの機能をさらに集約するために、シンプルだが効果的なマスク機能モジュールも追加された。 これらの適応により,本手法はオブジェクトの周囲に鋭い境界を持つ透明な光フロー推定を行い,KITTIとSintelの双方のデータセットにおける最先端の手法より優れる。 また,本手法はドメインをまたいでよく一般化し,非常に効率的に動作する。

関連論文リスト

• MaskFlow: Object-Aware Motion Estimation [0.45646200630189254]
  本研究では,高精度な運動場を推定できる新しい動き推定手法MaskFlowを提案する。 他のディープニューラルネットワーク(DNN)ベースのモーション推定手法で使用される低レベルの機能に加えて、MaskFlowはオブジェクトレベルの機能やセグメンテーションから引き出される。
  論文  参考訳（メタデータ） (2023-11-21T09:37:49Z)
• GAFlow: Incorporating Gaussian Attention into Optical Flow [62.646389181507764]
  我々はガウス的注意(GA)を光学フローモデルに押し込み、表現学習中に局所特性をアクセントする。 本稿では,既存の Transformer ブロックに簡単に接続可能な新しい Gaussian-Constrained Layer (GCL) を提案する。 動作解析のための新しいガウス誘導注意モジュール(GGAM)を提供する。
  論文  参考訳（メタデータ） (2023-09-28T07:46:01Z)
• SAMFlow: Eliminating Any Fragmentation in Optical Flow with Segment Anything Model [17.88914104216893]
  本研究では,凍結したSAMイメージエンコーダをFlowFormerに埋め込んでオブジェクト認識を強化する方法を提案する。 提案したSAMFlowモデルは,SintelおよびKITTI-15トレーニングセットで0.86/2.10クリーン/ファイナルEPEと3.55/12.32EPE/F1-allに達し,Flowformerの8.5%/9.9%,13.2%/16.3%を上回った。
  論文  参考訳（メタデータ） (2023-07-31T11:40:53Z)
• Weakly-supervised Contrastive Learning for Unsupervised Object Discovery [52.696041556640516]
  ジェネリックな方法でオブジェクトを発見できるため、教師なしのオブジェクト発見は有望である。 画像から高レベルな意味的特徴を抽出する意味誘導型自己教師学習モデルを設計する。 オブジェクト領域のローカライズのための主成分分析(PCA)を導入する。
  論文  参考訳（メタデータ） (2023-07-07T04:03:48Z)
• SemARFlow: Injecting Semantics into Unsupervised Optical Flow Estimation for Autonomous Driving [5.342413115295559]
  本稿では、自律運転データ用に設計された教師なし光フローネットワークであるSemARFlowを紹介する。 オブジェクト境界に関する目に見える改善に加えて、データセットをまたいで一般化する能力も示しています。
  論文  参考訳（メタデータ） (2023-03-10T21:17:14Z)
• Exploiting Shape Cues for Weakly Supervised Semantic Segmentation [15.791415215216029]
  弱教師付きセマンティックセマンティックセグメンテーション (WSSS) は、画像レベルのラベルのみをトレーニング用として、画素単位のクラス予測を生成することを目的としている。 畳み込みニューラルネットワーク(CNN)のテクスチャバイアス特性を補うために形状情報を活用することを提案する。 我々は、クラスと色親和性の両方を考慮した新しい改良手法により、オンライン方式で予測をさらに洗練する。
  論文  参考訳（メタデータ） (2022-08-08T17:25:31Z)
• Imposing Consistency for Optical Flow Estimation [73.53204596544472]
  プロキシタスクによる一貫性の導入は、データ駆動学習を強化することが示されている。 本稿では,光フロー推定のための新しい,効果的な整合性戦略を提案する。
  論文  参考訳（メタデータ） (2022-04-14T22:58:30Z)
• Optical Flow Estimation from a Single Motion-blurred Image [66.2061278123057]
  画像内の動きのぼかしは、基本的なコンピュータビジョンの問題に実用的な関心を持つ可能性があります。 本研究では,単一動画像からの光流れをエンドツーエンドで推定する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-03-04T12:45:18Z)
• Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection Consistency [114.02182755620784]
  本稿では,複数の動的物体の6-DoF動作,エゴモーション,深度を,監督なしで一眼レフカメラで明示的にモデル化する,エンドツーエンドのジョイントトレーニングフレームワークを提案する。 筆者らのフレームワークは,最先端の深度・動き推定法より優れていた。
  論文  参考訳（メタデータ） (2021-02-04T14:26:42Z)
• What Matters in Unsupervised Optical Flow [51.45112526506455]
  教師なし光流における鍵成分の集合を比較し解析する。 教師なしフローモデルに対する新しい改良点を多数構築する。 本稿では,従来の最先端技術よりもはるかに優れた非教師なしフロー技術を提案する。
  論文  参考訳（メタデータ） (2020-06-08T19:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。