論文の概要: Self-supervised Pretraining and Finetuning for Monocular Depth and Visual Odometry

• arxiv url: http://arxiv.org/abs/2406.11019v1
• Date: Sun, 16 Jun 2024 17:24:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 19:23:12.328972
• Title: Self-supervised Pretraining and Finetuning for Monocular Depth and Visual Odometry
• Title（参考訳）: 単眼深度・視力計測のための自己教師付き事前トレーニングとファインタニング
• Authors: Boris Chidlovskii, Leonid Antsfeld,
• Abstract要約: 我々は,我々の自己教師型モデルが「鐘と笛なしで」最先端のパフォーマンスに到達できることを実証した。 全てのデータセットに対して,本手法は,特に深度予測タスクにおいて,最先端の手法よりも優れている。
• 参考スコア（独自算出の注目度）: 7.067145619709089
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For the task of simultaneous monocular depth and visual odometry estimation, we propose learning self-supervised transformer-based models in two steps. Our first step consists in a generic pretraining to learn 3D geometry, using cross-view completion objective (CroCo), followed by self-supervised finetuning on non-annotated videos. We show that our self-supervised models can reach state-of-the-art performance 'without bells and whistles' using standard components such as visual transformers, dense prediction transformers and adapters. We demonstrate the effectiveness of our proposed method by running evaluations on six benchmark datasets, both static and dynamic, indoor and outdoor, with synthetic and real images. For all datasets, our method outperforms state-of-the-art methods, in particular for depth prediction task.
• Abstract（参考訳）: 単眼深度と視力計測の同時推定を行うために,2つのステップで自己教師付きトランスフォーマーに基づく学習モデルを提案する。 最初のステップは、クロスビュー補完目標(CroCo)を用いて3次元幾何学を学ぶための一般的な事前学習と、アノテーションのないビデオの自己教師付き微調整である。 視覚変換器,高密度予測変換器,アダプタなどの標準コンポーネントを用いて,我々の自己教師型モデルが「ベルとホイッスルなしで」最先端の性能に達することを示す。 提案手法の有効性を,静的,動的,屋内,屋外の6つのベンチマークデータセット上で,合成画像と実画像を用いて評価することにより実証する。 全てのデータセットに対して,本手法は,特に深度予測タスクにおいて,最先端の手法よりも優れている。

関連論文リスト

• SkelFormer: Markerless 3D Pose and Shape Estimation using Skeletal Transformers [57.46911575980854]
  マルチビュー人間のポーズと形状推定のための新しいマーカーレスモーションキャプチャパイプラインであるSkelFormerを紹介する。 提案手法は,まず市販の2次元キーポイント推定器を用いて,大規模インザミルドデータに基づいて事前トレーニングを行い,3次元関節位置を求める。 次に、重雑音観測から、関節の位置をポーズと形状の表現にマッピングする回帰に基づく逆運動性骨格変換器を設計する。
  論文  参考訳（メタデータ） (2024-04-19T04:51:18Z)
• Skeleton2vec: A Self-supervised Learning Framework with Contextualized Target Representations for Skeleton Sequence [56.092059713922744]
  予測対象として高レベルな文脈化機能を使用することで,優れた性能が得られることを示す。 具体的には、シンプルで効率的な3D行動表現学習フレームワークであるSkeleton2vecを提案する。 提案するSkeleton2vecは,従来の手法より優れ,最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-01-01T12:08:35Z)
• RadOcc: Learning Cross-Modality Occupancy Knowledge through Rendering Assisted Distillation [50.35403070279804]
  マルチビュー画像を用いた3次元シーンの占有状況とセマンティクスを推定することを目的とした,新たな課題である3D占有予測手法を提案する。 本稿では,RandOccを提案する。Rendering Assisted distillation paradigm for 3D Occupancy prediction。
  論文  参考訳（メタデータ） (2023-12-19T03:39:56Z)
• Transformer-based model for monocular visual odometry: a video understanding approach [0.9790236766474201]
  6-Fカメラのポーズを推定するために,映像理解タスクとして単眼視計測を取り扱う。 本稿では,ビデオクリップから特徴を抽出し,その動作をエンドツーエンドに推定する,時間的自己認識機構に基づくTS-DoVOモデルを提案する。 提案手法は,KITTIビジュアル・オドメトリー・データセットを用いた幾何学的,深層学習的手法と比較して,最先端の競合性能を実現した。
  論文  参考訳（メタデータ） (2023-05-10T13:11:23Z)
• Dyna-DepthFormer: Multi-frame Transformer for Self-Supervised Depth Estimation in Dynamic Scenes [19.810725397641406]
  シーン深度と3次元運動場を協調的に予測する新しいDyna-Depthformerフレームワークを提案する。 まず,多視点の相関を一連の自己・横断的層を通じて活用し,深度特徴表現の強化を図る。 第2に,動的物体の運動場をセマンティック・プレセプションを使わずに推定するワーピングに基づく運動ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-01-14T09:43:23Z)
• Policy Pre-training for End-to-end Autonomous Driving via Self-supervised Geometric Modeling [96.31941517446859]
  PPGeo (Policy Pre-training via Geometric Modeling) は,視覚運動運転における政策事前学習のための,直感的かつ直接的な完全自己教師型フレームワークである。 本研究では,大規模な未ラベル・未校正動画の3次元幾何学シーンをモデル化することにより,ポリシー表現を強力な抽象化として学習することを目的とする。 第1段階では、幾何モデリングフレームワークは、2つの連続したフレームを入力として、ポーズと深さの予測を同時に生成する。 第2段階では、視覚エンコーダは、将来のエゴモーションを予測し、現在の視覚観察のみに基づいて測光誤差を最適化することにより、運転方針表現を学習する。
  論文  参考訳（メタデータ） (2023-01-03T08:52:49Z)
• CroCo v2: Improved Cross-view Completion Pre-training for Stereo Matching and Optical Flow [22.161967080759993]
  自己教師付き事前学習法は、ステレオマッチングや光学フローのような密集した幾何学的視覚タスクでは、まだ提供されていない。 我々は、同じシーンから2番目のビューを利用するマスク付き画像モデリングのバリエーションである、最近のクロスビュー補完フレームワークの上に構築する。 本稿では,ステレオマッチングと光学的流れに関する最先端の成果を,従来のタスク固有の手法を使わずに到達できることを初めて示す。
  論文  参考訳（メタデータ） (2022-11-18T18:18:53Z)
• SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenes [58.89295356901823]
  自己監督型単眼深度推定は静的な場面で顕著な結果を示した。 トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。 単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。 我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
  論文  参考訳（メタデータ） (2022-11-07T16:17:47Z)
• Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection Consistency [114.02182755620784]
  本稿では,複数の動的物体の6-DoF動作,エゴモーション,深度を,監督なしで一眼レフカメラで明示的にモデル化する,エンドツーエンドのジョイントトレーニングフレームワークを提案する。 筆者らのフレームワークは,最先端の深度・動き推定法より優れていた。
  論文  参考訳（メタデータ） (2021-02-04T14:26:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。