論文の概要: Leveraging Stable Diffusion for Monocular Depth Estimation via Image Semantic Encoding

• arxiv url: http://arxiv.org/abs/2502.01666v1
• Date: Sat, 01 Feb 2025 15:37:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:02:18.653603
• Title: Leveraging Stable Diffusion for Monocular Depth Estimation via Image Semantic Encoding
• Title（参考訳）: 画像セマンティックエンコーディングによる単眼深度推定のための安定拡散の活用
• Authors: Jingming Xia, Guanqun Cao, Guang Ma, Yiben Luo, Qinzhao Li, John Oyekan,
• Abstract要約: 視覚的特徴から直接文脈情報を抽出する画像に基づくセマンティック埋め込みを提案する。 提案手法は,屋外シーンの処理におけるCLIP埋め込みの欠点に対処しながら,最先端モデルに匹敵する性能を実現する。
• 参考スコア（独自算出の注目度）: 1.0445560141983634
• License:
• Abstract: Monocular depth estimation involves predicting depth from a single RGB image and plays a crucial role in applications such as autonomous driving, robotic navigation, 3D reconstruction, etc. Recent advancements in learning-based methods have significantly improved depth estimation performance. Generative models, particularly Stable Diffusion, have shown remarkable potential in recovering fine details and reconstructing missing regions through large-scale training on diverse datasets. However, models like CLIP, which rely on textual embeddings, face limitations in complex outdoor environments where rich context information is needed. These limitations reduce their effectiveness in such challenging scenarios. Here, we propose a novel image-based semantic embedding that extracts contextual information directly from visual features, significantly improving depth prediction in complex environments. Evaluated on the KITTI and Waymo datasets, our method achieves performance comparable to state-of-the-art models while addressing the shortcomings of CLIP embeddings in handling outdoor scenes. By leveraging visual semantics directly, our method demonstrates enhanced robustness and adaptability in depth estimation tasks, showcasing its potential for application to other visual perception tasks.
• Abstract（参考訳）: 単眼深度推定は、単一のRGB画像から深度を予測し、自律運転、ロボットナビゲーション、3D再構成などのアプリケーションにおいて重要な役割を果たす。 学習に基づく手法の最近の進歩は、深さ推定性能を著しく改善した。 生成モデル、特に安定拡散は、様々なデータセットの大規模なトレーニングを通じて、詳細な詳細を回復し、行方不明な領域を再構築する大きな可能性を示している。 しかし、テキストの埋め込みに依存するCLIPのようなモデルは、リッチなコンテキスト情報が必要な複雑な屋外環境で制限に直面している。 これらの制限は、このような困難なシナリオにおける有効性を低下させる。 本稿では,視覚的特徴から直接文脈情報を抽出し,複雑な環境下での深度予測を大幅に改善する,画像に基づくセマンティック埋め込みを提案する。 KITTIとWaymoのデータセットから評価し,CLIP埋め込みの欠点に対処しながら,最先端モデルに匹敵する性能を実現する。 視覚的セマンティクスを直接活用することにより、深度推定タスクにおける頑健性と適応性を向上し、他の視覚的知覚タスクへの応用の可能性を示す。

関連論文リスト

• IDArb: Intrinsic Decomposition for Arbitrary Number of Input Views and Illuminations [64.07859467542664]
  画像から幾何学的および物質的情報をキャプチャすることは、コンピュータビジョンとグラフィックスの基本的な課題である。 従来の最適化に基づく手法では、密集した多視点入力から幾何学、材料特性、環境照明を再構築するために数時間の計算時間を必要とすることが多い。 IDArbは、様々な照明条件下で、任意の画像に対して本質的な分解を行うために設計された拡散モデルである。
  論文  参考訳（メタデータ） (2024-12-16T18:52:56Z)
• Structure-Centric Robust Monocular Depth Estimation via Knowledge Distillation [9.032563775151074]
  単眼深度推定はコンピュータビジョンにおける3次元知覚の重要な手法である。 現実のシナリオでは、悪天候の変動、動きのぼやけ、夜間の照明条件の悪いシーンなど、大きな課題に直面している。 我々は,局所的なテクスチャへの過度な依存を低減し,パターンの欠落や干渉に対する堅牢性を向上するための新しいアプローチを考案した。
  論文  参考訳（メタデータ） (2024-10-09T15:20:29Z)
• Diffusion Models for Monocular Depth Estimation: Overcoming Challenging Conditions [30.148969711689773]
  本稿では, 単一画像深度推定タスクにおいて, ディストリビューションデータの挑戦によって生じる複雑さに対処する新しい手法を提案する。 我々は,包括的課題と関連する深度情報を用いて,新たなユーザ定義シーンを体系的に生成する。 これは、深度認識制御による最先端のテキスト・画像拡散モデルを活用することで実現される。
  論文  参考訳（メタデータ） (2024-07-23T17:59:59Z)
• Fast Context-Based Low-Light Image Enhancement via Neural Implicit Representations [6.113035634680655]
  現在のディープラーニングベースの低照度画像強調手法は高解像度画像としばしば競合する。 我々は、未露出画像の2次元座標を照明成分にマッピングすることで、拡張過程を再定義する、CoLIEと呼ばれる新しいアプローチを導入する。
  論文  参考訳（メタデータ） (2024-07-17T11:51:52Z)
• Depth-aware Volume Attention for Texture-less Stereo Matching [67.46404479356896]
  実用的な屋外シナリオにおけるテクスチャ劣化に対処する軽量なボリューム改善手法を提案する。 画像テクスチャの相対的階層を抽出し,地中深度マップによって教師される深度体積を導入する。 局所的な微細構造と文脈は、体積凝集時のあいまいさと冗長性を緩和するために強調される。
  論文  参考訳（メタデータ） (2024-02-14T04:07:44Z)
• Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
  本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。 学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。 提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
  論文  参考訳（メタデータ） (2023-12-22T14:40:55Z)
• Robust Geometry-Preserving Depth Estimation Using Differentiable Rendering [93.94371335579321]
  我々は、余分なデータやアノテーションを必要とせずに、幾何学保存深度を予測するためにモデルを訓練する学習フレームワークを提案する。 包括的な実験は、我々のフレームワークの優れた一般化能力を強調します。 我々の革新的な損失関数は、ドメイン固有のスケール・アンド・シフト係数を自律的に復元するモデルを可能にします。
  論文  参考訳（メタデータ） (2023-09-18T12:36:39Z)
• SC-DepthV3: Robust Self-supervised Monocular Depth Estimation for Dynamic Scenes [58.89295356901823]
  自己監督型単眼深度推定は静的な場面で顕著な結果を示した。 トレーニングネットワークのマルチビュー整合性の仮定に依存するが、動的オブジェクト領域に違反する。 単一画像の深度を事前に生成するための,外部トレーニング付き単眼深度推定モデルを提案する。 我々のモデルは、高度にダイナミックなシーンのモノクロビデオからトレーニングしても、シャープで正確な深度マップを予測できる。
  論文  参考訳（メタデータ） (2022-11-07T16:17:47Z)
• Monocular Depth Estimation Using Cues Inspired by Biological Vision Systems [22.539300644593936]
  単眼深度推定(MDE)は、シーンのRGB画像を同じカメラビューから画素幅の深度マップに変換することを目的としている。 MDEタスクの一部は、画像内のどの視覚的手がかりを深度推定に使用できるか、どのように使うかを学ぶことである。 モデルに視覚的キュー情報を明示的に注入することは深度推定に有用であることを示す。
  論文  参考訳（メタデータ） (2022-04-21T19:42:36Z)
• A Deeper Look into DeepCap [96.67706102518238]
  そこで本研究では,単分子密集型人間のパフォーマンスキャプチャのための新しい深層学習手法を提案する。 本手法は,多視点監視に基づく弱教師付き方式で訓練されている。 我々のアプローチは、品質と堅牢性の観点から、芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2021-11-20T11:34:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。