論文の概要: From Editor to Dense Geometry Estimator

• arxiv url: http://arxiv.org/abs/2509.04338v1
• Date: Thu, 04 Sep 2025 15:58:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-05 20:21:10.212883
• Title: From Editor to Dense Geometry Estimator
• Title（参考訳）: 編者から高密度幾何推定器へ
• Authors: JiYuan Wang, Chunyu Lin, Lei Sun, Rongying Liu, Lang Nie, Mingxing Li, Kang Liao, Xiangxiang Chu, Yao Zhao,
• Abstract要約: 密度幾何予測のための拡散変換器(DiT)アーキテクチャに基づく高度な編集モデルを適用するフレームワークである textbfFE2E を紹介する。 FE2EはETH3Dデータセットで35%以上のパフォーマンス向上を実現し、100$times$データでトレーニングされたDepthAnythingシリーズを上回っている。
• 参考スコア（独自算出の注目度）: 77.21804448599009
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Leveraging visual priors from pre-trained text-to-image (T2I) generative models has shown success in dense prediction. However, dense prediction is inherently an image-to-image task, suggesting that image editing models, rather than T2I generative models, may be a more suitable foundation for fine-tuning. Motivated by this, we conduct a systematic analysis of the fine-tuning behaviors of both editors and generators for dense geometry estimation. Our findings show that editing models possess inherent structural priors, which enable them to converge more stably by ``refining" their innate features, and ultimately achieve higher performance than their generative counterparts. Based on these findings, we introduce \textbf{FE2E}, a framework that pioneeringly adapts an advanced editing model based on Diffusion Transformer (DiT) architecture for dense geometry prediction. Specifically, to tailor the editor for this deterministic task, we reformulate the editor's original flow matching loss into the ``consistent velocity" training objective. And we use logarithmic quantization to resolve the precision conflict between the editor's native BFloat16 format and the high precision demand of our tasks. Additionally, we leverage the DiT's global attention for a cost-free joint estimation of depth and normals in a single forward pass, enabling their supervisory signals to mutually enhance each other. Without scaling up the training data, FE2E achieves impressive performance improvements in zero-shot monocular depth and normal estimation across multiple datasets. Notably, it achieves over 35\% performance gains on the ETH3D dataset and outperforms the DepthAnything series, which is trained on 100$\times$ data. The project page can be accessed \href{https://amap-ml.github.io/FE2E/}{here}.
• Abstract（参考訳）: 事前訓練されたテキスト・ツー・イメージ(T2I)生成モデルからの視覚的先行情報を活用することは、密集した予測に成功している。 しかし、濃密な予測は本質的にイメージ・ツー・イメージのタスクであり、T2I生成モデルよりも画像編集モデルの方が微調整に適している可能性を示唆している。 そこで我々は,高密度幾何推定のためのエディターとジェネレータの両方の微調整挙動を体系的に解析する。 本研究は, 編集モデルに固有の構造的先行性があることを示し, 生来の特徴を「改良」することにより, より安定的に収束し, 最終的に, 生成する特徴よりも高い性能を達成できることを示した。 これらの知見に基づいて,Diffusion Transformer (DiT) アーキテクチャに基づく高度な編集モデルを先駆的に適用し,密度幾何学的予測を行うフレームワークである \textbf{FE2E} を紹介する。 具体的には、この決定論的タスクのために編集者を調整するために、編集者の元々のフローマッチング損失を「一貫性ベロシティ」訓練目標に再構成する。 また、対数量子化を用いて、エディタのネイティブなBFloat16フォーマットとタスクの高精度要求の間の精度の衝突を解決する。 さらに,DiTのグローバルな関心を,1つのフォワードパスにおける深度と正常値のコスト不要な共同推定に利用することにより,相互に監視信号が強化される。 トレーニングデータをスケールアップすることなく、FE2Eは、ゼロショットの単眼深度と、複数のデータセットにわたる通常の推定において、素晴らしいパフォーマンス向上を実現している。 特に、ETH3Dデータセットで35\%以上のパフォーマンス向上を実現し、100$\times$データでトレーニングされたDepthAnythingシリーズを上回っている。 プロジェクトページは \href{https://amap-ml.github.io/FE2E/}{here} にアクセスできる。

関連論文リスト

• RobustSplat: Decoupling Densification and Dynamics for Transient-Free 3DGS [79.15416002879239]
  3D Gaussian Splattingは、ノベルビュー合成と3Dモデリングにおけるリアルタイム、フォトリアリスティックレンダリングにおいて大きな注目を集めている。 既存の手法は、過渡的なオブジェクトに影響されたシーンを正確にモデル化するのに苦労し、描画された画像のアーティファクトに繋がる。 2つの重要な設計に基づく堅牢なソリューションであるRobustSplatを提案する。
  論文  参考訳（メタデータ） (2025-06-03T11:13:48Z)
• Depth Anything with Any Prior [64.39991799606146]
  Prior Depth Anythingは、深さ測定における不完全だが正確な計量情報と深さ予測における相対的だが完全な幾何学的構造を組み合わせたフレームワークである。 本研究では, 単眼深度推定(MDE)モデルを構築し, 深度推定の固有ノイズを改良する。 われわれのモデルは、7つの現実世界のデータセットにまたがる深度補完、超高解像度、インパインティングという、印象的なゼロショットの一般化を見せている。
  論文  参考訳（メタデータ） (2025-05-15T17:59:50Z)
• SODAWideNet++: Combining Attention and Convolutions for Salient Object Detection [3.2586315449885106]
  本稿では,Salient Object Detectionのために設計されたSODAWideNet++と呼ばれる新しいエンコーダ・デコーダ型ニューラルネットワークを提案する。 視覚変換器が初期からグローバルな受容場を得る能力に触発されて、注意誘導長距離特徴抽出(AGLRFE)モジュールを導入する。 ImageNet事前トレーニングの現在のパラダイムとは対照的に、提案したモデルエンドツーエンドの事前トレーニングのためにアノテーションをバイナライズすることで、COCOセマンティックセグメンテーションデータセットから118Kの注釈付き画像を修正します。
  論文  参考訳（メタデータ） (2024-08-29T15:51:06Z)
• S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
  外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。 本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T11:40:49Z)
• STDepthFormer: Predicting Spatio-temporal Depth from Video with a Self-supervised Transformer Model [0.0]
  ビデオ入力と空間的時間的注意ネットワークから,映像のフレーム列を同時に予測する自己教師型モデルを提案する。 提案モデルでは,物体形状やテクスチャなどの事前のシーン知識を,単一画像深度推定法に類似した手法で活用する。 マルチオブジェクト検出、セグメンテーション、トラッキングを含む複雑なモデルを必要とするのではなく、暗黙的にシーン内のオブジェクトの動きを予測することができる。
  論文  参考訳（メタデータ） (2023-03-02T12:22:51Z)
• Recursive Contour Saliency Blending Network for Accurate Salient Object Detection [0.0]
  本研究では,有能な物体検出におけるエッジ品質向上のためのネットワークを設計した。 輪郭と塩分を交換するための輪郭・塩分混合モジュールを提案した。 我々のモデルは軽量で高速で、パラメータはわずか279万、リアルタイム推論は31FPSである。
  論文  参考訳（メタデータ） (2021-05-28T14:19:54Z)
• Monocular 3D Detection with Geometric Constraints Embedding and Semi-supervised Training [3.8073142980733]
  我々は,KM3D-Netと呼ばれる,RGB画像のみを用いたモノクル3Dオブジェクト検出のための新しいフレームワークを提案する。 我々は、対象のキーポイント、次元、方向を予測するための完全な畳み込みモデルを設計し、これらの推定を視点幾何学的制約と組み合わせて位置属性を計算する。
  論文  参考訳（メタデータ） (2020-09-02T00:51:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。