論文の概要: Geometry Matters: 3D Foundation Priors for Learning Semantic Correspondence

• arxiv url: http://arxiv.org/abs/2605.30093v1
• Date: Thu, 28 May 2026 15:37:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.430299
• Title: Geometry Matters: 3D Foundation Priors for Learning Semantic Correspondence
• Title（参考訳）: 幾何学的問題:3Dファウンデーションが意味的対応の学習に先立つ
• Authors: Artur Jesslen, Olaf Dünkel, Adam Kortylewski,
• Abstract要約: 意味的対応推定のための3D認識後学習フレームワークを提案する。 我々はSAM3Dを用いてオブジェクトの形状とポーズを推定し、レンダリング・アンド・コンペア最適化によりポーズを洗練する。 結果として得られる幾何学的特徴マップは、DINOとStable Diffusionの特徴を補完する。
• 参考スコア（独自算出の注目度）: 28.529731030882065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Foundation features from self-supervised vision models and text-to-image diffusion models have proven effective for semantic correspondence estimation. However, because these features are learned primarily from 2D image objectives, they lack explicit 3D awareness and often confuse symmetric object sides, repeated parts, and visually similar structures that are distinct in 3D. We introduce a 3D-aware post-training framework that goes beyond available 2D foundation features by incorporating priors from 3D foundation models. Given an image, our method uses SAM3D to estimate object geometry and pose, and refines the pose through render-and-compare optimization. Subsequently, we render PartField descriptors from the reconstructed geometry into the image plane based on the estimated object pose. The resulting geometry-aware feature maps complement DINO and Stable Diffusion features, while geodesic distances on the reconstructed shapes enable reliable filtering of candidate correspondences. We use the filtered matches as supervision to train a lightweight adapter on top of DINO and Stable Diffusion for semantic correspondence. In contrast to prior post-training approaches that require pose annotations and rely on coarse spherical geometry, our method automatically obtains instance-specific 3D structure and uses it to guide correspondence learning. Experiments show that our approach improves semantic correspondence over the prior methods while reducing manual geometric supervision. Code and model can be found at https:/github.com/GenIntel/3D-SC.
• Abstract（参考訳）: 自己教師付き視覚モデルとテキスト間拡散モデルによる基礎的特徴は意味的対応推定に有効であることが証明されている。 しかし、これらの特徴は主に2次元画像の目的から学習されるため、明快な3次元認識が欠如し、しばしば対称な物体側面、繰り返し部分、視覚的に類似した構造を混乱させる。 3Dファウンデーションモデルの事前を組み込むことで、利用可能な2Dファウンデーション機能を超えて、3D対応のポストトレーニングフレームワークを導入します。 画像が与えられた場合、SAM3Dを用いてオブジェクトの形状とポーズを推定し、レンダリング・アンド・コンペア最適化によりポーズを洗練する。 その後、推定対象のポーズに基づいて、再構成された幾何から画像平面にPartField記述子を描画する。 得られた幾何学的特徴写像はDINOと安定拡散の特徴を補完し、再構成された形状上の測地線距離は、候補対応の信頼性の高いフィルタリングを可能にする。 我々は,DINOとStable Diffusionの上の軽量アダプタを,意味的対応のためにトレーニングするために,フィルタマッチングを監督するために使用する。 ポーズアノテーションや粗い球形形状に依存した事前学習のアプローチとは対照的に,本手法は自動的にインスタンス固有の3D構造を取得し,それを用いて対応学習を指導する。 実験により,手動の幾何学的監督を減らしながら,従来の手法よりも意味的対応性を向上させることが示された。 コードとモデルはhttps:/github.com/GenIntel/3D-SCで見ることができる。

関連論文リスト

• FLARE: Feed-forward Geometry, Appearance and Camera Estimation from Uncalibrated Sparse Views [100.45129752375658]
  FLAREは、高品質カメラのポーズと3次元幾何を、補正されていないスパースビュー画像から推定するために設計されたフィードフォワードモデルである。 本ソリューションでは,3次元構造を2次元画像平面にマッピングする上で,カメラポーズが重要なブリッジとして機能するケースケード学習パラダイムを特徴とする。
  論文  参考訳（メタデータ） (2025-02-17T18:54:05Z)
• Shape from Semantics: 3D Shape Generation from Multi-View Semantics [30.969299308083723]
  既存の3D再構成手法では, 3次元画像, 3次元点雲, 形状輪郭, 単一意味論などのガイダンスを用いて3次元表面を復元する。 図形や外観が、異なる視点から見ると、与えられたテキストの意味と一致した3Dモデルを作成することを目的として、新しい3Dモデリングタスク「Shape from Semantics'」を提案する。
  論文  参考訳（メタデータ） (2025-02-01T07:51:59Z)
• 3D Surface Reconstruction in the Wild by Deforming Shape Priors from Synthetic Data [24.97027425606138]
  1枚の画像から被写体の3次元表面を再構築することは難しい問題である。 本稿では,1枚の画像から3次元合成とオブジェクトポーズ推定を行う新しい手法を提案する。 提案手法は,複数の実世界のデータセットにまたがって,最先端の再構築性能を実現する。
  論文  参考訳（メタデータ） (2023-02-24T20:37:27Z)
• Learning Canonical 3D Object Representation for Fine-Grained Recognition [77.33501114409036]
  本研究では,1枚の画像から3次元空間における物体の変動を再現する微粒な物体認識のための新しいフレームワークを提案する。 我々は,物体を3次元形状とその外観の合成として表現し,カメラ視点の影響を排除した。 深部表現に3次元形状と外観を併用することにより,物体の識別表現を学習する。
  論文  参考訳（メタデータ） (2021-08-10T12:19:34Z)
• Canonical 3D Deformer Maps: Unifying parametric and non-parametric methods for dense weakly-supervised category reconstruction [79.98689027127855]
  独立オブジェクトの2次元画像の集合から学習できる共通オブジェクトカテゴリの3次元形状の表現を提案する。 提案手法は, パラメトリック変形モデル, 非パラメトリック3次元再構成, 標準埋め込みの概念に基づく新しい手法で構築する。 顔、車、鳥の野生のデータセットを3Dで再現することで、最先端の成果が得られます。
  論文  参考訳（メタデータ） (2020-08-28T15:44:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。