論文の概要: SemAlign3D: Semantic Correspondence between RGB-Images through Aligning 3D Object-Class Representations

• arxiv url: http://arxiv.org/abs/2503.22462v1
• Date: Fri, 28 Mar 2025 14:14:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:29:18.730236
• Title: SemAlign3D: Semantic Correspondence between RGB-Images through Aligning 3D Object-Class Representations
• Title（参考訳）: SemAlign3D:3次元オブジェクトクラス表現のアライメントによるRGB画像間の意味的対応
• Authors: Krispin Wandel, Hesheng Wang,
• Abstract要約: 単分子深度推定とLVM特徴量から3次元オブジェクトクラス表現を構築するための,単純だが効果的な手法を提案する。 入力RGB画像における3次元オブジェクトクラス表現とオブジェクトクラスインスタンスとのアライメントを得るために、勾配降下を用いて最小化できるアライメントエネルギーを定式化する。 提案手法は,SPair-71kデータセットに挑戦する複数のカテゴリにおいて,最先端のマッチング精度を実現する。
• 参考スコア（独自算出の注目度）: 9.77843053500054
• License:
• Abstract: Semantic correspondence made tremendous progress through the recent advancements of large vision models (LVM). While these LVMs have been shown to reliably capture local semantics, the same can currently not be said for capturing global geometric relationships between semantic object regions. This problem leads to unreliable performance for semantic correspondence between images with extreme view variation. In this work, we aim to leverage monocular depth estimates to capture these geometric relationships for more robust and data-efficient semantic correspondence. First, we introduce a simple but effective method to build 3D object-class representations from monocular depth estimates and LVM features using a sparsely annotated image correspondence dataset. Second, we formulate an alignment energy that can be minimized using gradient descent to obtain an alignment between the 3D object-class representation and the object-class instance in the input RGB-image. Our method achieves state-of-the-art matching accuracy in multiple categories on the challenging SPair-71k dataset, increasing the PCK@0.1 score by more than 10 points on three categories and overall by 3.3 points from 85.6% to 88.9%. Additional resources and code are available at https://dub.sh/semalign3d.
• Abstract（参考訳）: セマンティック対応は、近年の大型視覚モデル(LVM)の進歩によって大きく進歩した。 これらのLVMは、局所的な意味論を確実に捉えることが示されているが、現在、意味的対象領域間のグローバルな幾何学的関係を捉えるために、同じことは言えない。 この問題は、極端なビュー変動を持つ画像間のセマンティック対応において、信頼性の低い性能をもたらす。 本研究では,これらの幾何学的関係を,より堅牢でデータ効率の良い意味対応のために捉えるために,単眼深度推定を活用することを目的とする。 まず,単分子深度推定とLVM特徴量から3次元オブジェクトクラス表現を簡易かつ効果的に構築する手法を提案する。 第二に、3Dオブジェクトクラス表現と入力RGBイメージのオブジェクトクラスインスタンスとのアライメントを得るために、勾配降下を用いて最小化できるアライメントエネルギーを定式化する。 提案手法は,SPair-71kデータセットを用いて,複数のカテゴリにおける最先端マッチング精度を実現し,PCK@0.1スコアを3つのカテゴリで10点以上増加させ,総合3.3ポイントを85.6%から88.9%に引き上げた。 追加のリソースとコードはhttps://dub.sh/semalign3d.comで入手できる。

関連論文リスト

• Large Spatial Model: End-to-end Unposed Images to Semantic 3D [79.94479633598102]
  大空間モデル(LSM)は、RGB画像を直接意味的放射場に処理する。 LSMは、単一のフィードフォワード操作における幾何学、外観、意味を同時に推定する。 新しい視点で言語と対話することで、多目的ラベルマップを生成することができる。
  論文  参考訳（メタデータ） (2024-10-24T17:54:42Z)
• CVAM-Pose: Conditional Variational Autoencoder for Multi-Object Monocular Pose Estimation [3.5379836919221566]
  剛体物体のポーズを推定することはコンピュータビジョンの基本的な問題の一つである。 本稿では,多目的単分子ポーズ推定のための新しいアプローチCVAM-Poseを提案する。
  論文  参考訳（メタデータ） (2024-10-11T17:26:27Z)
• Towards Human-Level 3D Relative Pose Estimation: Generalizable, Training-Free, with Single Reference [62.99706119370521]
  人間は、単一のクエリ参照イメージペアのみを与えられたラベル/トレーニングなしで、目に見えないオブジェクトの相対的なポーズを容易に推論することができる。 そこで,本研究では,RGB-D参照から2.5D形状のRGB-D参照,オフザシェルフ微分可能なRGB-D参照,DINOv2のような事前学習モデルからのセマンティックキューを用いた3D一般化可能な相対ポーズ推定手法を提案する。
  論文  参考訳（メタデータ） (2024-06-26T16:01:10Z)
• FoundPose: Unseen Object Pose Estimation with Foundation Features [11.32559845631345]
  FoundPoseは、単一のRGB画像から見えないオブジェクトを6Dポーズで推定するモデルベースの手法である。 この方法は、オブジェクトやタスク固有のトレーニングを必要とせずに、3Dモデルを使って、新しいオブジェクトを素早くオンボードできる。
  論文  参考訳（メタデータ） (2023-11-30T18:52:29Z)
• Occ$^2$Net: Robust Image Matching Based on 3D Occupancy Estimation for Occluded Regions [14.217367037250296]
  Occ$2$Netは、3D占有率を用いて閉塞関係をモデル化し、閉塞領域の一致点を推測する画像マッチング手法である。 本手法は実世界とシミュレーションデータセットの両方で評価し,いくつかの指標における最先端手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-14T13:09:41Z)
• CheckerPose: Progressive Dense Keypoint Localization for Object Pose Estimation with Graph Neural Network [66.24726878647543]
  単一のRGB画像から固い物体の6-DoFのポーズを推定することは、非常に難しい課題である。 近年の研究では、高密度対応型解の大きな可能性を示している。 そこで本研究では,CheckerPoseというポーズ推定アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-03-29T17:30:53Z)
• LFM-3D: Learnable Feature Matching Across Wide Baselines Using 3D Signals [9.201550006194994]
  学習可能なマーカは、画像ペア間のコビジュアビリティの小さな領域だけが存在する場合、しばしば性能が低下する。 グラフニューラルネットワークに基づくモデルを用いた学習可能な特徴マッチングフレームワーク LFM-3D を提案する。 その結果,画像対の相対的ポーズ精度が向上し,画像対の相対的ポーズ精度が向上することがわかった。
  論文  参考訳（メタデータ） (2023-03-22T17:46:27Z)
• ZebraPose: Coarse to Fine Surface Encoding for 6DoF Object Pose Estimation [76.31125154523056]
  物体表面を高密度に表現できる離散ディスクリプタを提案する。 また,微粒化対応予測が可能な微粒化学習戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-17T16:16:24Z)
• Refer-it-in-RGBD: A Bottom-up Approach for 3D Visual Grounding in RGBD Images [69.5662419067878]
  RGBD画像における接地参照表現は新たな分野である。 本稿では,参照する物体が閉塞により部分的にスキャンされる場合が多い単視点rgbd画像における3次元視覚グランド化の新たな課題を提案する。 提案手法はまず,RGBD画像内の関連領域をローカライズするヒートマップを生成するために,下層の言語と視覚的特徴を融合させる。 次に、ヒートマップに基づく適応的特徴学習を行い、他のビジオ言語融合とオブジェクトレベルのマッチングを行い、最後に参照したオブジェクトを接地する。
  論文  参考訳（メタデータ） (2021-03-14T11:18:50Z)
• Geometric Correspondence Fields: Learned Differentiable Rendering for 3D Pose Refinement in the Wild [96.09941542587865]
  野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。 このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。 我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
  論文  参考訳（メタデータ） (2020-07-17T12:34:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。