論文の概要: SemGeo-Gen: Unsupervised Generation of Approximate Cross-Instance Semantic-Geometric Correspondences
- arxiv url: http://arxiv.org/abs/2610.32663v1
- Date: Fri, 23 Oct 2026 14:07:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.540552
- Title: SemGeo-Gen: Unsupervised Generation of Approximate Cross-Instance Semantic-Geometric Correspondences
- Title（参考訳）: SemGeo-Gen: 近似クロスインスタンス・セマンティック・ジオメトリック対応の教師なし生成
- Abstract要約: SemGeo-Genは、弱い配列の3Dオブジェクトコレクションから意味幾何学的監視を生成する教師なしの手法である。
我々は,KeypointNet から得られた疎明な人間のアノテーションに対して,生成された対応を検証した。
合成事前学習のために生成された対応を利用して、SPair-71k上の最新の最先端の意味対応モデルを改善する。
- 参考スコア（独自算出の注目度）: 9.392713637367661
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce SemGeo-Gen, an unsupervised method for generating approximate cross-instance semantic-geometric supervision from weakly aligned 3D object collections. Our goal is not to recover exact point-level correspondences, which are often ambiguous across different instances and would require expensive, impractical manual supervision at scale. Instead, we automatically produce approximate correspondences that are semantically meaningful, geometrically consistent, and diverse enough to train modern correspondence models. Given only coarse category-level rotation alignment, SemGeo-Gen lifts multi-view DINOv2 features to 3D, aligns object instances using continuous piecewise-affine registration, and prunes candidate matches using semantic consistency. The resulting 3D correspondences can be projected into rendered views, yielding scalable 3D-3D, 3D-2D, and 2D-2D supervision without manual annotation. We validate the generated correspondences against sparse human annotations from KeypointNet, obtaining 93% PCK@0.10 and 97% PCK@0.15. More importantly, we show that using the generated correspondences for synthetic pretraining improves recent state-of-the-art semantic correspondence models on SPair-71k after fine-tuning on real data, with gains of up to 5 PCK@0.10 points. Together, these results indicate that approximate semantic-geometric supervision generated from 3D assets can improve real-image correspondence learning and serve as a scalable alternative to costly manual annotation. Project page: https://bgu-cs-vil.github.io/SemGeo-Gen/.
- Abstract（参考訳）: 本稿では,弱い3次元オブジェクトコレクションから近似的クロスインスタンス・セマンティック・ジオメトリ・インフォメーションを生成するための教師なし手法であるSemGeo-Genを紹介する。
私たちのゴールは、しばしば異なるインスタンス間であいまいで、大規模で非現実的な手動の監督を必要とする、正確なポイントレベルの対応を回復しないことです。
代わりに、意味論的に意味があり、幾何的に一貫性があり、現代の対応モデルを訓練するのに十分な多様性を持つ近似対応を自動生成する。
粗いカテゴリレベルのローテーションアライメントのみを前提として、SemGeo-GenはDINOv2のマルチビュー機能を3Dに引き上げ、連続的なピースワイドアフィン登録を使用してオブジェクトインスタンスをアライメントし、セマンティック一貫性を使って候補マッチングを行う。
結果の3D対応はレンダリングビューに投影することができ、手動のアノテーションなしでスケーラブルな3D-3D、3D-2D、および2D-2Dの監視が得られる。
93%のPCK@0.10と97%のPCK@0.15を得た。
より重要なことは、生成した対応を合成事前学習に利用することで、実データの微調整後、SPair-71k上の最新の最先端セマンティック対応モデルが改善され、最大5PCK@0.10ポイントのゲインが得られることである。
これらの結果は,3次元アセットから生成された近似意味幾何学的監督がリアルタイム対応学習を改善し,コストのかかる手動アノテーションに代わるスケーラブルな代替手段として機能することを示唆している。
プロジェクトページ:https://bgu-cs-vil.github.io/SemGeo-Gen/。
関連論文リスト
- GeoPurify: A Data-Efficient Geometric Distillation Framework for Open-Vocabulary 3D Segmentation [57.8059956428009]
2次元視覚言語モデルから3次元セマンティックセグメンテーションへ機能を移行しようとする最近の試みは、永続的なトレードオフを露呈している。
3次元教師モデルから抽出した幾何学的事前情報を用いて2次元VLM生成した3次元点特徴に小さな学生親和性ネットワークを適用したGeoPurifyを提案する。
遅延幾何学情報と学習された親和性ネットワークから恩恵を受けることで、GeoPurifyはトレードオフを効果的に軽減し、優れたデータ効率を実現する。
論文 参考訳（メタデータ） (2025-10-02T16:37:56Z) - Neural Semantic Surface Maps [52.61017226479506]
本稿では,2つの属とゼロの形状の地図を自動計算する手法を提案する。
提案手法は,手動のアノテーションや3Dトレーニングデータ要求を排除し,意味的表面-表面マップを生成する。
論文 参考訳（メタデータ） (2023-09-09T16:21:56Z) - S$^2$Contact: Graph-based Network for 3D Hand-Object Contact Estimation
with Semi-Supervised Learning [70.72037296392642]
モノクロ画像から接触を学習できる新しい半教師付きフレームワークを提案する。
具体的には、大規模データセットにおける視覚的および幾何学的整合性制約を利用して擬似ラベルを生成する。
より正確な再構築を行うために手動インタラクションを規定するコンタクトマップを使用することの利点を示す。
論文 参考訳（メタデータ） (2022-08-01T14:05:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。