論文の概要: CANIS: Generation-Assisted 3D Canonicalization via an Image-Semantic Bridge
- arxiv url: http://arxiv.org/abs/2608.07256v1
- Date: Fri, 07 Aug 2026 14:13:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.529026
- Title: CANIS: Generation-Assisted 3D Canonicalization via an Image-Semantic Bridge
- Title(参考訳): CANIS:イメージ・セマンティック・ブリッジによる生成支援3次元正準化
- Authors: Kendong Liu, Yuxin Yao, Junhui Hou,
- Abstract要約: CANISはカテゴリーに依存しない世代支援フレームワークであり、凍結した画像から3D生成モデルに先立って意味指向を3Dの標準化に導入する。
キニスはまた、任意の回転の下で下流の3D分類、部分分割、密度の高い対応を改善している。
- 参考スコア(独自算出の注目度): 54.86517260361978
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Canonicalizing 3D object orientation is fundamental to 3D understanding and analysis. Existing approaches often rely on geometric cues, although 3D canonicalization ultimately requires a semantically meaningful orientation. To address this gap, we propose CANIS, a category-agnostic, generation-assisted framework that introduces the semantic orientation prior of a frozen image-to-3D generative model into 3D canonicalization, without canonicalization-specific training or category-specific templates. Specifically, CANIS first renders the input object from candidate viewpoints, selects an informative view, and generates a proxy in a canonical orientation. During generation, a sparse structural latent encoded from the input guides the proxy to preserve the geometry of an object. CANIS then uses the selected image as a semantic bridge between the input and the proxy. Image patches identify semantic regions on the proxy, and depth back-projection locates the corresponding regions on the input. The resulting semantic anchors constrain geometric matching, from which we estimate the rigid transformation that canonicalizes the input. Experiments on synthetic benchmarks validate CANIS and its key components, while qualitative results on partial observations and OmniObject3D suggest its applicability to incomplete and real-world scans. CANIS also improves downstream 3D classification, part segmentation, and dense correspondence under arbitrary rotations. Project page: https://kenkenzaii.github.io/Canis.
- Abstract(参考訳): 3次元オブジェクトの向きの正準化は、3次元の理解と分析の基礎となる。
既存のアプローチはしばしば幾何学的手がかりに依存するが、3D標準化は究極的には意味論的に意味のある向きを必要とする。
このギャップに対処するために,CANISを提案する。CANISは,凍結画像から3次元生成モデルに先立って意味指向を3次元の正準化に導入する,カテゴリに依存しない,世代支援フレームワークである。
具体的には、まず、候補視点から入力対象をレンダリングし、情報的視点を選択し、標準方向のプロキシを生成する。
生成中、入力から符号化されたスパース構造潜伏剤は、プロキシをガイドしてオブジェクトの幾何学を保存する。
CANISは選択したイメージを入力とプロキシの間のセマンティックブリッジとして使用する。
イメージパッチはプロキシ上のセマンティックな領域を識別し、ディープ・バック・プロジェクションは入力上の対応する領域を特定する。
結果のセマンティックアンカーは幾何マッチングを制約し、そこから入力を正準化する剛体変換を推定する。
合成ベンチマークの実験では、CANISとそのキーコンポーネントが検証され、部分的な観察とOmniObject3Dの質的な結果は、不完全で現実世界のスキャンに適用可能であることを示唆している。
CANISはまた、任意の回転の下で下流の3D分類、部分分割、高密度対応を改善している。
プロジェクトページ: https://kenzaii.github.io/Canis.com
関連論文リスト
- Geometry Matters: 3D Foundation Priors for Learning Semantic Correspondence [28.529731030882065]
意味的対応推定のための3D認識後学習フレームワークを提案する。
我々はSAM3Dを用いてオブジェクトの形状とポーズを推定し、レンダリング・アンド・コンペア最適化によりポーズを洗練する。
結果として得られる幾何学的特徴マップは、DINOとStable Diffusionの特徴を補完する。
論文 参考訳(メタデータ) (2026-05-28T15:37:59Z) - GeoPurify: A Data-Efficient Geometric Distillation Framework for Open-Vocabulary 3D Segmentation [57.8059956428009]
2次元視覚言語モデルから3次元セマンティックセグメンテーションへ機能を移行しようとする最近の試みは、永続的なトレードオフを露呈している。
3次元教師モデルから抽出した幾何学的事前情報を用いて2次元VLM生成した3次元点特徴に小さな学生親和性ネットワークを適用したGeoPurifyを提案する。
遅延幾何学情報と学習された親和性ネットワークから恩恵を受けることで、GeoPurifyはトレードオフを効果的に軽減し、優れたデータ効率を実現する。
論文 参考訳(メタデータ) (2025-10-02T16:37:56Z) - 3D Congealing: 3D-Aware Image Alignment in the Wild [44.254247801001675]
3D Congealingは、意味的に類似したオブジェクトをキャプチャする2D画像の3D対応アライメントの問題である。
形状テンプレートやポーズ,あるいは任意のカメラパラメータを仮定することなく,タスクに対処する一般的なフレームワークを導入する。
我々のフレームワークは、対応マッチング、ポーズ推定、画像編集といった様々なタスクに利用できる。
論文 参考訳(メタデータ) (2024-04-02T17:32:12Z) - SNAKE: Shape-aware Neural 3D Keypoint Field [62.91169625183118]
形状復元には点雲から3Dキーポイントを検出することが重要である。
形状再構成は3次元キーポイント検出に有効か?
本稿では,形状認識型ニューラル3Dキーポイントフィールドに短いSNAKEという,教師なしの新たなパラダイムを提案する。
論文 参考訳(メタデータ) (2022-06-03T17:58:43Z) - Topologically-Aware Deformation Fields for Single-View 3D Reconstruction [30.738926104317514]
本稿では,非整合なカテゴリ固有の画像収集から3次元オブジェクト形状と密接なオブジェクト対応を学習するための新しいフレームワークを提案する。
3次元形状は、カテゴリー固有符号距離場への変形として暗黙的に生成される。
TARSと呼ばれる我々の手法は、いくつかのデータセット上で最先端の再構築忠実性を実現する。
論文 参考訳(メタデータ) (2022-05-12T17:59:59Z) - ConDor: Self-Supervised Canonicalization of 3D Pose for Partial Shapes [55.689763519293464]
ConDorは、完全および部分的な3次元点雲の3次元配向と位置を正準化することを学ぶ自己教師型手法である。
推測中,本手法は任意のポーズで完全あるいは部分的な3次元点の雲を抽出し,同変正則のポーズを出力する。
論文 参考訳(メタデータ) (2022-01-19T18:57:21Z) - Learning 3D Dense Correspondence via Canonical Point Autoencoder [108.20735652143787]
同一カテゴリの3次元形状間の密接な対応を予測できる標準点オートエンコーダ(CPAE)を提案する。
オートエンコーダは、2つの重要な機能を実行する: (a) 任意に順序付けられた点雲を標準プリミティブに符号化し、 (b) プリミティブを元の入力インスタンス形状に復号する。
論文 参考訳(メタデータ) (2021-07-10T15:54:48Z) - Canonical 3D Deformer Maps: Unifying parametric and non-parametric
methods for dense weakly-supervised category reconstruction [79.98689027127855]
独立オブジェクトの2次元画像の集合から学習できる共通オブジェクトカテゴリの3次元形状の表現を提案する。
提案手法は, パラメトリック変形モデル, 非パラメトリック3次元再構成, 標準埋め込みの概念に基づく新しい手法で構築する。
顔、車、鳥の野生のデータセットを3Dで再現することで、最先端の成果が得られます。
論文 参考訳(メタデータ) (2020-08-28T15:44:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。