論文の概要: Revisiting Triplet Contrastive Learning for 3D Shape Understanding
- arxiv url: http://arxiv.org/abs/2610.19519v1
- Date: Wed, 14 Oct 2026 03:39:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.939368
- Title: Revisiting Triplet Contrastive Learning for 3D Shape Understanding
- Title(参考訳): 3次元形状理解のためのトリプルトコントラスト学習の再検討
- Abstract要約: 木のようなデータを歪みなくモデル化するのに適した形状の3次元表現を双曲型空間に埋め込むことを提案する。
我々は、クロスモーダルな3Dアライメントを包括的に評価するための厳格に検証されたベンチマークを導入する。
我々は,3次元形状分類では4.6%,クロスモーダルテキスト・ツー・3次元検索では5.5%の性能向上を図る。
- 参考スコア(独自算出の注目度): 49.21413750222541
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In multi-modal 3D pre-training, aligning 3D shapes, their 2D image counterparts, and language descriptions has made tremendous progress. However, we find that supervision from rendered images is unreliable, the semantics encoded in synthetic views are distorted due to domain gap, self-occlusion, and rendering artifacts. Instead, we learn transferable 3D representations from language only. We observe that, in real world, 3D shapes are organized in a tree-like structure, ranging from general concepts to fine-grained instances with specific attributes, while language typically denotes generic concepts and subsumes these various 3D instantiations. Hence, we propose to embed 3D representations in hyperbolic space, whose geometry is well-suited for modeling tree-like data without distortion. To capture the asymmetric hierarchy between language and 3D shapes, we further impose a partial-order relation that language entails 3D shapes. Our method, Hyperbolic Contrastive Learning (HyperCL), jointly optimizes a hyperbolic geodesic-based contrastive objective and an entailment loss to learn discriminative cross-modal representations while explicitly preserving this hierarchy. We also introduce a rigorously verified benchmark for comprehensively evaluating cross-modal 3D alignment. Across two widely used benchmarks and ours, we improve the performance up to 4.6% absolute percentage on 3D shape classification and 5.5% on cross-modal text-to-3D retrieval under the same parameter budget. The code and evaluation benchmark will be made publicly available.
- Abstract(参考訳): マルチモーダルな3D事前トレーニングでは、3D形状、それらの2D画像、言語記述が大幅に進歩した。
しかし、レンダリング画像からの監視は信頼性が低く、合成ビューに符号化されたセマンティクスは、ドメインギャップ、自己閉塞、描画アーティファクトによって歪む。
代わりに、言語のみから転送可能な3D表現を学習する。
実世界の3次元形状は、一般的な概念から特定の属性を持つ細粒度インスタンスまで、木のような構造で構成されているのに対し、言語は一般的に一般的な概念を表し、これらの様々な3次元インスタンス化を仮定する。
そこで我々は,3次元表現を双曲空間に埋め込むことを提案し,その幾何学は歪みのない木のようなデータをモデル化するのに適している。
言語と3次元形状の間の非対称な階層を捉えるために、言語が3次元形状を包含する部分次関係を課す。
提案手法であるHyperCL(Hyperbolic Contrastive Learning)は,双曲的ジオデシックに基づくコントラスト目標と,その階層を明示的に保ちながら識別的クロスモーダル表現を学習するエンテーメント損失を共同で最適化する。
また、クロスモーダルな3Dアライメントを包括的に評価するための厳格に検証されたベンチマークも導入した。
2つの広く使われているベンチマークと我々のベンチマークで、3D形状分類では4.6%、パラメータ予算では5.5%の性能向上が見られた。
コードと評価のベンチマークが公開される予定だ。
関連論文リスト
- ELSA3D: Elastic Semantic Anchoring for Unified 3D Understanding and Generation [6.660269100200303]
統一された3Dファウンデーションモデルは、単一のバックボーン内で3Dアセットを生成し、言語でそれらを推論することを目指している。
ELSA3Dは, 弾性的セマンティックアンカー, 言語構造, 幾何学的推論を, 整合した抽象スケールと共同で扱うことで, この問題に対処する統一3Dモデルである。
軽量なブロック単位ルータは計算と推論の両方をエラスティックにし、どのテキストトークンが幾何スケールのアンカーをインスタンス化するかを選択する。
論文 参考訳(メタデータ) (2026-07-07T17:59:50Z) - Omni123: Exploring 3D Native Foundation Models with Limited 3D Data by Unifying Text to 2D and 3D Generation [15.607138815246387]
Omni123は、テキストから2D、テキストから3D生成を単一の自動回帰フレームワークに統合する3Dネイティブ基盤モデルである。
実験により、Omni123はテキストガイドによる3D生成と編集を大幅に改善し、マルチモーダルな3Dワールドモデルへのスケーラブルなパスを示す。
論文 参考訳(メタデータ) (2026-04-02T17:29:38Z) - 3D-IDE: 3D Implicit Depth Emergent [45.72771473431863]
3D-Implicit Depth Emergenceは、幾何学的自己視覚から派生した創発的特性として3D知覚を再構成する手法である。
本手法により,高密度領域において3次元知覚が暗黙的に出現し,不連続な特徴を呈することができる。
提案手法は,様々な下流タスクにおいて高い性能を維持しつつ,推論遅延を55%削減する。
論文 参考訳(メタデータ) (2026-03-28T00:54:19Z) - FLEG: Feed-Forward Language Embedded Gaussian Splatting from Any Views [52.02871618456553]
FLEGは、言語に埋め込まれた3Dガウシアンをあらゆる視点から再構築するフィードフォワードネットワークである。
任意の非校正画像から2次元から3次元へのリフトのための3Dアノテーションのないトレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2025-12-19T13:04:13Z) - TAMM: TriAdapter Multi-Modal Learning for 3D Shape Understanding [28.112402580426174]
TriAdapter Multi-Modal Learning (TAMM)は3つの相乗的アダプタに基づく新しい2段階学習手法である。
TAMMは、広範囲の3Dエンコーダアーキテクチャ、事前トレーニングデータセット、下流タスクの3D表現を一貫して強化する。
論文 参考訳(メタデータ) (2024-02-28T17:18:38Z) - MvDeCor: Multi-view Dense Correspondence Learning for Fine-grained 3D
Segmentation [91.6658845016214]
そこで本研究では,2次元領域における自己教師型手法を,微細な3次元形状分割作業に活用することを提案する。
複数のビューから3次元形状を描画し、コントラスト学習フレームワーク内に密接な対応学習タスクを設置する。
その結果、学習された2次元表現はビュー不変であり、幾何学的に一貫性がある。
論文 参考訳(メタデータ) (2022-08-18T00:48:15Z) - 3D-Aware Indoor Scene Synthesis with Depth Priors [62.82867334012399]
既存の手法では、室内配置や内部の物体の多様さのため、屋内シーンのモデル化に失敗する。
室内のシーンは共通な内在構造を持たず、2次元画像のみを用いるだけでは3次元形状のモデルが適切にガイドできない。
論文 参考訳(メタデータ) (2022-02-17T09:54:29Z) - Hard Example Generation by Texture Synthesis for Cross-domain Shape
Similarity Learning [97.56893524594703]
画像に基づく3次元形状検索(IBSR)は、与えられた2次元画像の対応する3次元形状を、大きな3次元形状データベースから見つけることを目的としている。
いくつかの適応技法によるメートル法学習は、類似性学習を形作るための自然な解決策のようです。
テクスチャ合成を応用した幾何中心の多視点メトリック学習フレームワークを開発した。
論文 参考訳(メタデータ) (2020-10-23T08:52:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。