論文の概要: 3D CoCa: Contrastive Learners are 3D Captioners

• arxiv url: http://arxiv.org/abs/2504.09518v1
• Date: Sun, 13 Apr 2025 11:10:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:52:03.839482
• Title: 3D CoCa: Contrastive Learners are 3D Captioners
• Title（参考訳）: 3D CoCa: 対照的な学習者は3Dキャプション
• Authors: Ting Huang, Zeyu Zhang, Yemin Wang, Hao Tang,
• Abstract要約: 3Dキャプション(3Dキャプション)は、自然言語による3Dシーンの内容を記述することを目的としている。 対照的な視覚言語学習と3Dキャプション生成をシームレスに組み合わせた,新しい統合フレームワークである3D CoCaを提案する。
• 参考スコア（独自算出の注目度）: 10.132943642539828
• License:
• Abstract: 3D captioning, which aims to describe the content of 3D scenes in natural language, remains highly challenging due to the inherent sparsity of point clouds and weak cross-modal alignment in existing methods. To address these challenges, we propose 3D CoCa, a novel unified framework that seamlessly combines contrastive vision-language learning with 3D caption generation in a single architecture. Our approach leverages a frozen CLIP vision-language backbone to provide rich semantic priors, a spatially-aware 3D scene encoder to capture geometric context, and a multi-modal decoder to generate descriptive captions. Unlike prior two-stage methods that rely on explicit object proposals, 3D CoCa jointly optimizes contrastive and captioning objectives in a shared feature space, eliminating the need for external detectors or handcrafted proposals. This joint training paradigm yields stronger spatial reasoning and richer semantic grounding by aligning 3D and textual representations. Extensive experiments on the ScanRefer and Nr3D benchmarks demonstrate that 3D CoCa significantly outperforms current state-of-the-arts by 10.2% and 5.76% in CIDEr at 0.5IoU, respectively. Code will be available at https://github.com/AIGeeksGroup/3DCoCa.
• Abstract（参考訳）: 自然言語による3Dシーンの内容を記述することを目的とした3Dキャプションは,点雲の空間性や既存手法の弱いクロスモーダルアライメントのため,依然として極めて困難である。 これらの課題に対処するために,コントラスト型視覚言語学習と3Dキャプション生成をシームレスに結合する,新しい統合フレームワークである3D CoCaを提案する。 提案手法では, 凍結したCLIP視覚言語バックボーンを用いて, リッチなセマンティック先行情報, 空間的に認識可能な3次元シーンエンコーダ, マルチモーダルデコーダを用いて記述キャプションを生成する。 明示的なオブジェクトの提案に依存する以前の2段階の手法とは異なり、3D CoCaは、共通特徴空間におけるコントラストとキャプションの目的を共同で最適化し、外部検出器や手作りの提案を不要にする。 この共同学習パラダイムは、3次元およびテキスト表現を整列させることにより、より強い空間的推論とよりリッチなセマンティックグラウンド化をもたらす。 ScanReferとNr3Dのベンチマークによる大規模な実験では、3D CoCaは0.5IoUのCIDErにおいて、それぞれ10.2%と5.76%で現在の最先端を著しく上回っている。 コードはhttps://github.com/AIGeeksGroup/3DCoCaで入手できる。

関連論文リスト

• AugRefer: Advancing 3D Visual Grounding via Cross-Modal Augmentation and Spatial Relation-based Referring [49.78120051062641]
  3Dビジュアルグラウンドティングは、自然言語記述と対象物とを3Dシーン内で関連付けることを目的としている。 既存のアプローチでは、トレーニング用に利用可能なテキスト3Dペアが不足しているのが一般的である。 AugReferは3次元視覚的接地を前進させる新しい手法である。
  論文  参考訳（メタデータ） (2025-01-16T09:57:40Z)
• 3D Scene Graph Guided Vision-Language Pre-training [11.131667398927394]
  3次元視覚言語推論(VL)は、3次元物理世界を自然言語記述で橋渡しする可能性から注目されている。 既存のアプローチは通常、タスク固有の高度に専門化されたパラダイムに従う。 本稿では,3次元シーングラフ誘導型視覚言語事前学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-27T16:10:44Z)
• Collaborative Novel Object Discovery and Box-Guided Cross-Modal Alignment for Open-Vocabulary 3D Object Detection [34.91703960513125]
  CoDAv2は、新しい3Dオブジェクトのローカライズと分類の両方に取り組むために設計された統一フレームワークである。 CoDAv2は、高いマージンで最高のパフォーマンスの方法より優れている。 ソースコードと事前トレーニングされたモデルはGitHubプロジェクトページで公開されている。
  論文  参考訳（メタデータ） (2024-06-02T18:32:37Z)
• UniM-OV3D: Uni-Modality Open-Vocabulary 3D Scene Understanding with Fine-Grained Feature Representation [46.998093729036334]
  我々は,UniM-OV3Dという,マルチモーダルなオープン・ボキャブラリ・シーン理解ネットワークを提案する。 ポイントクラウドのグローバル機能とローカル機能をよりよく統合するために、階層的なポイントクラウド機能抽出モジュールを設計する。 キャプションからの粗い点列表現の学習を容易にするために,階層型3Dキャプションペアの利用を提案する。
  論文  参考訳（メタデータ） (2024-01-21T04:13:58Z)
• TeMO: Towards Text-Driven 3D Stylization for Multi-Object Meshes [67.5351491691866]
  我々は,多目的3Dシーンを解析し,そのスタイルを編集する,TeMOと呼ばれる新しいフレームワークを提案する。 提案手法は,高品質なスタイリングコンテンツを合成し,多目的3Dメッシュで既存手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-12-07T12:10:05Z)
• Sculpting Holistic 3D Representation in Contrastive Language-Image-3D Pre-training [51.632418297156605]
  コントラスト型言語画像3D事前学習において, ホロリスティックな3D表現を彫刻するMixCon3Dを提案する。 相補的な視点から3次元オブジェクトレベルの表現を開発する。 次に、MixCon3Dは言語3Dのコントラスト学習を行い、現実世界の3Dオブジェクトを包括的に表現し、テキストアライメントを強化する。
  論文  参考訳（メタデータ） (2023-11-03T06:05:36Z)
• Lowis3D: Language-Driven Open-World Instance-Level 3D Scene Understanding [57.47315482494805]
  オープンワールドのインスタンスレベルのシーン理解は、アノテーション付きデータセットに存在しない未知のオブジェクトカテゴリを特定し、認識することを目的としている。 モデルは新しい3Dオブジェクトをローカライズし、それらのセマンティックなカテゴリを推論する必要があるため、この課題は難しい。 本稿では,3Dシーンのキャプションを生成するために,画像テキストペアからの広範な知識を符号化する,事前学習型視覚言語基盤モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-01T07:50:14Z)
• Distilling Coarse-to-Fine Semantic Matching Knowledge for Weakly Supervised 3D Visual Grounding [58.924180772480504]
  3Dビジュアルグラウンドリングは、所定の文クエリに対応する3Dシーンでターゲットオブジェクトを見つけることを含む。 弱教師付きアノテーションを利用して3次元視覚的接地モデルを学ぶことを提案する。 オブジェクトの提案と文のセマンティックな類似性を粗大な方法で解析する新しいセマンティックマッチングモデルを設計する。
  論文  参考訳（メタデータ） (2023-07-18T13:49:49Z)
• Multi-CLIP: Contrastive Vision-Language Pre-training for Question Answering tasks in 3D Scenes [68.61199623705096]
  一般的な言語知識と視覚概念を2次元画像から3次元シーン理解に適用するためのトレーニングモデルは、研究者が最近探求を始めたばかりの有望な方向である。 そこで本研究では,モデルによる3次元シーンポイントクラウド表現の学習を可能にする,新しい3次元事前学習手法であるMulti-CLIPを提案する。
  論文  参考訳（メタデータ） (2023-06-04T11:08:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。