論文の概要: Holo-Captioning: Toward the Text Equivalent of 3D Scenes

• arxiv url: http://arxiv.org/abs/2607.02908v1
• Date: Fri, 03 Jul 2026 03:14:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.454259
• Title: Holo-Captioning: Toward the Text Equivalent of 3D Scenes
• Title（参考訳）: ホロキャプション:3次元シーンと同等のテキストを目指して
• Abstract要約: 我々はホロキャプションを3次元シーン内のすべての実体を包括的に描写する構造化されたテキスト記述を生成するものとして定式化する。 この基盤の上に構築されたHoloScribeは,構成されたホロカプセルを生成するために,インスタンス対応の疎結合パイプラインを特徴とする新しいモデルである。 本稿では,HoloScoreという名前の総合的な評価指標を提案し,信頼性の高いモデル評価を実現するための人為的なテストセットを提案する。
• 参考スコア（独自算出の注目度）: 64.90901911061918
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work introduces holo-captioning, a novel task that strives to seek the text equivalent of 3D scenes. As the initial step, we formulate holo-captioning as generating a structured textual description that comprehensively depicts all entities within a 3D scene -- including their semantic tags, spatial locations, attributes, and inter-entity relations. To tackle this challenging task, we first develop an effective captioning engine to produce detailed descriptions of individual entity instances and instance pairs, and contribute a large-scale benchmark comprising over 15K scenes for training and evaluation. Building upon this foundation, we propose HoloScribe, a novel model that features an instance-aware decoupled pipeline for generating structured holo-captions, and further incorporates anchor-aware instance linking to identify relational instance pairs. Additionally, we propose a comprehensive evaluation metric named HoloScore, and provide a human-curated test set to ensure reliable model assessment. Experimental results demonstrate that HoloScribe significantly outperforms state-of-the-art 3D dense captioners and 3D LLM generalists, underscoring the effectiveness of our approach. Project page: https://visual-ai.github.io/holocap/
• Abstract（参考訳）: ホロカプセル化(holo-captioning)は、3Dシーンに相当するテキストを探し出そうとする新しいタスクである。 最初のステップとして、ホロキャプションを3Dシーン内のすべてのエンティティを包括的に記述する構造化テキスト記述を生成するものとして定式化します。 この課題に対処するために、まず、個々のエンティティインスタンスとインスタンスペアの詳細な記述を生成する効果的なキャプションエンジンを開発し、トレーニングと評価のために15K以上のシーンからなる大規模ベンチマークに貢献する。 この基盤の上に構築されたHoloScribeは、構造化ホロカプセルを生成するためのインスタンス認識分離パイプラインを特徴とする新しいモデルであり、さらに、アンカー認識インスタンスリンクを組み込んでリレーショナルインスタンスペアを識別する。 さらに,HoloScoreという名前の総合評価指標を提案し,信頼性の高いモデル評価を実現するための人為的なテストセットを提案する。 実験の結果,HoloScribeは最先端の3D高密度キャプション器や3D LLMジェネラリストよりも優れており,本手法の有効性が示唆された。 プロジェクトページ: https://visual-ai.github.io/holocap/

関連論文リスト

• Descrip3D: Enhancing Large Language Model-based 3D Scene Understanding with Object-Level Text Descriptions [28.185661905201222]
  Descrip3Dは自然言語を使ってオブジェクト間の関係を明示的にエンコードする新しいフレームワークである。 グラウンド、キャプション、質問応答など、さまざまなタスクを統一した推論を可能にする。
  論文  参考訳（メタデータ） (2025-07-19T09:19:16Z)
• Articulate3D: Holistic Understanding of 3D Scenes as Universal Scene Description [56.69740649781989]
  3Dシーン理解は、コンピュータビジョンにおける長年の課題であり、混合現実、ウェアラブルコンピューティング、そして具体化されたAIを実現する上で重要な要素である。 室内280のシーンに高品質な手動アノテーションを付加した専門的な3DデータセットであるArticulate3Dを紹介する。 我々はまた,部分分割を同時に予測できる新しい統一フレームワークUSDNetと,オブジェクトの動作属性の完全な仕様を提示する。
  論文  参考訳（メタデータ） (2024-12-02T11:33:55Z)
• Open-Vocabulary Octree-Graph for 3D Scene Understanding [54.11828083068082]
  Octree-Graphはオープンな3Dシーン理解のための新しいシーン表現である。 セマンティクスを記憶し、その形状に応じてオブジェクトの占有度を調節するアダプティブ・オクツリー構造を開発する。
  論文  参考訳（メタデータ） (2024-11-25T10:14:10Z)
• 3D Vision and Language Pretraining with Large-Scale Synthetic Data [28.45763758308814]
  3D Vision-Language Pre-Trainingの目的は、3Dシーンを自然言語でブリッジできるプリトレインモデルを提供することだ。 SynVL3Dは10Kの屋内シーンと1Mのオブジェクト、ビュー、ルームレベルでの記述を備えた総合的な合成シーンテキストコーパスである。 本稿では、下流タスクの微調整プロセスにおけるドメインシフトに対応するために、合成から現実へのドメイン適応を提案する。
  論文  参考訳（メタデータ） (2024-07-08T16:26:52Z)
• GHOST: Grounded Human Motion Generation with Open Vocabulary Scene-and-Text Contexts [48.28000728061778]
  本稿では,オープンな語彙シーンエンコーダをアーキテクチャに統合し,テキストとシーン間の堅牢な接続を確立する手法を提案する。 提案手法は,従来の最先端ベースラインモデルと比較すると,目標目標距離距離を最大30%削減する。
  論文  参考訳（メタデータ） (2024-04-08T18:24:12Z)
• InstructScene: Instruction-Driven 3D Indoor Scene Synthesis with Semantic Graph Prior [27.773451301040424]
  InstructSceneは、セマンティックグラフとレイアウトデコーダを統合する新しい生成フレームワークである。 本稿では,提案手法が既存の最先端手法をはるかに上回ることを示す。
  論文  参考訳（メタデータ） (2024-02-07T10:09:00Z)
• Chat-Scene: Bridging 3D Scene and Large Language Models with Object Identifiers [65.51132104404051]
  オブジェクトレベルのシーンと対話するために、オブジェクト識別子とオブジェクト中心表現を導入する。 我々のモデルは、ScanRefer、Multi3DRefer、Scan2Cap、ScanQA、SQA3Dなど、既存のベンチマーク手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-12-13T14:27:45Z)
• Lowis3D: Language-Driven Open-World Instance-Level 3D Scene Understanding [57.47315482494805]
  オープンワールドのインスタンスレベルのシーン理解は、アノテーション付きデータセットに存在しない未知のオブジェクトカテゴリを特定し、認識することを目的としている。 モデルは新しい3Dオブジェクトをローカライズし、それらのセマンティックなカテゴリを推論する必要があるため、この課題は難しい。 本稿では,3Dシーンのキャプションを生成するために,画像テキストペアからの広範な知識を符号化する,事前学習型視覚言語基盤モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-01T07:50:14Z)
• OpenScene: 3D Scene Understanding with Open Vocabularies [73.1411930820683]
  従来の3Dシーン理解アプローチは、単一のタスクのためにモデルをトレーニングするためのラベル付き3Dデータセットに依存している。 私たちは,CLIP機能空間にテキストと画像ピクセルを埋め込んだ3次元シーンポイントの高密度な特徴をモデルが予測する代替手法OpenSceneを提案する。 このゼロショットアプローチは、タスク非依存のトレーニングとオープン語彙クエリを可能にする。
  論文  参考訳（メタデータ） (2022-11-28T18:58:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。