論文の概要: CapFrame: Text-Instructed Viewpoint Grounding in 3D Gaussian Scenes via Geometric Pseudo Labels

• arxiv url: http://arxiv.org/abs/2608.30342v1
• Date: Mon, 31 Aug 2026 06:56:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.273546
• Title: CapFrame: Text-Instructed Viewpoint Grounding in 3D Gaussian Scenes via Geometric Pseudo Labels
• Title（参考訳）: CapFrame:幾何学的擬似ラベルによる3次元ガウスシーンにおけるテキスト指示視点グラウンド
• Abstract要約: CapFrameは関連するビューを取得し、MLLMによる質問評価プロセスを通じてランク付けするフレームワークである。 命令を向きとレイアウトの擬似ラベルに変換し、3DGSでレイアウトと向きのロスを伴って、異なる最適化によってカメラのポーズを洗練する。 実験により、CapFrameは視点探索や適応された軌道生成ベースラインよりもテキストに整合した視点を生成することが示された。
• 参考スコア（独自算出の注目度）: 25.993887800734047
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: 3D Gaussian Splatting (3DGS) enables photorealistic real-time novel view synthesis, yet placing a virtual camera to capture a desired frame remains largely manual. Existing language-guided approaches in 3D scenes mainly focus on object-centric grounding, determining what to observe but rarely controlling how it should appear in a single frame, such as subject orientation or frame layout. To address this limitation, we introduce a new task, Text-Instructed Viewpoint Grounding (TIVG), which aims to identify a 6-DoF camera pose in a 3D Gaussian scene whose rendered frame aligns with a text instruction. To solve this task, we propose CapFrame, a partially differentiable framework that converts language into geometric pseudo labels for camera pose optimization. CapFrame follows a Retrieve-Translate-Refine pipeline: it retrieves relevant views and ranks them through a Question-Evaluation process with MLLMs, translates the instruction into orientation and layout pseudo labels, and refines the camera pose via differentiable optimization with layout and orientation losses in 3DGS. Experiments on 38 real-world scenes with 135 instructions indicate that CapFrame produces viewpoints better aligned with texts than heuristic viewpoint search and adapted trajectory generation baselines, validated by VLM metrics, MLLM judges, and user studies. Code is available at: https://github.com/jirongli/CapFrame
• Abstract（参考訳）: 3D Gaussian Splatting(3DGS)は、フォトリアリスティックなリアルタイムのノベルビュー合成を可能にする。 既存の3Dシーンにおける言語誘導アプローチは、主にオブジェクト中心のグラウンド化に焦点を当て、何を見るかを決定するが、対象の向きやフレームレイアウトのような単一のフレームにどのように現れるかを制御することは滅多にない。 この制限に対処するため,テキスト・インストラクト・ビューポイント・グラウンディング(TIVG)という新たなタスクを導入し,描画フレームがテキスト・インストラクションと整合する3Dガウスシーンにおける6-DoFカメラのポーズを特定することを目的とした。 この課題を解決するために、カメラポーズ最適化のために、言語を幾何学的擬似ラベルに変換する部分微分可能なフレームワークであるCapFrameを提案する。 CapFrameはRetrieve-Translate-Refineパイプラインに従い、関連するビューを検索し、MLLMで質問評価プロセスを通じてランク付けし、命令を向きとレイアウトの擬似ラベルに変換し、3DGSでレイアウトと向きの損失を伴って、異なる最適化によってカメラのポーズを洗練する。 135の指示で38の現実世界のシーンでの実験では、CapFrameはヒューリスティックな視点探索や、VLMメトリクス、MLLM審査員、ユーザスタディによって検証された軌道生成ベースラインよりも、テキストに整合した視点を生成する。 コードは、https://github.com/jirongli/CapFrameで入手できる。

関連論文リスト

• SceneGraphGrounder: Zero-Shot 3D Visual Grounding via Structured Scene Graph Matching [2.4737219202679808]
  SceneGrapherは,再構成された3次元シーングラフ上の構造化グラフマッチングとして3次元グラウンドを再構成するフレームワークである。 我々は,移動ロボットによる実世界展開によるフレームワークの実証を行い,長距離物理環境における堅牢な空間推論を実証した。
  論文  参考訳（メタデータ） (2026-05-20T22:30:51Z)
• LEXI-SG: Monocular 3D Scene Graph Mapping with Room-Guided Feed-Forward Reconstruction [8.98107488470312]
  LEXI-SGは、RGBカメラ入力のみを用いたオープン語彙の3Dシーングラフのための初めての高密度モノクロマッピングシステムである。 提案手法は,オープン語彙基盤モデルのセマンティックな先行性を利用して,シーンを部屋に分割する。 LEXI-SGは、モノクロRGBだけで、正確でスケーラブルでオープンな3Dシーングラフを実現できることを示した。
  論文  参考訳（メタデータ） (2026-05-13T16:19:02Z)
• Contrastive Language-Colored Pointmap Pretraining for Unified 3D Scene Understanding [20.492325896478555]
  マルチビュー色付きポイントマップからシーンの統一表現を学習するトランスフォーマーベースのエンコーダUniScene3Dを提案する。 ロバストな色付きポイントマップ表現学習には、新しいクロスビュー幾何アライメントと接地されたビューアライメントを導入する。 これらの結果は,統一的な3次元シーン理解のためのアプローチの有効性を浮き彫りにした。
  論文  参考訳（メタデータ） (2026-04-02T21:54:43Z)
• RoamScene3D: Immersive Text-to-3D Scene Generation via Adaptive Object-aware Roaming [79.81527946524098]
  RoamScene3Dはセマンティックガイダンスと空間生成のギャップを埋める新しいフレームワークである。 我々は、オブジェクト関係を符号化するシーングラフを構築するために、視覚言語モデル(VLM)を用いる。 静的な2Dプリミティブの制約を軽減するため、合成パノラマデータセットに微調整されたモーションインジェクトインペインティングモデルを導入する。
  論文  参考訳（メタデータ） (2026-01-27T10:10:55Z)
• NVSMask3D: Hard Visual Prompting with Camera Pose Interpolation for 3D Open Vocabulary Instance Segmentation [14.046423852723615]
  本稿では,3次元ガウシアン・スプレイティングに基づくハードビジュアル・プロンプト手法を導入し,対象物に関する多様な視点を創出する。 提案手法は現実的な3次元視点をシミュレートし,既存のハード・ビジュアル・プロンプトを効果的に増強する。 このトレーニングフリー戦略は、事前のハード・ビジュアル・プロンプトとシームレスに統合され、オブジェクト記述的特徴が強化される。
  論文  参考訳（メタデータ） (2025-04-20T14:39:27Z)
• Generating 3D-Consistent Videos from Unposed Internet Photos [68.944029293283]
  カメラパラメータなどの3Dアノテーションを使わずに,スケーラブルな3D対応ビデオモデルをトレーニングする。 その結果,映像やマルチビューインターネット写真などの2次元データのみを用いて,シーンレベルの3D学習をスケールアップできることが示唆された。
  論文  参考訳（メタデータ） (2024-11-20T18:58:31Z)
• GFlow: Recovering 4D World from Monocular Video [58.63051670458107]
  GFlowは、空間と時間の3Dガウスのフローとして、4Dシーンにビデオを持ち上げるフレームワークである。 GFlowはビデオを静止部分と可動部分に分割し、最適化されたカメラポーズと3Dガウス点のダイナミックスを交互に切り替える。 GFlowは、フレームごとにカメラのポーズを推定し、カメラのポーズを変更することによって、新しいビューの合成を可能にする。
  論文  参考訳（メタデータ） (2024-05-28T17:59:22Z)
• TeMO: Towards Text-Driven 3D Stylization for Multi-Object Meshes [67.5351491691866]
  我々は,多目的3Dシーンを解析し,そのスタイルを編集する,TeMOと呼ばれる新しいフレームワークを提案する。 提案手法は,高品質なスタイリングコンテンツを合成し,多目的3Dメッシュで既存手法より優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-12-07T12:10:05Z)
• SGAligner : 3D Scene Alignment with Scene Graphs [84.01002998166145]
  3Dシーングラフの構築は、いくつかの具体的AIアプリケーションのためのシーン表現のトピックとして登場した。 オーバーラップ可能な3次元シーングラフのペアをゼロから部分的に整列させるという基本的な問題に着目する。 そこで我々はSGAlignerを提案する。SGAlignerは3次元シーングラフのペアを組合わせるための最初の方法であり、その組込みシナリオに対して堅牢である。
  論文  参考訳（メタデータ） (2023-04-28T14:39:22Z)
• Viewpoint Equivariance for Multi-View 3D Object Detection [35.4090127133834]
  最先端の手法は多視点カメラ入力からのオブジェクト境界ボックスの推論と復号化に重点を置いている。 本稿では,3次元多視点幾何を利用した新しい3次元オブジェクト検出フレームワークであるVEDetを紹介する。
  論文  参考訳（メタデータ） (2023-03-25T19:56:41Z)
• CAPE: Camera View Position Embedding for Multi-View 3D Object Detection [100.02565745233247]
  現在のクエリベースの手法は、画像と3次元空間の幾何学的対応を学習するために、グローバルな3D位置埋め込みに依存している。 本稿では,CAPE と呼ばれる,CAmera view position Embedding に基づく新しい手法を提案する。 CAPEはnuScenesデータセット上の全てのLiDARフリーメソッドの中で最先端のパフォーマンス(61.0% NDSと52.5% mAP)を達成する。
  論文  参考訳（メタデータ） (2023-03-17T18:59:54Z)
• Video Autoencoder: self-supervised disentanglement of static 3D structure and motion [60.58836145375273]
  ビデオから3次元構造とカメラポーズの遠心分離表現を学習するために,ビデオオートエンコーダを提案する。 この表現は、新しいビュー合成、カメラポーズ推定、動きの追従によるビデオ生成など、様々なタスクに適用することができる。
  論文  参考訳（メタデータ） (2021-10-06T17:57:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。