論文の概要: Can Learning to Answer Spatial Questions Improve Novel-View Generation?

• arxiv url: http://arxiv.org/abs/2610.20610v1
• Date: Wed, 14 Oct 2026 17:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.303635
• Title: Can Learning to Answer Spatial Questions Improve Novel-View Generation?
• Title（参考訳）: 空間的質問に答える学習は、新しい視点生成を改善するか?
• Abstract要約: Ask4NVは,Mixture-of-Transformers (MoT)アーキテクチャを組み込んだ,事前訓練された統合マルチモーダルモデル上に構築されている。 実験は、競合する3D言語理解とともに、新規ビュー生成における画像品質と幾何的整合性を示す。
• 参考スコア（独自算出の注目度）: 37.90932424393656
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generating novel views from limited observations requires preserving both the appearance and spatial structure of a scene. Although recent approaches exploit fine-grained geometric cues, they do not explicitly model high-level semantic and spatial properties such as object identity, attributes, and inter-object relationships. In this work, we investigate whether 3D language understanding can provide complementary supervision for novel-view generation. We introduce Ask4NV, built on a pretrained unified multimodal model with a Mixture-of-Transformers (MoT) architecture. Our model incorporates camera geometry into both VAE and ViT representations and leverages understanding features during generation through joint self-attention with a modality-aware attention masking strategy. Experiments demonstrate strong image quality and geometric consistency in novel-view generation, alongside competitive 3D language understanding. Further analysis shows that joint training improves cross-view correspondence in VAE representations and similarity in a 3D-aware feature space.
• Abstract（参考訳）: 限られた観測から新しいビューを生成するには、シーンの外観と空間構造の両方を保存する必要がある。 近年のアプローチでは、微粒な幾何学的手がかりを利用するが、オブジェクトのアイデンティティや属性、オブジェクト間の関係といった、高レベルな意味や空間的特性を明示的にモデル化するものではない。 本研究では,3次元言語理解が新規視点生成の補完的指導に役立つかどうかを考察する。 Ask4NVは,Mixture-of-Transformers (MoT)アーキテクチャを組み込んだ,事前訓練された統合マルチモーダルモデル上に構築されている。 我々のモデルは、VAEとViTの両方の表現にカメラ幾何学を取り入れ、モダリティを意識したアテンションマスキング戦略による共同自己注意を通じて、世代間における理解機能を活用する。 実験は、競合する3D言語理解とともに、新規ビュー生成における画像品質と幾何的整合性を示す。 さらに,3次元特徴空間におけるVAE表現と類似性について,共同学習により相互対応性が向上することが示唆された。

関連論文リスト

• Fysiverse-3D-Vision Technical Report: Generating Executable 3D Worlds from Images through Unified Spatial Reasoning [62.09790533047924]
  生成モデルは、高度な画像条件付き3Dコンテンツ生成が可能だが、単一の画像から制御可能で実行可能な3Dシーンを生成することは、依然として困難である。 本研究では,Fysiverse-3D-Visionを提案する。Fysiverse-3D-Visionは1つの画像から生成した3次元シーンの再構成と実行可能アセット構築のための統合視覚言語-幾何学フレームワークである。 本フレームワークは,既存の手法と比較して,幾何学的整合性,レイアウト推定,レンダリング品質,物理的特性の理解に優れる。
  論文  参考訳（メタデータ） (2026-09-22T06:22:31Z)
• Multi-View Relational Distillation for Spatial Reasoning with Vision-Language Models [20.202625597458177]
  視覚言語モデル(VLM)は画像と映像の理解を強く達成しているが、視覚空間表現は幾何学的に脆弱である。 本稿では,教師の特徴そのものではなく,視点にパッチワイドな類似性を蒸留する多視点リレーショナル蒸留(MVRD)を提案する。
  論文  参考訳（メタデータ） (2026-08-11T12:34:41Z)
• Interact3D: Compositional 3D Generation of Interactive Objects [31.12099147294145]
  本稿では,3次元合成オブジェクト間の相互作用を物理的に妥当に生成する新しいフレームワークを提案する。 当社のアプローチは、まず先進的な先進的な先進的手法を活用して、高品質な個人資産をキュレートする。 これらの資産を物理的に構成するために、ロバストな2段階合成パイプラインを導入する。
  論文  参考訳（メタデータ） (2026-03-17T03:21:06Z)
• IGGT: Instance-Grounded Geometry Transformer for Semantic 3D Reconstruction [82.53307702809606]
  人間は自然に3次元世界の幾何学的構造と意味的内容を中間次元として知覚する。 本稿では,空間再構成とインスタンスレベルの文脈理解の両面での知識を統合するために,IGGT (InstanceGrounded Geometry Transformer) を提案する。
  論文  参考訳（メタデータ） (2025-10-26T14:57:44Z)
• UniUGG: Unified 3D Understanding and Generation via Geometric-Semantic Encoding [65.60549881706959]
  3Dモダリティのための最初の統一的理解・生成フレームワークUniUGGを紹介する。 本フレームワークでは,LLMを用いて文や3次元表現の理解とデコードを行う。 遅延拡散モデルを利用して高品質な3次元表現を生成する空間デコーダを提案する。
  論文  参考訳（メタデータ） (2025-08-16T07:27:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。