論文の概要: Extending a Large View Synthesis Model for Multi-view Panoptic Segmentation

• arxiv url: http://arxiv.org/abs/2607.19765v1
• Date: Wed, 22 Jul 2026 05:16:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:37.981738
• Title: Extending a Large View Synthesis Model for Multi-view Panoptic Segmentation
• Title（参考訳）: 多視点パノプティックセグメンテーションのための大視点合成モデルの拡張
• Abstract要約: 本稿では,パン光学ラベルを入力ビューから新規ビューへ伝播させるため,凍結ビュー合成モデルを再利用したパン光学セグメンテーションパイプラインを提案する。 ScanNetでは,ガウス的手法と同等のセグメンテーション品質を達成し,新規なビュー合成において7dB以上の精度で性能を向上する。
• 参考スコア（独自算出の注目度）: 30.949009648845134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large view synthesis models synthesize novel views through cross-view attention without explicit 3D representations, and recent studies have shown that they learn accurate spatial correspondence from RGB supervision alone. We observe that this correspondence generalizes beyond appearance. When non-photorealistic signals such as binary encoded panoptic labels are passed through the model, they are propagated to novel views with consistent spatial structure. These results indicate that the correspondence learned for RGB view synthesis can also propagate view-independent per-pixel labels. From this observation, we present the first work to extend large view synthesis models beyond appearance rendering to 3D scene understanding. We propose a panoptic segmentation pipeline that reuses a frozen view synthesis model to propagate panoptic labels from input views to novel views, without 3D reconstruction or any segmentation-specific training of the view synthesis model. Given panoptic labels on the input views, we encode them into binary channel representations and pass them through the same model to render target-view segmentation. On ScanNet, our method achieves segmentation quality on par with Gaussian based approaches requiring explicit 3D reconstruction, while outperforming them in novel view synthesis by more than 7 dB. The label propagation also transfers across datasets, surpassing these approaches on Replica without any fine-tuning.
• Abstract（参考訳）: 大規模ビュー合成モデルは、3次元の明示的な表現を伴わずに、対面的な視点を通して新規ビューを合成し、近年の研究により、RGBの監督だけで正確な空間対応を学習することが示されている。 我々はこの対応が外見を超越して一般化することを観察する。 バイナリ符号化されたパノプティカルラベルのような非フォトリアリスティック信号がモデルを通して渡されるとき、それらは一貫した空間構造を持つ新しいビューに伝播される。 これらの結果から,RGBビュー合成で得られた対応性は,画素ごとの表示に依存しないラベルを伝播する可能性が示唆された。 そこで本研究では,外観レンダリングを超えて3次元シーン理解に大規模なビュー合成モデルを拡張するための最初の研究について述べる。 本研究では,3次元再構成やビュー合成モデルのセグメンテーション固有の訓練を使わずに,凍結したビュー合成モデルを再利用して,パン光学ラベルを入力ビューから新規ビューへ伝播するパノプティックセグメンテーションパイプラインを提案する。 入力ビューにパノプティカルラベルが与えられた場合、それらをバイナリチャネル表現にエンコードし、同じモデルに渡してターゲットビューセグメンテーションを描画する。 ScanNetでは,ガウス的手法と同等のセグメンテーション品質を達成し,新規なビュー合成において7dB以上の精度で性能を向上する。 ラベルの伝搬はデータセット間でも転送され、微調整なしでReplica上のこれらのアプローチを上回ります。

関連論文リスト

• SplatGuide: Geometric Priors from 3D Gaussians for Pose-Free Novel View Synthesis [42.23526579547921]
  SplatGuideは、3つの補完的な役割で1つの3DGSシーンを再利用する。 ガウス単位のソースビューインデックスは、ターゲットビュー投票マップに描画される。 レコンストラクショントークンは、クロスアテンションを介して特徴レベルのガイダンスを提供する。
  論文  参考訳（メタデータ） (2026-08-17T17:45:57Z)
• AR-1-to-3: Single Image to Consistent 3D Object Generation via Next-View Prediction [69.65671384868344]
  拡散モデルに基づく新しい次世代予測パラダイムAR-1-to-3を提案する。 提案手法は,生成したビューと入力ビューとの整合性を大幅に改善し,高忠実度3Dアセットを生成する。
  論文  参考訳（メタデータ） (2025-03-17T08:39:10Z)
• LVSM: A Large View Synthesis Model with Minimal 3D Inductive Bias [50.13457154615262]
  スパースビュー入力からのスケーラブルで一般化可能な新規ビュー合成のためのトランスフォーマーに基づくアプローチを提案する。 本稿では,(1)入力画像トークンを1次元遅延トークンにエンコードするエンコーダデコーダLVSM,(2)入力画像を直接新規ビュー出力にマッピングするデコーダのみLVSMの2つのアーキテクチャを紹介する。
  論文  参考訳（メタデータ） (2024-10-22T17:58:28Z)
• FreeSplat: Generalizable 3D Gaussian Splatting Towards Free-View Synthesis of Indoor Scenes [50.534213038479926]
  FreeSplatは、長いシーケンス入力から自由視点合成まで、幾何学的に一貫した3Dシーンを再構築することができる。 ビュー数に関係なく、広いビュー範囲にわたる堅牢なビュー合成を実現するための、シンプルで効果的なフリービュートレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-28T08:40:14Z)
• GSNeRF: Generalizable Semantic Neural Radiance Fields with Enhanced 3D Scene Understanding [30.951440204237166]
  本稿では,画像のセマンティクスを合成プロセスに取り込む汎用セマンティックニューラルネットワーク場(GSNeRF)について紹介する。 我々のGSNeRFはセマンティックジオ推論と奥行き誘導ビジュアルレンダリングの2つのステージで構成されている。
  論文  参考訳（メタデータ） (2024-03-06T10:55:50Z)
• UpFusion: Novel View Diffusion from Unposed Sparse View Observations [66.36092764694502]
  UpFusionは、参照画像のスパースセットが与えられたオブジェクトに対して、新しいビュー合成と3D表現を推論することができる。 本研究では,この機構により,付加された(未提示)画像の合成品質を向上しつつ,高忠実度な新規ビューを生成することができることを示す。
  論文  参考訳（メタデータ） (2023-12-11T18:59:55Z)
• Learning to Render Novel Views from Wide-Baseline Stereo Pairs [26.528667940013598]
  本稿では,単一の広線ステレオ画像ペアのみを付与した新しいビュー合成手法を提案する。 スパース観測による新しいビュー合成への既存のアプローチは、誤った3次元形状の復元によって失敗する。 対象光線に対する画像特徴を組み立てるための,効率的な画像空間のエピポーラ線サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-04-17T17:40:52Z)
• Street-view Panoramic Video Synthesis from a Single Satellite Image [92.26826861266784]
  時間的および幾何学的に一貫したストリートビューパノラマビデオの両方を合成する新しい方法を提示する。 既存のクロスビュー合成アプローチは画像に重点を置いているが、そのような場合のビデオ合成はまだ十分な注目を集めていない。
  論文  参考訳（メタデータ） (2020-12-11T20:22:38Z)
• Stable View Synthesis [100.86844680362196]
  安定ビュー合成(SVS)について紹介する。 SVSは、自由に分散された視点からシーンを描写するソースイメージのセットを与えられた場合、シーンの新たなビューを合成する。 SVSは3つの異なる実世界のデータセットに対して定量的かつ質的に、最先端のビュー合成手法より優れている。
  論文  参考訳（メタデータ） (2020-11-14T07:24:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。