論文の概要: Joint 2D-3D Segmentation and Association in Street-level Imaging

• arxiv url: http://arxiv.org/abs/2605.26725v1
• Date: Tue, 26 May 2026 09:04:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:41.773317
• Title: Joint 2D-3D Segmentation and Association in Street-level Imaging
• Title（参考訳）: ストリートレベルイメージングにおける関節2D-3Dセグメンテーションと関連性
• Authors: Amir Melnikov, Masayuki Tanaka, Yusuke Monno, Masatoshi Okutomi,
• Abstract要約: 本研究は,関節2D-3Dセグメンテーションとアソシエーションのための統一的な枠組みを提案する。 3D駆動型アソシエーション機構は、従来の2D多目的追跡を置き換える。 実験では、地下構造配列とより堅牢なアイデンティティ保持のカバレッジが大幅に改善された。
• 参考スコア（独自算出の注目度）: 18.70317918218011
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate interpretation of street-level imagery is essential for large-scale urban mapping and the creation of Spatial Digital Twin (SDT) environments. This work presents a unified framework for joint 2D-3D segmentation and association that integrates visual semantics with multi-view geometric reasoning. Unlike conventional approaches that rely heavily on sequential frames for temporal tracking, our method leverages zero-shot detection and segmentation together with structure-from-motion reconstruction to establish stable cross-view correspondences. A 3D-driven association mechanism replaces traditional 2D multi-object tracking, using geometric consistency to guide identity preservation across wide-baseline viewpoints and varying imaging conditions. By combining 2D texture cues with global 3D context, the proposed pipeline is well-suited for scalable street-level processing and can be used for a variety of object types. Experiments demonstrate substantially improved coverage of ground-truth sequences and more robust identity retention compared to state-of-the-art 2D-only tracking methods, achieving a 22% performance gain in challenging urban scenarios.
• Abstract（参考訳）: 街路画像の正確な解釈は、大規模都市マッピングと空間デジタル双対(SDT)環境の構築に不可欠である。 本研究は,視覚的意味論と多視点幾何学的推論を統合した,関節2D-3Dセグメンテーションとアソシエーションのための統合フレームワークを提案する。 時間的追跡のためにシーケンシャルなフレームに大きく依存する従来の手法とは異なり、この手法はゼロショット検出とセグメンテーションと構造からの再構成を併用して安定なクロスビュー対応を確立する。 3D駆動型アソシエーション機構は、幾何学的整合性を利用して、幅広いベースラインの視点と様々な撮像条件にわたるアイデンティティの保存を誘導する、従来の2D多目的追跡を置き換える。 2次元テクスチャキューとグローバルな3Dコンテキストを組み合わせることで、提案するパイプラインは、スケーラブルなストリートレベル処理に適しており、さまざまなオブジェクトタイプに使用することができる。 実験は、最先端の2Dのみの追跡手法と比較して、地中構造配列のカバレッジを大幅に改善し、より堅牢なアイデンティティ保持を実現し、挑戦的な都市シナリオにおいて22%のパフォーマンス向上を実現した。

関連論文リスト

• VGGT-Edit: Feed-forward Native 3D Scene Editing with Residual Field Prediction [59.303842406260124]
  VGGT-Editはテキスト条件のネイティブ3Dシーン編集のためのフィードフォワードフレームワークである。 本研究では,奥行き同期テキストインジェクションを導入し,意味的指導をバックボーンの空間的ポーズと整合させる。 VGGT-Editは2Dリフトベースラインを大幅に上回り、よりシャープなオブジェクトの詳細、より強力なマルチビュー一貫性、ほぼインスタントな推論速度を生み出している。
  論文  参考訳（メタデータ） (2026-05-14T17:59:04Z)
• PASR: Pose-Aware 3D Shape Retrieval from Occluded Single Views [41.6619757077912]
  本稿では,機能レベルの解析言語問題として検索を定式化するフレームワークであるPose-Aware 3D Shape Retrieval (PASR)を提案する。 ポーズ条件付き3Dプロジェクションを2次元特徴マップに整列させることで,実世界の画像と合成メッシュのギャップを埋める。 PASRは、クリーンかつ隠蔽された3次元形状検索データセットの既存の手法を、広いマージンで大幅に上回っている。
  論文  参考訳（メタデータ） (2026-04-24T15:32:03Z)
• HD$^2$-SSC: High-Dimension High-Density Semantic Scene Completion for Autonomous Driving [52.959716866316604]
  カメラベースの3Dセマンティックシーン補完(SSC)は、自動運転において重要な役割を果たす。 既存のSSC法は、固有の入出力次元ギャップとアノテーション-現実密度ギャップに悩まされている。 本稿では,画素セマンティクスを拡張した高次元高密度セマンティックシーンコンプリートフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-11T07:24:35Z)
• Self-Supervised Cross-Modal Learning for Image-to-Point Cloud Registration [22.360139236823155]
  CrossI2Pは、クロスモーダル学習と2段階の登録を単一のエンドツーエンドパイプラインで統合する、自己教師型フレームワークである。 我々は、CrossI2Pが、KITTI Odometryベンチマークで23.7%、nuScenesで37.9%、最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2025-09-19T11:29:22Z)
• CDI3D: Cross-guided Dense-view Interpolation for 3D Reconstruction [25.468907201804093]
  大規模再構成モデル (LRM) は, 2次元拡散モデルにより生成された多視点画像を利用して3次元コンテンツを抽出する際の大きな可能性を示している。 しかし、2次元拡散モデルはしばしば、強い多視点一貫性を持つ高密度画像を生成するのに苦労する。 CDI3Dは,高画質で高画質な3D画像生成を実現するためのフィードフォワードフレームワークである。
  論文  参考訳（メタデータ） (2025-03-11T03:08:43Z)
• GEAL: Generalizable 3D Affordance Learning with Cross-Modal Consistency [50.11520458252128]
  既存の3Dアベイランス学習手法は、注釈付きデータに制限があるため、一般化と堅牢性に苦慮している。 本稿では,大規模事前学習型2Dモデルを活用することで,3次元アベイランス学習の一般化と堅牢性を高めるための新しいフレームワークであるGEALを提案する。 GEALは、既存のメソッドと、新しいオブジェクトカテゴリ、および破損したデータにおいて、一貫して優れています。
  論文  参考訳（メタデータ） (2024-12-12T17:59:03Z)
• T-3DGS: Removing Transient Objects for 3D Scene Reconstruction [83.05271859398779]
  映像シーケンスにおける過渡的オブジェクトは、3Dシーン再構成の品質を著しく低下させる可能性がある。 我々は,ガウススプラッティングを用いた3次元再構成において,過渡的障害を頑健に除去する新しいフレームワークT-3DGSを提案する。
  論文  参考訳（メタデータ） (2024-11-29T07:45:24Z)
• JOTR: 3D Joint Contrastive Learning with Transformers for Occluded Human Mesh Recovery [84.67823511418334]
  本稿では,3次元メッシュ復元のためのTRansformersフレームワークを用いた3次元ジョイントコントラスト学習について述べる。 提案手法は,2D$&$3D対応結果を得るために,2Dおよび3D表現を融合するエンコーダ・デコーダ変換器アーキテクチャを含む。
  論文  参考訳（メタデータ） (2023-07-31T02:58:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。