論文の概要: Rethinking Open-Vocabulary Segmentation of Radiance Fields in 3D Space

• arxiv url: http://arxiv.org/abs/2408.07416v3
• Date: Fri, 21 Feb 2025 06:43:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 17:07:06.724614
• Title: Rethinking Open-Vocabulary Segmentation of Radiance Fields in 3D Space
• Title（参考訳）: 3次元空間におけるラジアンス場の開語彙セグメンテーションの再考
• Authors: Hyunjee Lee, Youngsik Yun, Jeongmin Bae, Seoha Kim, Youngjung Uh,
• Abstract要約: 問題を再定義し、3次元のボリュームを分割し、以下の方法を提案する。 従来の2Dピクセルの監督を代行する手法とは異なり、言語埋め込みフィールドをトレーニングするための3Dポイントを直接監督する。 学習した言語フィールドを3DGSに転送し、トレーニング時間や精度を犠牲にすることなく、最初のリアルタイムレンダリング速度を達成する。
• 参考スコア（独自算出の注目度）: 10.49905491984899
• License:
• Abstract: Understanding the 3D semantics of a scene is a fundamental problem for various scenarios such as embodied agents. While NeRFs and 3DGS excel at novel-view synthesis, previous methods for understanding their semantics have been limited to incomplete 3D understanding: their segmentation results are rendered as 2D masks that do not represent the entire 3D space. To address this limitation, we redefine the problem to segment the 3D volume and propose the following methods for better 3D understanding. We directly supervise the 3D points to train the language embedding field, unlike previous methods that anchor supervision at 2D pixels. We transfer the learned language field to 3DGS, achieving the first real-time rendering speed without sacrificing training time or accuracy. Lastly, we introduce a 3D querying and evaluation protocol for assessing the reconstructed geometry and semantics together. Code, checkpoints, and annotations are available at the project page.
• Abstract（参考訳）: シーンの3Dセマンティクスを理解することは、エンボディエージェントのような様々なシナリオの基本的な問題である。 NeRFと3DGSは新規な視点合成において優れているが、それらの意味を理解するための従来の方法は不完全な3D理解に限られており、そのセグメンテーション結果は3D空間全体を表すものではない2Dマスクとして表現されている。 この制限に対処するため、3次元ボリュームを分割する問題を再定義し、より優れた3次元理解のための次の方法を提案する。 従来の2Dピクセルの監督を代行する手法とは異なり、言語埋め込みフィールドをトレーニングするための3Dポイントを直接監督する。 学習した言語フィールドを3DGSに転送し、トレーニング時間や精度を犠牲にすることなく、最初のリアルタイムレンダリング速度を達成する。 最後に、再構成された幾何と意味論を一緒に評価するための3Dクエリーおよび評価プロトコルを提案する。 コード、チェックポイント、アノテーションはプロジェクトのページで入手できる。

関連論文リスト

• General Geometry-aware Weakly Supervised 3D Object Detection [62.26729317523975]
  RGB画像と関連する2Dボックスから3Dオブジェクト検出器を学習するための統合フレームワークを開発した。 KITTIとSUN-RGBDデータセットの実験により,本手法は驚くほど高品質な3次元境界ボックスを2次元アノテーションで生成することを示した。
  論文  参考訳（メタデータ） (2024-07-18T17:52:08Z)
• POP-3D: Open-Vocabulary 3D Occupancy Prediction from Images [32.33170182669095]
  入力された2次元画像からオープンな3次元セマンティックなボクセル占有マップを推定する手法について述べる。 アーキテクチャは、2D-3Dエンコーダと、占有率予測と3D言語ヘッドで構成されている。 出力は3次元接地言語埋め込みの密度の高いボクセルマップであり、様々なオープン語彙タスクを可能にする。
  論文  参考訳（メタデータ） (2024-01-17T18:51:53Z)
• Weakly-Supervised 3D Visual Grounding based on Visual Linguistic Alignment [26.858034573776198]
  視覚言語アライメントに基づく3次元視覚接地のための弱教師付きアプローチを提案する。 我々の3D-VLAは、テキストと2D画像のセマンティクスの整合性において、現在の大規模視覚言語モデルの優れた能力を利用する。 推論段階では、学習したテキスト3D対応は、2D画像がなくてもテキストクエリを3D対象オブジェクトにグラウンド化するのに役立ちます。
  論文  参考訳（メタデータ） (2023-12-15T09:08:14Z)
• CLIP$^2$: Contrastive Language-Image-Point Pretraining from Real-World Point Cloud Data [80.42480679542697]
  現実シナリオにおける3Dポイントクラウド表現の伝達を学習するために,Contrastive Language-Image-Point Cloud Pretraining (CLIP$2$)を提案する。 具体的には、2Dおよび3Dシナリオで自然に存在する対応を利用して、それらの複雑なシナリオから、適切に整列されたインスタンスベースのテキストイメージポイントプロキシを構築します。
  論文  参考訳（メタデータ） (2023-03-22T09:32:45Z)
• SSR-2D: Semantic 3D Scene Reconstruction from 2D Images [54.46126685716471]
  本研究では,3Dアノテーションを使わずにセマンティックなシーン再構成を行う中心的な3Dシーンモデリングタスクについて検討する。 提案手法の鍵となる考え方は,不完全な3次元再構成と対応するRGB-D画像の両方を用いたトレーニング可能なモデルの設計である。 本研究では,2つの大規模ベンチマークデータセットであるMatterPort3DとScanNetに対して,セマンティックシーン補完の最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-02-07T17:47:52Z)
• SceneDreamer: Unbounded 3D Scene Generation from 2D Image Collections [49.802462165826554]
  SceneDreamerは,非有界な3次元シーンの無条件生成モデルである。 フレームワークは,3Dアノテーションを使わずに,Wild 2Dイメージコレクションのみから学習する。
  論文  参考訳（メタデータ） (2023-02-02T18:59:16Z)
• Learning 3D Scene Priors with 2D Supervision [37.79852635415233]
  本研究では,3次元の地平を必要とせず,レイアウトや形状の3次元シーンを学習するための新しい手法を提案する。 提案手法は, 3次元シーンを潜在ベクトルとして表現し, クラスカテゴリを特徴とするオブジェクト列に段階的に復号化することができる。 3D-FRONT と ScanNet による実験により,本手法は単一視点再構成における技術状況よりも優れていた。
  論文  参考訳（メタデータ） (2022-11-25T15:03:32Z)
• NeSF: Neural Semantic Fields for Generalizable Semantic Segmentation of 3D Scenes [25.26518805603798]
  NeSFは、ポーズされたRGB画像のみから3Dセマンティックフィールドを生成する方法である。 本手法は,訓練に2次元の監督しか必要としない,真に密集した3次元シーンセグメンテーションを提供する最初の方法である。
  論文  参考訳（メタデータ） (2021-11-25T21:44:54Z)
• Parameter-Efficient Person Re-identification in the 3D Space [51.092669618679615]
  我々は3次元空間に2D画像を投影し、新しいパラメータ効率のOmniスケールグラフネットワーク(OG-Net)を導入し、3次元点雲から直接歩行者表現を学習する。 OG-Netはスパース3Dポイントが提供するローカル情報を効果的に活用し、その構造と外観情報を一貫性のある方法で活用する。 私たちは3D空間における人物の再識別を行う最初の試みの1つです。
  論文  参考訳（メタデータ） (2020-06-08T13:20:33Z)
• Semantic Correspondence via 2D-3D-2D Cycle [58.023058561837686]
  本稿では,3次元領域に利用して意味的対応を予測するための新しい手法を提案する。 提案手法は,標準的なセマンティックベンチマークにおいて比較,さらに優れた結果を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-20T05:27:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。