論文の概要: OpenLex3D: A New Evaluation Benchmark for Open-Vocabulary 3D Scene Representations

• arxiv url: http://arxiv.org/abs/2503.19764v1
• Date: Tue, 25 Mar 2025 15:28:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:53:59.744675
• Title: OpenLex3D: A New Evaluation Benchmark for Open-Vocabulary 3D Scene Representations
• Title（参考訳）: OpenLex3D:Open-Vocabulary 3D Scene Representationの新しい評価ベンチマーク
• Authors: Christina Kassab, Sacha Morin, Martin Büchner, Matías Mattamala, Kumaraditya Gupta, Abhinav Valada, Liam Paull, Maurice Fallon,
• Abstract要約: 3Dシーン理解は、自然言語による対話を可能にするオープン語彙言語モデルによって変換されている。 この研究はOpenLex3Dという3Dオープン語彙シーン表現を評価するための専用ベンチマークを提示する。
• 参考スコア（独自算出の注目度）: 15.914715372036616
• License:
• Abstract: 3D scene understanding has been transformed by open-vocabulary language models that enable interaction via natural language. However, the evaluation of these representations is limited to closed-set semantics that do not capture the richness of language. This work presents OpenLex3D, a dedicated benchmark to evaluate 3D open-vocabulary scene representations. OpenLex3D provides entirely new label annotations for 23 scenes from Replica, ScanNet++, and HM3D, which capture real-world linguistic variability by introducing synonymical object categories and additional nuanced descriptions. By introducing an open-set 3D semantic segmentation task and an object retrieval task, we provide insights on feature precision, segmentation, and downstream capabilities. We evaluate various existing 3D open-vocabulary methods on OpenLex3D, showcasing failure cases, and avenues for improvement. The benchmark is publicly available at: https://openlex3d.github.io/.
• Abstract（参考訳）: 3Dシーン理解は、自然言語による対話を可能にするオープン語彙言語モデルによって変換されている。 しかし、これらの表現の評価は、言語の豊かさを捉えない閉集合意味論に限られている。 この研究はOpenLex3Dという3Dオープン語彙シーン表現を評価するための専用ベンチマークを提示する。 OpenLex3Dは、Replica、ScanNet++、HM3Dから23のシーンに完全に新しいラベルアノテーションを提供する。 オープンセットの3Dセマンティックセグメンテーションタスクとオブジェクト検索タスクを導入することで、特徴精度、セグメンテーション、下流機能に関する洞察を提供する。 我々は,OpenLex3Dにおける既存の3次元オープン語彙法,障害事例の提示,改善への道筋について検討した。 ベンチマークは、https://openlex3d.github.io/.com/で公開されている。

関連論文リスト

• Search3D: Hierarchical Open-Vocabulary 3D Segmentation [78.47704793095669]
  本稿では,階層的なオープンな3Dシーン表現を構築するためのアプローチであるSearch3Dを紹介する。 従来の方法とは異なり、Search3Dはより柔軟なオープンな3D検索パラダイムにシフトする。 体系的な評価のために,MultiScanに基づくシーンスケールのオープンボキャブラリ3D部分セグメンテーションベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-09-27T03:44:07Z)
• OpenScan: A Benchmark for Generalized Open-Vocabulary 3D Scene Understanding [43.69535335079362]
  Open-vocabulary 3D scene understandingは、オブジェクトクラスの閉じたセットを超えて、新しいオブジェクトをローカライズし、分類することを目的としている。 既存のアプローチとベンチマークは、主にオブジェクトクラスのコンテキスト内のオープンな語彙の問題に焦点を当てている。 我々は、オブジェクトクラスを超えたオープンな語彙問題を探索するために、汎用オープン語彙3Dシーン理解(GOV-3D)と呼ばれるより困難なタスクを導入する。
  論文  参考訳（メタデータ） (2024-08-20T17:31:48Z)
• Grounded 3D-LLM with Referent Tokens [58.890058568493096]
  そこで我々は,Grounded 3D-LLMを提案する。 このモデルは、3Dシーンを参照するために特別な名詞句としてシーン参照トークンを使用する。 タスクごとの指示追従テンプレートは、3D視覚タスクを言語形式に翻訳する際の自然と多様性を保証するために使用される。
  論文  参考訳（メタデータ） (2024-05-16T18:03:41Z)
• POP-3D: Open-Vocabulary 3D Occupancy Prediction from Images [32.33170182669095]
  入力された2次元画像からオープンな3次元セマンティックなボクセル占有マップを推定する手法について述べる。 アーキテクチャは、2D-3Dエンコーダと、占有率予測と3D言語ヘッドで構成されている。 出力は3次元接地言語埋め込みの密度の高いボクセルマップであり、様々なオープン語彙タスクを可能にする。
  論文  参考訳（メタデータ） (2024-01-17T18:51:53Z)
• OpenIns3D: Snap and Lookup for 3D Open-vocabulary Instance Segmentation [32.508069732371105]
  OpenIns3Dは、3Dオープン語彙シーン理解のための新しい3D入力専用フレームワークである。 様々な3Dオープン語彙タスクで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-09-01T17:59:56Z)
• Lowis3D: Language-Driven Open-World Instance-Level 3D Scene Understanding [57.47315482494805]
  オープンワールドのインスタンスレベルのシーン理解は、アノテーション付きデータセットに存在しない未知のオブジェクトカテゴリを特定し、認識することを目的としている。 モデルは新しい3Dオブジェクトをローカライズし、それらのセマンティックなカテゴリを推論する必要があるため、この課題は難しい。 本稿では,3Dシーンのキャプションを生成するために,画像テキストペアからの広範な知識を符号化する,事前学習型視覚言語基盤モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-01T07:50:14Z)
• OpenMask3D: Open-Vocabulary 3D Instance Segmentation [84.58747201179654]
  OpenMask3Dはオープンな3Dインスタンスセグメンテーションのためのゼロショットアプローチである。 私たちのモデルは、CLIPベースの画像埋め込みのマルチビュー融合により、マスクごとの特徴を集約する。
  論文  参考訳（メタデータ） (2023-06-23T17:36:44Z)
• PLA: Language-Driven Open-Vocabulary 3D Scene Understanding [57.47315482494805]
  オープン語彙シーン理解は、アノテートされたラベル空間を超えて見えないカテゴリをローカライズし、認識することを目的としている。 最近の2次元オープン語彙認識のブレークスルーは、リッチな語彙概念を持つインターネットスケールのペア画像テキストデータによって駆動される。 本稿では,3次元からの多視点画像のキャプションにより,事前学習された視覚言語(VL)基盤モデルに符号化された知識を抽出することを提案する。
  論文  参考訳（メタデータ） (2022-11-29T15:52:22Z)
• OpenScene: 3D Scene Understanding with Open Vocabularies [73.1411930820683]
  従来の3Dシーン理解アプローチは、単一のタスクのためにモデルをトレーニングするためのラベル付き3Dデータセットに依存している。 私たちは,CLIP機能空間にテキストと画像ピクセルを埋め込んだ3次元シーンポイントの高密度な特徴をモデルが予測する代替手法OpenSceneを提案する。 このゼロショットアプローチは、タスク非依存のトレーニングとオープン語彙クエリを可能にする。
  論文  参考訳（メタデータ） (2022-11-28T18:58:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。