論文の概要: UniPLV: Towards Label-Efficient Open-World 3D Scene Understanding by Regional Visual Language Supervision

• arxiv url: http://arxiv.org/abs/2412.18131v1
• Date: Tue, 24 Dec 2024 03:40:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 19:23:17.645962
• Title: UniPLV: Towards Label-Efficient Open-World 3D Scene Understanding by Regional Visual Language Supervision
• Title（参考訳）: UniPLV: 地域視覚言語スーパービジョンによるラベル効率の良いオープンワールド3Dシーン理解を目指して
• Authors: Yuru Wang, Songtao Wang, Zehan Zhang, Xinyan Lu, Changwei Cai, Hao Li, Fu Liu, Peng Jia, Xianpeng Lang,
• Abstract要約: オープンワールド3Dシーン理解のための学習パラダイムとして,ポイントクラウド,イメージ,テキストを統一する強力なフレームワークであるUniPLVを提案する。
• 参考スコア（独自算出の注目度）: 7.655966831418489
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present UniPLV, a powerful framework that unifies point clouds, images and text in a single learning paradigm for open-world 3D scene understanding. UniPLV employs the image modal as a bridge to co-embed 3D points with pre-aligned images and text in a shared feature space without requiring carefully crafted point cloud text pairs. To accomplish multi-modal alignment, we propose two key strategies:(i) logit and feature distillation modules between images and point clouds, and (ii) a vison-point matching module is given to explicitly correct the misalignment caused by points to pixels projection. To further improve the performance of our unified framework, we adopt four task-specific losses and a two-stage training strategy. Extensive experiments show that our method outperforms the state-of-the-art methods by an average of 15.6% and 14.8% for semantic segmentation over Base-Annotated and Annotation-Free tasks, respectively. The code will be released later.
• Abstract（参考訳）: オープンワールド3Dシーン理解のための学習パラダイムとして,ポイントクラウド,イメージ,テキストを統一する強力なフレームワークであるUniPLVを提案する。 UniPLVは、3Dポイントと予め整列された画像とテキストを共有機能空間に組み込むブリッジとしてイメージモーダルを使用している。 マルチモーダルアライメントを実現するために,我々は2つの重要な戦略を提案する。 一 画像と点雲の間の対物及び特徴蒸留モジュール (ii)画素投影に対する点による不一致を明示的に補正するバイソン点マッチングモジュールが与えられる。 統合フレームワークの性能向上のために,4つのタスク固有の損失と2段階のトレーニング戦略を採用した。 その結果,本手法は,Base-Annotated と Annotation-Free のセマンティックセグメンテーションにおいて平均15.6%,14.8%,最先端手法よりも優れていた。 コードは後でリリースされる。

関連論文リスト

• Abstract 3D Perception for Spatial Intelligence in Vision-Language Models [100.13033631690114]
  視覚言語モデル(VLM)は、空間認識や物理的理解といった3D関連課題に苦しむ。 我々は,VLMの幾何学的構造と物理力学を符号化するために,抽象的境界ボックスを利用するフレームワークであるSandboxVLMを紹介した。 提案手法は空間知能を常に向上させ,SAT Realの8.3%のゲインをベースライン法と比較して達成する。
  論文  参考訳（メタデータ） (2025-11-14T04:16:09Z)
• PGOV3D: Open-Vocabulary 3D Semantic Segmentation with Partial-to-Global Curriculum [20.206273757144547]
  PGOV3Dはオープンな3Dセマンティックセマンティックセグメンテーションを改善するための部分言語カリキュラムを導入した新しいフレームワークである。 我々は、密接な意味情報を提供する部分的なシーンでモデルを事前訓練するが、比較的単純な幾何学である。 第2段階では、よりスペーサーで構造的に複雑である、完全なシーンレベルの点雲上でモデルを微調整する。
  論文  参考訳（メタデータ） (2025-06-30T08:13:07Z)
• Towards Fusing Point Cloud and Visual Representations for Imitation Learning [57.886331184389604]
  本稿では,ポイントクラウドとRGBの両特性を効果的に組み合わせた新しい模倣学習手法であるFPV-Netを提案する。 適応層ノルム条件付けを用いて,グローバルおよびローカル画像トークン上のポイントクラウドエンコーダを条件付けする。
  論文  参考訳（メタデータ） (2025-02-17T20:46:54Z)
• ViLa-MIL: Dual-scale Vision-Language Multiple Instance Learning for Whole Slide Image Classification [52.405499816861635]
  多重インスタンス学習(MIL)ベースのフレームワークは、スライド画像全体(WSI)を処理する上で主流になっている。 スライド画像全体の分類のための2次元視覚言語多言語学習(ViLa-MIL)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-12T13:28:46Z)
• DINOv2 Meets Text: A Unified Framework for Image- and Pixel-Level Vision-Language Alignment [20.953645420787527]
  計算コストのごく一部でCLIPライクなモデルをトレーニングする。 ゼロショット分類とオープンボキャブラリセマンティックセマンティックセグメンテーションの最先端結果を得る。
  論文  参考訳（メタデータ） (2024-12-20T20:46:48Z)
• Pic@Point: Cross-Modal Learning by Local and Global Point-Picture Correspondence [0.0]
  構造的2D-3D対応に基づく効果的なコントラスト学習手法であるPic@Pointを提案する。 我々は,意味的および文脈的知識に富んだイメージキューを活用して,ポイントクラウド表現のガイド信号を提供する。
  論文  参考訳（メタデータ） (2024-10-12T12:43:41Z)
• 3D Weakly Supervised Semantic Segmentation with 2D Vision-Language Guidance [68.8825501902835]
  3DSS-VLGは2Dビジョンランゲージ誘導を用いた3Dセマンティックの弱い教師付きアプローチである。 我々の知る限りでは、テキストカテゴリラベルのテキスト意味情報を用いて、弱教師付きセマンティックセマンティックセグメンテーションを調査するのは、これが初めてである。
  論文  参考訳（メタデータ） (2024-07-13T09:39:11Z)
• Exploring the Untouched Sweeps for Conflict-Aware 3D Segmentation Pretraining [41.145598142457686]
  LiDARカメラによる3D画像の事前学習は、3D知覚タスクと関連する応用に有意な可能性を示唆している。 未探索フレームからLiDAR-画像ペアを精巧に選択するための,ビジョン・ファウンデーション・モデル駆動型サンプル探索モジュールを提案する。 我々の手法は、既存の最先端の事前訓練フレームワークを3つの主要な公道走行データセットで一貫して上回っている。
  論文  参考訳（メタデータ） (2024-07-10T08:46:29Z)
• Self-supervised Learning of LiDAR 3D Point Clouds via 2D-3D Neural Calibration [107.61458720202984]
  本稿では,自律走行シーンにおける3次元知覚を高めるための,新しい自己教師型学習フレームワークを提案する。 本稿では,画像とポイントクラウドデータの領域ギャップを埋めるために,学習可能な変換アライメントを提案する。 我々は剛性ポーズを推定するために密度の高い2D-3D対応を確立する。
  論文  参考訳（メタデータ） (2024-01-23T02:41:06Z)
• Generalized Robot 3D Vision-Language Model with Fast Rendering and Pre-Training Vision-Language Alignment [55.11291053011696]
  本研究は,ラベル付きシーンが極めて限定された場合の3次元シーン理解のためのフレームワークを提案する。 事前学習された視覚言語モデルから新しいカテゴリーの知識を抽出するために,階層的特徴整合型事前学習と知識蒸留戦略を提案する。 限定的な再構築の場合、提案手法はWS3D++と呼ばれ、大規模なScanNetベンチマークで1位にランクインした。
  論文  参考訳（メタデータ） (2023-12-01T15:47:04Z)
• Leveraging Large-Scale Pretrained Vision Foundation Models for Label-Efficient 3D Point Cloud Segmentation [67.07112533415116]
  本稿では3Dポイントクラウドセグメンテーションタスクに様々な基礎モデルを適用する新しいフレームワークを提案する。 我々のアプローチでは、異なる大きな視覚モデルを用いて2次元セマンティックマスクの初期予測を行う。 本研究では,ロバストな3Dセマンティックな擬似ラベルを生成するために,投票による全ての結果を効果的に組み合わせたセマンティックなラベル融合戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-03T15:41:15Z)
• Cross-modal and Cross-domain Knowledge Transfer for Label-free 3D Segmentation [23.110443633049382]
  本稿では,画像と点雲の関係を網羅的に探究することで,クロスモーダル・クロスドメイン適応に挑戦する新しい手法を提案する。 KITTI360 と GTA5 の知識を用いて,セマンティック KITTI 上の3次元クラウドセマンティックセマンティックセマンティックスセグメンテーションの最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-09-19T14:29:57Z)
• Lowis3D: Language-Driven Open-World Instance-Level 3D Scene Understanding [57.47315482494805]
  オープンワールドのインスタンスレベルのシーン理解は、アノテーション付きデータセットに存在しない未知のオブジェクトカテゴリを特定し、認識することを目的としている。 モデルは新しい3Dオブジェクトをローカライズし、それらのセマンティックなカテゴリを推論する必要があるため、この課題は難しい。 本稿では,3Dシーンのキャプションを生成するために,画像テキストペアからの広範な知識を符号化する,事前学習型視覚言語基盤モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-01T07:50:14Z)
• OpenShape: Scaling Up 3D Shape Representation Towards Open-World Understanding [53.21204584976076]
  我々は,テキスト,画像,点雲のマルチモーダルな共同表現を学習するOpenShapeを紹介する。 複数の3Dデータセットをアンサンブルすることで、トレーニングデータをスケールアップし、ノイズの多いテキスト記述を自動的にフィルタリングし、強化するためのいくつかの戦略を提案する。 ゼロショット3D分類ベンチマークでOpenShapeを評価し,オープンワールド認識の優れた能力を実証した。
  論文  参考訳（メタデータ） (2023-05-18T07:07:19Z)
• CLIP$^2$: Contrastive Language-Image-Point Pretraining from Real-World Point Cloud Data [80.42480679542697]
  現実シナリオにおける3Dポイントクラウド表現の伝達を学習するために,Contrastive Language-Image-Point Cloud Pretraining (CLIP$2$)を提案する。 具体的には、2Dおよび3Dシナリオで自然に存在する対応を利用して、それらの複雑なシナリオから、適切に整列されたインスタンスベースのテキストイメージポイントプロキシを構築します。
  論文  参考訳（メタデータ） (2023-03-22T09:32:45Z)
• Bridging the Gap between Object and Image-level Representations for Open-Vocabulary Detection [54.96069171726668]
  オープンボキャブラリ検出(OVD)で使用される2種類の弱いスーパービジョンには、事前訓練されたCLIPモデルと画像レベルの監視が含まれる。 本稿では,CLIPモデルから言語埋め込みをオブジェクト中心でアライメントすることでこの問題に対処することを提案する。 上記の2つの対物配向戦略の橋渡しを,新しい重み伝達関数を用いて行う。
  論文  参考訳（メタデータ） (2022-07-07T17:59:56Z)
• Learning 3D Semantics from Pose-Noisy 2D Images with Hierarchical Full Attention Network [17.58032517457836]
  ポーズエラーを含む2次元多視点画像観測から3次元ポイントクラウドの意味を学習するための新しいフレームワークを提案する。 階層型フルアテンションネットワーク(HiFANet)は、パッチ、バッグ・オブ・フレーム、ポイント間セマンティックキューを逐次集約するように設計されている。 実験の結果,提案フレームワークは既存の3Dポイント・クラウド・ベースの手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-04-17T20:24:26Z)
• Weakly Supervised Semantic Segmentation in 3D Graph-Structured Point Clouds of Wild Scenes [36.07733308424772]
  3Dセグメンテーションラベルの欠如は、効率的な点雲セグメンテーションの主な障害の1つである。 本稿では,2D のみを監督する点群における大規模セマンティックシーンセグメンテーションのための,新しいディープグラフ畳み込みネットワークフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-26T23:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。