論文の概要: Talk to Parallel LiDARs: A Human-LiDAR Interaction Method Based on 3D Visual Grounding

• arxiv url: http://arxiv.org/abs/2405.15274v1
• Date: Fri, 24 May 2024 07:00:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 15:50:32.690350
• Title: Talk to Parallel LiDARs: A Human-LiDAR Interaction Method Based on 3D Visual Grounding
• Title（参考訳）: パラレルLiDARとの対話:3次元視覚的接地に基づく人間-LiDARインタラクション手法
• Authors: Yuhang Liu, Boyi Sun, Guixu Zheng, Yishuo Wang, Jing Wang, Fei-Yue Wang,
• Abstract要約: 並列LiDARに3D視覚グラウンドタスクを導入し、LiDARシステムのための新しいヒューマン・コンピュータインタラクションパラダイムを提案する。 本研究では,自律運転における3次元視覚的接地に適した大規模ベンチマークデータセットであるTalk2LiDARを提案する。 Talk2Car-3DおよびTalk2LiDARデータセットに関する実験は、BEVの優れた性能を示す。
• 参考スコア（独自算出の注目度）: 16.01111155569546
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: LiDAR sensors play a crucial role in various applications, especially in autonomous driving. Current research primarily focuses on optimizing perceptual models with point cloud data as input, while the exploration of deeper cognitive intelligence remains relatively limited. To address this challenge, parallel LiDARs have emerged as a novel theoretical framework for the next-generation intelligent LiDAR systems, which tightly integrate physical, digital, and social systems. To endow LiDAR systems with cognitive capabilities, we introduce the 3D visual grounding task into parallel LiDARs and present a novel human-computer interaction paradigm for LiDAR systems. We propose Talk2LiDAR, a large-scale benchmark dataset tailored for 3D visual grounding in autonomous driving. Additionally, we present a two-stage baseline approach and an efficient one-stage method named BEVGrounding, which significantly improves grounding accuracy by fusing coarse-grained sentence and fine-grained word embeddings with visual features. Our experiments on Talk2Car-3D and Talk2LiDAR datasets demonstrate the superior performance of BEVGrounding, laying a foundation for further research in this domain.
• Abstract（参考訳）: LiDARセンサーは様々な用途、特に自動運転において重要な役割を果たす。 現在の研究は主に、ポイントクラウドデータを入力として知覚モデルを最適化することに焦点を当てているが、より深い認知知能の探索は依然として比較的限られている。 この課題に対処するため、並列LiDARは、物理、デジタル、社会システムを密に統合する次世代のインテリジェントLiDARシステムのための新しい理論フレームワークとして登場した。 認知機能を備えたLiDARシステムを実現するために,並列LiDARに3次元視覚グラウンドタスクを導入し,LiDARシステムのための新しいヒューマンコンピュータインタラクションパラダイムを提案する。 本研究では,自律運転における3次元視覚的接地に適した大規模ベンチマークデータセットであるTalk2LiDARを提案する。 さらに,2段階のベースライン手法と,BEVGroundingと呼ばれる1段階の効率的な手法を提案する。 Talk2Car-3DおよびTalk2LiDARデータセットに関する実験は、BEVGroundingの優れた性能を示し、この領域におけるさらなる研究の基礎を築いた。

関連論文リスト

• On Deep Learning for Geometric and Semantic Scene Understanding Using On-Vehicle 3D LiDAR [4.606106768645647]
  3D LiDARポイントクラウドデータは、コンピュータビジョン、ロボティクス、自動運転におけるシーン認識に不可欠である。 我々は,パノラマ環境(近赤外)と反射率像を特徴とする,最初の高忠実度18チャネル3次元LiDARデータセットであるDurLARを提案する。 セグメンテーションの精度を向上させるために、Range-Aware Pointwise Distance Distribution (RAPiD) 機能と関連するRAPiD-Segアーキテクチャを導入する。
  論文  参考訳（メタデータ） (2024-11-01T14:01:54Z)
• 4D Contrastive Superflows are Dense 3D Representation Learners [62.433137130087445]
  我々は,LiDARとカメラのペアを連続的に利用して事前学習の目的を確立するための,新しいフレームワークであるSuperFlowを紹介する。 学習効率をさらに向上するため,カメラビューから抽出した知識の整合性を高めるプラグイン・アンド・プレイ・ビュー・一貫性モジュールを組み込んだ。
  論文  参考訳（メタデータ） (2024-07-08T17:59:54Z)
• Multi-Modal Data-Efficient 3D Scene Understanding for Autonomous Driving [58.16024314532443]
  我々は、異なるLiDARスキャンからレーザービーム操作を統合するフレームワークであるLaserMix++を導入し、データ効率の学習を支援するためにLiDAR-カメラ対応を組み込んだ。 結果は、LaserMix++が完全に教師付き代替よりも優れており、5倍のアノテーションで同等の精度を実現していることを示している。 この大幅な進歩は、LiDARベースの3Dシーン理解システムにおける広範囲なラベル付きデータへの依存を減らすための半教師付きアプローチの可能性を示している。
  論文  参考訳（メタデータ） (2024-05-08T17:59:53Z)
• LiDAR-BEVMTN: Real-Time LiDAR Bird's-Eye View Multi-Task Perception Network for Autonomous Driving [12.713417063678335]
  本稿では,LiDARに基づくオブジェクト検出,意味論,動作セグメンテーションのためのリアルタイムマルチタスク畳み込みニューラルネットワークを提案する。 オブジェクト検出を選択的に改善するためのセマンティック・ウェイト・アンド・ガイダンス(SWAG)モジュールを提案する。 我々は,2つのタスク,セマンティックとモーションセグメンテーション,および3Dオブジェクト検出のための最先端性能に近い2つのタスクに対して,最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-07-17T21:22:17Z)
• Language-Guided 3D Object Detection in Point Cloud for Autonomous Driving [91.91552963872596]
  我々は,LiDARグラウンディングと呼ばれるマルチモーダルな視覚的グラウンドニングタスクを提案する。 言語特徴を持つLiDARベースの物体検出器を共同で学習し、検出器から直接対象領域を予測する。 私たちの研究は、LiDARベースの接地作業に関する深い洞察を提供しており、自動運転コミュニティにとって有望な方向性を示すものと期待しています。
  論文  参考訳（メタデータ） (2023-05-25T06:22:10Z)
• HUM3DIL: Semi-supervised Multi-modal 3D Human Pose Estimation for Autonomous Driving [95.42203932627102]
  3Dの人間のポーズ推定は、自動運転車が歩行者の微妙で複雑な振る舞いを知覚し理解できるようにする新しい技術である。 提案手法は,これらの補完信号を半教師付き方式で効率的に利用し,既存の手法よりも大きなマージンで性能を向上する。 具体的には、LiDAR点を画素整列マルチモーダル特徴に埋め込み、トランスフォーマーの精細化段階を経る。
  論文  参考訳（メタデータ） (2022-12-15T11:15:14Z)
• LiDAR-based 4D Panoptic Segmentation via Dynamic Shifting Network [56.71765153629892]
  本稿では,ポイントクラウド領域における効果的な単視分割フレームワークとして機能する動的シフトネットワーク(DS-Net)を提案する。 提案するDS-Netは,両タスクの現在の最先端手法よりも優れた精度を実現する。 DS-Netを4次元パノプティカルLiDARセグメンテーションに拡張し、一列のLiDARフレーム上で時間的に統一されたインスタンスクラスタリングを行う。
  論文  参考訳（メタデータ） (2022-03-14T15:25:42Z)
• PillarGrid: Deep Learning-based Cooperative Perception for 3D Object Detection from Onboard-Roadside LiDAR [15.195933965761645]
  我々は,複数の3次元LiDARからの情報を融合した新しい協調認識手法であるtextitPillarGridを提案する。 PillarGrid は,1) 点雲の協調前処理,2) 軸方向のボキセル化と特徴抽出,3) 複数のセンサからの特徴のグリッド方向の深層融合,4) 畳み込みニューラルネットワーク(CNN) に基づく3Dオブジェクト検出である。 広汎な実験により、PillarGridはSOTA単一LiDARに基づく3Dオブジェクト検出法よりも精度と範囲を大きなマージンで上回ることがわかった。
  論文  参考訳（メタデータ） (2022-03-12T02:28:41Z)
• SelfVoxeLO: Self-supervised LiDAR Odometry with Voxel-based Deep Neural Networks [81.64530401885476]
  本稿では,これら2つの課題に対処するために,自己教師型LiDARオドメトリー法(SelfVoxeLO)を提案する。 具体的には、生のLiDARデータを直接処理する3D畳み込みネットワークを提案し、3D幾何パターンをよりよく符号化する特徴を抽出する。 我々は,KITTIとApollo-SouthBayという2つの大規模データセット上での手法の性能を評価する。
  論文  参考訳（メタデータ） (2020-10-19T09:23:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。