論文の概要: Text2LiDAR: Text-guided LiDAR Point Cloud Generation via Equirectangular Transformer

• arxiv url: http://arxiv.org/abs/2407.19628v1
• Date: Mon, 29 Jul 2024 01:18:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 15:25:50.056278
• Title: Text2LiDAR: Text-guided LiDAR Point Cloud Generation via Equirectangular Transformer
• Title（参考訳）: Text2LiDAR: 等角変換器によるテキスト誘導LiDARポイントクラウド生成
• Authors: Yang Wu, Kaihua Zhang, Jianjun Qian, Jin Xie, Jian Yang,
• Abstract要約: テキスト制御可能なLiDARデータ生成モデルであるText2LiDARを提案する。 我々は、LiDAR特徴を捉えるために、設計した等方形アテンションを利用して、等方形トランスアーキテクチャを設計する。 我々は850のシーンから34,149個のLiDAR点雲に対して多様なテキスト記述子を提供するnuLiDARtextを構築した。
• 参考スコア（独自算出の注目度）: 38.18396501696647
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The complex traffic environment and various weather conditions make the collection of LiDAR data expensive and challenging. Achieving high-quality and controllable LiDAR data generation is urgently needed, controlling with text is a common practice, but there is little research in this field. To this end, we propose Text2LiDAR, the first efficient, diverse, and text-controllable LiDAR data generation model. Specifically, we design an equirectangular transformer architecture, utilizing the designed equirectangular attention to capture LiDAR features in a manner with data characteristics. Then, we design a control-signal embedding injector to efficiently integrate control signals through the global-to-focused attention mechanism. Additionally, we devise a frequency modulator to assist the model in recovering high-frequency details, ensuring the clarity of the generated point cloud. To foster development in the field and optimize text-controlled generation performance, we construct nuLiDARtext which offers diverse text descriptors for 34,149 LiDAR point clouds from 850 scenes. Experiments on uncontrolled and text-controlled generation in various forms on KITTI-360 and nuScenes datasets demonstrate the superiority of our approach.
• Abstract（参考訳）: 複雑な交通環境と様々な気象条件により、LiDARデータの収集は高価で困難である。 高品質で制御可能なLiDARデータ生成を実現するためには,テキストによる制御が一般的であるが,この分野ではほとんど研究されていない。 そこで本研究では,テキスト制御可能なLiDARデータ生成モデルであるText2LiDARを提案する。 具体的には、設計した等方形アテンションを利用して、データ特性に応じてLiDAR特徴を捕捉する等方形トランスアーキテクチャを設計する。 そこで我々は,グローバル・ツー・フォーカスの注意機構を通じて制御信号を効率的に統合する制御信号埋め込みインジェクタを設計する。 さらに、周波数変調器を考案し、高頻度の細部を復元し、生成した点雲の明度を確実にする。 850シーンから34,149のLiDAR点雲に対して多様なテキスト記述子を提供するnuLiDARtextを構築した。 KITTI-360 および nuScenes データセットの様々な形態における制御不能およびテキスト制御による生成実験は、我々のアプローチの優位性を示している。

関連論文リスト

• How Control Information Influences Multilingual Text Image Generation and Editing? [28.999640376365335]
  高品質テキスト生成における制御情報の役割について検討する。 制御情報の最適化により生成品質を向上させる新しいフレームワークであるTextGenを提案する。 本手法は、中国語と英語の両方のテキスト生成における最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-07-16T08:40:21Z)
• Generative AI Empowered LiDAR Point Cloud Generation with Multimodal Transformer [10.728362890819392]
  統合センシングと通信は6G無線通信システムのキーイネーブルである。 本稿では、画像とRADARデータからLiDAR点雲を合成し、無線通信システムを強化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-20T04:15:08Z)
• Multi-Modal Data-Efficient 3D Scene Understanding for Autonomous Driving [58.16024314532443]
  我々は、異なるLiDARスキャンからレーザービーム操作を統合するフレームワークであるLaserMix++を導入し、データ効率の学習を支援するためにLiDAR-カメラ対応を組み込んだ。 結果は、LaserMix++が完全に教師付き代替よりも優れており、5倍のアノテーションで同等の精度を実現していることを示している。 この大幅な進歩は、LiDARベースの3Dシーン理解システムにおける広範囲なラベル付きデータへの依存を減らすための半教師付きアプローチの可能性を示している。
  論文  参考訳（メタデータ） (2024-05-08T17:59:53Z)
• LiFi: Lightweight Controlled Text Generation with Fine-Grained Control Codes [46.74968005604948]
  本稿では、制御されたテキスト生成のためのきめ細かい制御を備えた軽量なアプローチであるLIFIを提案する。 我々は、感情制御とトピック制御という従来の2つのタスクと、新たに提案された1つのタスクでLIFIを評価する。
  論文  参考訳（メタデータ） (2024-02-10T11:53:48Z)
• Text2Data: Low-Resource Data Generation with Textual Control [104.38011760992637]
  自然言語は、人間が機械とシームレスに対話するための共通かつ直接的な制御信号として機能する。 ラベルのないデータを用いて教師なし拡散モデルを用いて基礎となるデータ分布を理解する新しいアプローチであるText2Dataを提案する。 制御性を確保し、破滅的な忘れを効果的に防止する、新しい制約最適化ベースの学習目標を通じて制御可能な微調整を行う。
  論文  参考訳（メタデータ） (2024-02-08T03:41:39Z)
• Fine-grained Controllable Video Generation via Object Appearance and Context [74.23066823064575]
  細粒度制御可能なビデオ生成法(FACTOR)を提案する。 FACTORは、オブジェクトの位置とカテゴリを含む、オブジェクトの外観とコンテキストを制御することを目的としている。 本手法は,オブジェクトの外観を微調整せずに制御し,オブジェクトごとの最適化作業を省く。
  論文  参考訳（メタデータ） (2023-12-05T17:47:33Z)
• UltraLiDAR: Learning Compact Representations for LiDAR Completion and Generation [51.443788294845845]
  我々は、シーンレベルのLiDAR補完、LiDAR生成、LiDAR操作のためのデータ駆動フレームワークであるUltraLiDARを提案する。 スパース点雲の表現を高密度点雲の表現に合わせることで、スパース点雲を密度化できることが示される。 個別のコードブック上で事前学習を行うことで、多種多様な現実的なLiDARポイントクラウドを自動走行のために生成できます。
  論文  参考訳（メタデータ） (2023-11-02T17:57:03Z)
• NeRF-LiDAR: Generating Realistic LiDAR Point Clouds with Neural Radiance Fields [20.887421720818892]
  実世界の情報を利用してリアルなLIDAR点雲を生成する新しいLiDARシミュレーション手法であるNeRF-LIDARを提案する。 我々は,生成したLiDAR点雲上で異なる3次元セグメンテーションモデルをトレーニングすることにより,NeRF-LiDARの有効性を検証する。
  論文  参考訳（メタデータ） (2023-04-28T12:41:28Z)
• LiDAR-NeRF: Novel LiDAR View Synthesis via Neural Radiance Fields [112.62936571539232]
  本稿では,LiDARセンサのための新しいビュー合成手法を提案する。 スタイルトランスファーニューラルネットワークを用いた従来のモデルベースLiDARシミュレータは、新しいビューのレンダリングに応用できる。 ニューラル放射場(NeRF)を用いて幾何学と3D点の属性の連成学習を容易にする。
  論文  参考訳（メタデータ） (2023-04-20T15:44:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。