論文の概要: RendBEV: Semantic Novel View Synthesis for Self-Supervised Bird's Eye View Segmentation

• arxiv url: http://arxiv.org/abs/2502.14792v1
• Date: Thu, 20 Feb 2025 18:11:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:27:15.476544
• Title: RendBEV: Semantic Novel View Synthesis for Self-Supervised Bird's Eye View Segmentation
• Title（参考訳）: RendBEV: 自己監督された鳥の目視のセグメンテーションのためのセマンティックなノベルビュー合成
• Authors: Henrique Piñeiro Monteagudo, Leonardo Taccari, Aurel Pjetri, Francesco Sambo, Samuele Salti,
• Abstract要約: 本稿では,Bird's Eye View セマンティックセグメンテーションネットワークの自己教師型トレーニング手法である RendBEV を提案する。 提案手法では, ゼロショットBEVセマンティックセマンティックセグメンテーションが可能であり, 既に競合する結果が得られている。
• 参考スコア（独自算出の注目度）: 9.72227798086777
• License:
• Abstract: Bird's Eye View (BEV) semantic maps have recently garnered a lot of attention as a useful representation of the environment to tackle assisted and autonomous driving tasks. However, most of the existing work focuses on the fully supervised setting, training networks on large annotated datasets. In this work, we present RendBEV, a new method for the self-supervised training of BEV semantic segmentation networks, leveraging differentiable volumetric rendering to receive supervision from semantic perspective views computed by a 2D semantic segmentation model. Our method enables zero-shot BEV semantic segmentation, and already delivers competitive results in this challenging setting. When used as pretraining to then fine-tune on labeled BEV ground-truth, our method significantly boosts performance in low-annotation regimes, and sets a new state of the art when fine-tuning on all available labels.
• Abstract（参考訳）: Bird's Eye View (BEV)セマンティックマップは、支援された自律運転タスクに対処するための環境の有用な表現として、最近多くの注目を集めている。 しかし、既存の作業のほとんどは、完全に教師された設定、大規模な注釈付きデータセット上でのトレーニングネットワークに焦点を当てている。 本稿では,BEVセマンティックセマンティックネットワークの自己教師型トレーニング手法であるRendBEVについて述べる。 提案手法は, ゼロショットBEVセマンティックセマンティックセグメンテーションを実現し, この挑戦的な環境では, 既に競合的な結果が得られている。 ラベル付きBEVのグランドトルースを微調整するための事前訓練に使用すると,低アノテーション方式の性能が著しく向上し,すべてのラベルを微調整する場合に新たな最先端の手法が設定される。

関連論文リスト

• VQ-Map: Bird's-Eye-View Map Layout Estimation in Tokenized Discrete Space via Vector Quantization [108.68014173017583]
  Bird's-eye-view (BEV) マップのレイアウト推定には、エゴ車の周囲の環境要素のセマンティクスを正確に完全に理解する必要がある。 本稿では,Vector Quantized-Variational AutoEncoder (VQ-VAE) に似た生成モデルを用いて,トークン化された離散空間における高レベルのBEVセマンティクスの事前知識を取得することを提案する。 得られたBEVトークンには,異なるBEV要素のセマンティクスを包含したコードブックが組み込まれているため,スパースバックボーン画像特徴と得られたBEVトークンとを直接一致させることができる。
  論文  参考訳（メタデータ） (2024-11-03T16:09:47Z)
• BEVPose: Unveiling Scene Semantics through Pose-Guided Multi-Modal BEV Alignment [8.098296280937518]
  本稿では,カメラとライダーデータからBEV表現を統合するフレームワークであるBEVPoseについて,センサポーズを誘導監視信号として用いた。 ポーズ情報を活用することで,環境の幾何学的側面と意味的側面の両方を捉えた潜在的BEV埋め込みの学習を容易にし,マルチモーダルな感覚入力を調整・融合する。
  論文  参考訳（メタデータ） (2024-10-28T12:40:27Z)
• OE-BevSeg: An Object Informed and Environment Aware Multimodal Framework for Bird's-eye-view Vehicle Semantic Segmentation [57.2213693781672]
  Bird's-eye-view (BEV)セマンティックセマンティックセグメンテーションは自律運転システムにおいて重要である。 本稿では,BEVセグメンテーション性能を向上させるエンドツーエンドマルチモーダルフレームワークであるOE-BevSegを提案する。 提案手法は,車両セグメンテーションのためのnuScenesデータセットにおいて,最先端の成果を大きなマージンで達成する。
  論文  参考訳（メタデータ） (2024-07-18T03:48:22Z)
• LetsMap: Unsupervised Representation Learning for Semantic BEV Mapping [23.366388601110913]
  本稿では,FV画像からセマンティックなBEVマップをラベル効率よく生成するための,教師なし表現学習手法を提案する。 提案手法は,2つの解離したニューラルパスを教師なし方式で,シーン幾何学とシーン意味論を独立に推論するために,ネットワークを事前訓練する。 本研究では,FV画像の空間的・時間的整合性を利用して,シーン表現を符号化する新しい時間的マスク付きオートエンコーダの定式化に依存しながら,シーン形状を学習する。
  論文  参考訳（メタデータ） (2024-05-29T08:03:36Z)
• OccFeat: Self-supervised Occupancy Feature Prediction for Pretraining BEV Segmentation Networks [75.10231099007494]
  本稿では,Bird's-Eye-View(BEV)セグメンテーションネットワークのための,OccFeatと呼ばれる自己教師付き事前学習手法を提案する。 OccFeatでは、占有率予測と特徴蒸留タスクを介して、BEVネットワークを事前訓練する。 本手法で事前訓練したモデルでは,特に低データシナリオにおいて,BEVセマンティックセマンティックセマンティクスの性能が向上した。
  論文  参考訳（メタデータ） (2024-04-22T09:43:03Z)
• Semi-Supervised Learning for Visual Bird's Eye View Semantic Segmentation [16.3996408206659]
  トレーニング中にラベルのない画像を活用することで性能を向上させるために,視覚的BEVセマンティックセマンティックセマンティックセマンティクスのための新しい半教師付きフレームワークを提案する。 次に、ラベルのないデータを完全に利用する一貫性損失を提案し、セマンティックな予測だけでなく、BEV機能にもモデルを制約する。 nuScenesとArgoverseデータセットの実験により、我々のフレームワークは予測精度を効果的に向上できることが示された。
  論文  参考訳（メタデータ） (2023-08-28T12:23:36Z)
• A Cross-Scale Hierarchical Transformer with Correspondence-Augmented Attention for inferring Bird's-Eye-View Semantic Segmentation [13.013635162859108]
  マルチカメラビュー画像に条件付きBEVセマンティックセマンティックセマンティクスを推定することは、安価なデバイスとリアルタイム処理としてコミュニティで人気がある。 セマンティックセグメンテーション推論のための対応強化された注目度を持つ新しいクロススケール階層変換器を提案する。 マルチカメラビュー画像上でのBEVセマンティックセマンティックセグメンテーションの推測における最先端性能を有する。
  論文  参考訳（メタデータ） (2023-04-07T13:52:47Z)
• SkyEye: Self-Supervised Bird's-Eye-View Semantic Mapping Using Monocular Frontal View Images [26.34702432184092]
  本研究では,前景からの単一単眼画像を用いた鳥眼図(BEV)意味マップ作成のための,最初の自己教師型アプローチを提案する。 トレーニングでは、ビデオシーケンスのより容易に利用できるFVセマンティックアノテーションを活用することで、BEVの基底真理アノテーションの必要性を克服する。 提案手法は最先端の完全教師付き手法と同等に動作し,BEVにおける直接監督の1%のみを用いて競争結果を得る。
  論文  参考訳（メタデータ） (2023-02-08T18:02:09Z)
• Delving into the Devils of Bird's-eye-view Perception: A Review, Evaluation and Recipe [115.31507979199564]
  鳥眼視(BEV)における知覚タスクの強力な表現の学習は、産業と学界の両方から注目されつつある。 センサーの構成が複雑化するにつれて、異なるセンサーからの複数のソース情報の統合と、統一されたビューにおける特徴の表現が重要になる。 BEV知覚の中核的な問題は、(a)視点からBEVへの視点変換を通して失われた3D情報を再構成する方法、(b)BEVグリッドにおける基底真理アノテーションの取得方法、(d)センサー構成が異なるシナリオでアルゴリズムを適応・一般化する方法にある。
  論文  参考訳（メタデータ） (2022-09-12T15:29:13Z)
• GitNet: Geometric Prior-based Transformation for Birds-Eye-View Segmentation [105.19949897812494]
  Birds-eye-view (BEV) セマンティックセマンティックセグメンテーションは自動運転に不可欠である。 本稿では,GitNetという新しい2段階のGeometry Preside-based Transformationフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-16T06:46:45Z)
• NEAT: Neural Attention Fields for End-to-End Autonomous Driving [59.60483620730437]
  本稿では、模倣学習モデルの効率的な推論を可能にする新しい表現であるNEAT(NEural Attention Field)を提案する。 NEATは、Bird's Eye View (BEV) シーン座標の位置をウェイポイントとセマンティクスにマッピングする連続関数である。 有害な環境条件や挑戦的なシナリオを含む新たな評価環境では、NEATはいくつかの強いベースラインを上回り、特権のあるCARLA専門家と同等の運転スコアを達成している。
  論文  参考訳（メタデータ） (2021-09-09T17:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。