論文の概要: Transfer Your Perspective: Controllable 3D Generation from Any Viewpoint in a Driving Scene

• arxiv url: http://arxiv.org/abs/2502.06682v1
• Date: Mon, 10 Feb 2025 17:07:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:31:29.813354
• Title: Transfer Your Perspective: Controllable 3D Generation from Any Viewpoint in a Driving Scene
• Title（参考訳）: 運転シーンのあらゆる視点から制御可能な3D生成装置
• Authors: Tai-Yu Pan, Sooyoung Jeon, Mengdi Fan, Jinsu Yoo, Zhenyang Feng, Mark Campbell, Kilian Q. Weinberger, Bharath Hariharan, Wei-Lun Chao,
• Abstract要約: 共同自動運転(CAV)は有望な方向のようだが、開発のためのデータ収集は簡単ではない。 本研究では,運転シーンにおける異なる視点から現実的な知覚を生み出すことを目的とした,救助支援のための新しいサロゲートを提案する。 シミュレーションされたコラボレーティブデータと実車データを組み合わせた,最初のソリューションを提案する。
• 参考スコア（独自算出の注目度）: 56.73568220959019
• License:
• Abstract: Self-driving cars relying solely on ego-centric perception face limitations in sensing, often failing to detect occluded, faraway objects. Collaborative autonomous driving (CAV) seems like a promising direction, but collecting data for development is non-trivial. It requires placing multiple sensor-equipped agents in a real-world driving scene, simultaneously! As such, existing datasets are limited in locations and agents. We introduce a novel surrogate to the rescue, which is to generate realistic perception from different viewpoints in a driving scene, conditioned on a real-world sample - the ego-car's sensory data. This surrogate has huge potential: it could potentially turn any ego-car dataset into a collaborative driving one to scale up the development of CAV. We present the very first solution, using a combination of simulated collaborative data and real ego-car data. Our method, Transfer Your Perspective (TYP), learns a conditioned diffusion model whose output samples are not only realistic but also consistent in both semantics and layouts with the given ego-car data. Empirical results demonstrate TYP's effectiveness in aiding in a CAV setting. In particular, TYP enables us to (pre-)train collaborative perception algorithms like early and late fusion with little or no real-world collaborative data, greatly facilitating downstream CAV applications.
• Abstract（参考訳）: 自動運転車は、エゴ中心の知覚にのみ依存しており、センサーの限界に直面している。 共同自動運転(CAV)は有望な方向のようだが、開発のためのデータ収集は簡単ではない。 複数のセンサーを装備したエージェントを、現実世界の運転シーンに同時に配置する必要がある! そのため、既存のデータセットは場所やエージェントに限られている。 本研究は,エゴカーの感覚データである実世界のサンプルに基づいて,運転シーンの異なる視点から現実的な知覚を生成するための新しいサロゲートを提案する。 このサロゲートは、あらゆるエゴカーのデータセットをコラボレーティブな駆動装置に変えて、CAVの開発を拡大する、という大きな可能性を秘めている。 シミュレーションされたコラボレーティブデータと実車データを組み合わせた,最初のソリューションを提案する。 我々の方法であるTransfer Your Perspective (TYP)は,出力サンプルが現実的であるだけでなく,与えられたエゴカーデータとのセマンティクスやレイアウトに一貫性のある条件付き拡散モデルを学習する。 CAV設定におけるTYPの有効性が実証された。 特に、TYPは、早期と後期の融合のような協調認識アルゴリズムを、ほとんど、あるいは全くの実際の協調データで(事前)訓練し、下流のCAVアプリケーションを容易にします。

関連論文リスト

• Linking vision and motion for self-supervised object-centric perception [16.821130222597155]
  オブジェクト中心の表現は、自律運転アルゴリズムが多くの独立したエージェントとシーンの特徴の間の相互作用を推論することを可能にする。 伝統的にこれらの表現は教師付き学習によって得られてきたが、これは下流の駆動タスクからの認識を分離し、一般化を損なう可能性がある。 我々は、RGBビデオと車両のポーズを入力として、自己教師対象中心の視覚モデルを適用してオブジェクト分解を行う。
  論文  参考訳（メタデータ） (2023-07-14T04:21:05Z)
• Policy Pre-training for End-to-end Autonomous Driving via Self-supervised Geometric Modeling [96.31941517446859]
  PPGeo (Policy Pre-training via Geometric Modeling) は,視覚運動運転における政策事前学習のための,直感的かつ直接的な完全自己教師型フレームワークである。 本研究では,大規模な未ラベル・未校正動画の3次元幾何学シーンをモデル化することにより,ポリシー表現を強力な抽象化として学習することを目的とする。 第1段階では、幾何モデリングフレームワークは、2つの連続したフレームを入力として、ポーズと深さの予測を同時に生成する。 第2段階では、視覚エンコーダは、将来のエゴモーションを予測し、現在の視覚観察のみに基づいて測光誤差を最適化することにより、運転方針表現を学習する。
  論文  参考訳（メタデータ） (2023-01-03T08:52:49Z)
• DOLPHINS: Dataset for Collaborative Perception enabled Harmonious and Interconnected Self-driving [19.66714697653504]
  V2Xネットワークは、自動運転における協調的な認識を可能にしている。 データセットの欠如は、協調認識アルゴリズムの開発を著しく妨げている。 DOLPHINS: cOllaborative Perception を実現するためのデータセットである Harmonious と Inter connected Self-driving をリリースする。
  論文  参考訳（メタデータ） (2022-07-15T17:07:07Z)
• COOPERNAUT: End-to-End Driving with Cooperative Perception for Networked Vehicles [54.61668577827041]
  本稿では,車間認識を用いたエンドツーエンド学習モデルであるCOOPERNAUTを紹介する。 われわれのAutoCastSim実験は、我々の協調知覚駆動モデルが平均成功率を40%向上させることを示唆している。
  論文  参考訳（メタデータ） (2022-05-04T17:55:12Z)
• CODA: A Real-World Road Corner Case Dataset for Object Detection in Autonomous Driving [117.87070488537334]
  我々は、ビジョンベース検出器のこの重要な問題を露呈する、CODAという挑戦的なデータセットを導入する。 大規模自動運転データセットで訓練された標準物体検出器の性能は、mARの12.8%以下に著しく低下した。 我々は最先端のオープンワールドオブジェクト検出器を実験し、CODAの新しいオブジェクトを確実に識別できないことを発見した。
  論文  参考訳（メタデータ） (2022-03-15T08:32:56Z)
• V2X-Sim: A Virtual Collaborative Perception Dataset for Autonomous Driving [26.961213523096948]
  V2X(V2X)は、車両と周囲のあらゆる物体の協調を意味する。 V2X-Simデータセットは、自動運転における最初の大規模協調認識データセットである。
  論文  参考訳（メタデータ） (2022-02-17T05:14:02Z)
• Towards Optimal Strategies for Training Self-Driving Perception Models in Simulation [98.51313127382937]
  合成ドメインのみにおけるラベルの使用に焦点を当てる。 提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。 マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
  論文  参考訳（メタデータ） (2021-11-15T18:37:43Z)
• Fine-Grained Vehicle Perception via 3D Part-Guided Visual Data Augmentation [77.60050239225086]
  実画像中の車両に動的部品を付加した3次元自動車モデルによる効果的なトレーニングデータ生成プロセスを提案する。 私達のアプローチは人間の相互作用なしで完全に自動です。 VUS解析用マルチタスクネットワークとVHI解析用マルチストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2020-12-15T03:03:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。