論文の概要: Online Lane Graph Extraction from Onboard Video
- arxiv url: http://arxiv.org/abs/2304.00930v1
- Date: Mon, 3 Apr 2023 12:36:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 15:41:01.303643
- Title: Online Lane Graph Extraction from Onboard Video
- Title(参考訳): オンボード映像からのオンラインレーングラフ抽出
- Authors: Yigit Baran Can, Alexander Liniger, Danda Pani Paudel, Luc Van Gool
- Abstract要約: オンボードカメラからの映像ストリームを、周囲のレーングラフのオンライン抽出に使用しています。
入力が1つの画像ではなくビデオを使うことは、異なるタイムステップからの情報を組み合わせることのメリットと課題の両方をもたらす。
提案手法の1つのモデルでは、1つを含む任意の数の画像を処理し、正確なレーングラフを生成することができる。
- 参考スコア(独自算出の注目度): 133.68032636906133
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous driving requires a structured understanding of the surrounding
road network to navigate. One of the most common and useful representation of
such an understanding is done in the form of BEV lane graphs. In this work, we
use the video stream from an onboard camera for online extraction of the
surrounding's lane graph. Using video, instead of a single image, as input
poses both benefits and challenges in terms of combining the information from
different timesteps. We study the emerged challenges using three different
approaches. The first approach is a post-processing step that is capable of
merging single frame lane graph estimates into a unified lane graph. The second
approach uses the spatialtemporal embeddings in the transformer to enable the
network to discover the best temporal aggregation strategy. Finally, the third,
and the proposed method, is an early temporal aggregation through explicit BEV
projection and alignment of framewise features. A single model of this proposed
simple, yet effective, method can process any number of images, including one,
to produce accurate lane graphs. The experiments on the Nuscenes and Argoverse
datasets show the validity of all the approaches while highlighting the
superiority of the proposed method. The code will be made public.
- Abstract(参考訳): 自動運転には、周囲の道路網の構造化された理解が必要である。
そのような理解の最も一般的で有用な表現の1つは、BEVレーングラフの形でなされる。
本研究では,車載カメラからの映像ストリームを用いて,周囲のレーングラフのオンライン抽出を行う。
単一の画像ではなくビデオを使うことは、入力が異なる時間ステップからの情報を組み合わせることのメリットと課題の両方をもたらす。
我々は3つの異なるアプローチで出現した課題を調査した。
第1のアプローチは、単一フレームレーングラフの推定値を統一レーングラフにマージ可能な、後処理ステップである。
第2のアプローチでは、トランスに時間的埋め込みを組み込むことで、ネットワークが最適な時間的集約戦略を発見することができる。
最後に、第3の手法と提案手法は、明示的なBEV投影とフレームワイド特徴のアライメントによる初期時間的アグリゲーションである。
提案手法の単一モデルでは、1つを含む任意の画像を処理して正確なレーングラフを生成することができる。
ヌースセンおよびアルゴバースデータセットを用いた実験では,提案手法の優越性を強調しながら,すべてのアプローチの有効性を示す。
コードは公開されます。
関連論文リスト
- SGD: Street View Synthesis with Gaussian Splatting and Diffusion Prior [53.52396082006044]
現在の手法では、トレーニングの観点から大きく逸脱する観点で、レンダリングの品質を維持するのに苦労しています。
この問題は、移動中の車両の固定カメラが捉えた、まばらなトレーニングビューに起因している。
そこで本研究では,拡散モデルを用いて3DGSのキャパシティを向上させる手法を提案する。
論文 参考訳(メタデータ) (2024-03-29T09:20:29Z) - Neuromorphic Synergy for Video Binarization [54.195375576583864]
バイモーダルオブジェクトは視覚システムによって容易に認識できる情報を埋め込む視覚形式として機能する。
ニューロモルフィックカメラは、動きのぼかしを緩和する新しい機能を提供するが、最初にブルーを脱色し、画像をリアルタイムでバイナライズするのは簡単ではない。
本稿では,イベント空間と画像空間の両方で独立に推論を行うために,バイモーダル目標特性の事前知識を活用するイベントベースバイナリ再構築手法を提案する。
また、このバイナリ画像を高フレームレートバイナリビデオに伝搬する効率的な統合手法も開発している。
論文 参考訳(メタデータ) (2024-02-20T01:43:51Z) - Prior Based Online Lane Graph Extraction from Single Onboard Camera
Image [133.68032636906133]
単眼カメラ画像からレーングラフをオンラインに推定する。
前者は、トランスフォーマーベースのWasserstein Autoencoderを通じてデータセットから抽出される。
オートエンコーダは、最初のレーングラフ推定を強化するために使用される。
論文 参考訳(メタデータ) (2023-07-25T08:58:26Z) - An Efficient Transformer for Simultaneous Learning of BEV and Lane
Representations in 3D Lane Detection [55.281369497158515]
3次元車線検出のための効率的な変圧器を提案する。
バニラ変圧器と異なり、我々のモデルは車線とBEVの表現を同時に学習するクロスアテンション機構を含んでいる。
本手法は,2次元および3次元の車線特徴を画像ビューとBEVの特徴にそれぞれ適用することにより,2次元および3次元車線予測を実現する。
論文 参考訳(メタデータ) (2023-06-08T04:18:31Z) - Graph-based Topology Reasoning for Driving Scenes [102.35885039110057]
TopoNetは、従来の知覚タスクを超えてトラフィック知識を抽象化できる最初のエンドツーエンドフレームワークである。
TopoNetを,難解なシーン理解ベンチマークOpenLane-V2で評価した。
論文 参考訳(メタデータ) (2023-04-11T15:23:29Z) - Lane Graph as Path: Continuity-preserving Path-wise Modeling for Online Lane Graph Construction [43.682460811194694]
レーングラフの構築は、自動運転において有望だが挑戦的な課題である。
従来の方法は、通常、ピクセルまたはピースレベルでレーングラフをモデル化し、ピクセルワイドまたはピースワイド接続によってレーングラフを復元する。
本稿では,経路に基づくオンラインレーングラフ構築手法であるLaneGAPについて述べる。
論文 参考訳(メタデータ) (2023-03-15T17:59:13Z) - Learning and Aggregating Lane Graphs for Urban Automated Driving [26.34702432184092]
レーングラフ推定は、自動走行とHDマップ学習において不可欠で非常に困難な課題である。
本稿では,複数の重なり合うグラフを1つの一貫したグラフに集約する空中画像からレーングラフを推定する新しいボトムアップ手法を提案する。
大規模な都市レーングラフデータセットとコードをhttp://urbanlanegraph.cs.uni-freiburg.deで公開しています。
論文 参考訳(メタデータ) (2023-02-13T08:23:35Z) - RNGDet: Road Network Graph Detection by Transformer in Aerial Images [19.141279413414082]
道路ネットワークグラフは、自動運転車アプリケーションにとって重要な情報を提供する。
手動でアノテートする道路ネットワークグラフは非効率で労働集約的です。
RNGDetという変圧器と模倣学習に基づく新しい手法を提案する。
論文 参考訳(メタデータ) (2022-02-16T01:59:41Z) - Road Extraction from Overhead Images with Graph Neural Networks [18.649284163019516]
本稿では,最終道路グラフを1パスで直接推測する手法を提案する。
鍵となるアイデアは、関心点の特定を担当する完全な畳み込みネットワークと、これらのポイント間のリンクを予測するグラフニューラルネットワークを組み合わせることである。
我々は,一般的なRoadTracerデータセット上の既存の作業に対して評価を行い,競合する結果を得た。
論文 参考訳(メタデータ) (2021-12-09T21:10:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。