論文の概要: CarFormer: Self-Driving with Learned Object-Centric Representations

• arxiv url: http://arxiv.org/abs/2407.15843v1
• Date: Mon, 22 Jul 2024 17:59:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 13:41:12.842226
• Title: CarFormer: Self-Driving with Learned Object-Centric Representations
• Title（参考訳）: CarFormer: 学習したオブジェクト中心表現による自動運転
• Authors: Shadi Hamdan, Fatma Güney,
• Abstract要約: 我々は、BEVシーケンス上のスロットアテンションモデルを用いて、オブジェクトをスロットに配置することを学ぶ。 これらのオブジェクト中心の表現に基づいて、トランスフォーマーを訓練し、運転を学び、他の車両の将来について推論する。
• 参考スコア（独自算出の注目度）: 4.6058519836859135
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The choice of representation plays a key role in self-driving. Bird's eye view (BEV) representations have shown remarkable performance in recent years. In this paper, we propose to learn object-centric representations in BEV to distill a complex scene into more actionable information for self-driving. We first learn to place objects into slots with a slot attention model on BEV sequences. Based on these object-centric representations, we then train a transformer to learn to drive as well as reason about the future of other vehicles. We found that object-centric slot representations outperform both scene-level and object-level approaches that use the exact attributes of objects. Slot representations naturally incorporate information about objects from their spatial and temporal context such as position, heading, and speed without explicitly providing it. Our model with slots achieves an increased completion rate of the provided routes and, consequently, a higher driving score, with a lower variance across multiple runs, affirming slots as a reliable alternative in object-centric approaches. Additionally, we validate our model's performance as a world model through forecasting experiments, demonstrating its capability to predict future slot representations accurately. The code and the pre-trained models can be found at https://kuis-ai.github.io/CarFormer/.
• Abstract（参考訳）: 表現の選択は、自動運転において重要な役割を果たす。 近年,Bird's Eye View (BEV) の表現は顕著なパフォーマンスを示している。 本稿では,BEVにおけるオブジェクト中心の表現を学習し,複雑なシーンをより実用的な情報に抽出することを提案する。 まず、BEVシーケンス上のスロットアテンションモデルを用いて、オブジェクトをスロットに配置することを学ぶ。 これらのオブジェクト中心の表現に基づいて、トランスフォーマーを訓練して運転を学び、他の車両の将来について推論する。 その結果、オブジェクト中心のスロット表現は、オブジェクトの正確な属性を使用するシーンレベルとオブジェクトレベルの両方のアプローチより優れていることがわかった。 スロット表現は、位置、方向、速度などの空間的および時間的文脈からオブジェクトに関する情報を明示的に提供せずに自然に組み込む。 スロット付きモデルでは,提供経路の完成率が向上し,高い駆動スコアが得られ,複数のランをまたがる分散度が低くなり,スロットがオブジェクト中心アプローチにおける信頼性の高い代替手段であることを確認した。 さらに,実験を予測することで,世界モデルとしてのモデルの性能を検証し,将来のスロット表現を正確に予測する能力を示す。 コードと事前訓練されたモデルはhttps://kuis-ai.github.io/CarFormer/.com/で見ることができる。

関連論文リスト

• AIDE: An Automatic Data Engine for Object Detection in Autonomous Driving [68.73885845181242]
  本稿では,問題を自動的に識別し,データを効率よくキュレートし,自動ラベル付けによりモデルを改善する自動データエンジン(AIDE)を提案する。 さらに,AVデータセットのオープンワールド検出のためのベンチマークを構築し,様々な学習パラダイムを包括的に評価し,提案手法の優れた性能を低コストで実証する。
  論文  参考訳（メタデータ） (2024-03-26T04:27:56Z)
• Helping Hands: An Object-Aware Ego-Centric Video Recognition Model [60.350851196619296]
  オブジェクト認識デコーダを導入し、エゴ中心の動画におけるエゴ中心の表現の性能を向上させる。 このモデルは,エゴ認識ビデオモデルの代替として機能し,視覚テキストのグラウンド化による性能向上を図っている。
  論文  参考訳（メタデータ） (2023-08-15T17:58:11Z)
• Linking vision and motion for self-supervised object-centric perception [16.821130222597155]
  オブジェクト中心の表現は、自律運転アルゴリズムが多くの独立したエージェントとシーンの特徴の間の相互作用を推論することを可能にする。 伝統的にこれらの表現は教師付き学習によって得られてきたが、これは下流の駆動タスクからの認識を分離し、一般化を損なう可能性がある。 我々は、RGBビデオと車両のポーズを入力として、自己教師対象中心の視覚モデルを適用してオブジェクト分解を行う。
  論文  参考訳（メタデータ） (2023-07-14T04:21:05Z)
• Policy Pre-training for End-to-end Autonomous Driving via Self-supervised Geometric Modeling [96.31941517446859]
  PPGeo (Policy Pre-training via Geometric Modeling) は,視覚運動運転における政策事前学習のための,直感的かつ直接的な完全自己教師型フレームワークである。 本研究では,大規模な未ラベル・未校正動画の3次元幾何学シーンをモデル化することにより,ポリシー表現を強力な抽象化として学習することを目的とする。 第1段階では、幾何モデリングフレームワークは、2つの連続したフレームを入力として、ポーズと深さの予測を同時に生成する。 第2段階では、視覚エンコーダは、将来のエゴモーションを予測し、現在の視覚観察のみに基づいて測光誤差を最適化することにより、運転方針表現を学習する。
  論文  参考訳（メタデータ） (2023-01-03T08:52:49Z)
• Estimation of Appearance and Occupancy Information in Birds Eye View from Surround Monocular Images [2.69840007334476]
  Birds-eye View (BEV)は、トップダウンビューから、エゴ車両フレーム内の異なる交通参加者の位置を表す。 360デグ視野(FOV)をカバーするモノクラーカメラのアレイから、様々な交通参加者の外観や占有情報をキャプチャする新しい表現を提案する。 我々は、すべてのカメラ画像の学習画像埋め込みを使用して、シーンの外観と占有度の両方をキャプチャする瞬間に、シーンのBEVを生成する。
  論文  参考訳（メタデータ） (2022-11-08T20:57:56Z)
• KINet: Unsupervised Forward Models for Robotic Pushing Manipulation [8.572983995175909]
  キーポイント表現に基づいたオブジェクトインタラクションを推論する、教師なしフレームワークKINetを紹介します。 我々のモデルは、オブジェクトとキーポイント座標を関連付けることを学び、システムのグラフ表現を発見する。 キーポイント空間における物理的推論を学習することにより、我々のモデルは、異なる数のオブジェクトを持つシナリオに自動的に一般化する。
  論文  参考訳（メタデータ） (2022-02-18T03:32:08Z)
• Towards Optimal Strategies for Training Self-Driving Perception Models in Simulation [98.51313127382937]
  合成ドメインのみにおけるラベルの使用に焦点を当てる。 提案手法では,ニューラル不変表現の学習方法と,シミュレータからデータをサンプリングする方法に関する理論的にインスピレーションを得た視点を導入する。 マルチセンサーデータを用いた鳥眼視車両分割作業におけるアプローチについて紹介する。
  論文  参考訳（メタデータ） (2021-11-15T18:37:43Z)
• Fine-Grained Vehicle Perception via 3D Part-Guided Visual Data Augmentation [77.60050239225086]
  実画像中の車両に動的部品を付加した3次元自動車モデルによる効果的なトレーニングデータ生成プロセスを提案する。 私達のアプローチは人間の相互作用なしで完全に自動です。 VUS解析用マルチタスクネットワークとVHI解析用マルチストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2020-12-15T03:03:38Z)
• VehicleNet: Learning Robust Visual Representation for Vehicle Re-identification [116.1587709521173]
  我々は,4つのパブリックな車両データセットを活用することで,大規模車両データセット(VabyNet)を構築することを提案する。 VehicleNetからより堅牢な視覚表現を学習するための、シンプルで効果的な2段階プログレッシブアプローチを設計する。 AICity Challengeのプライベートテストセットにおいて,最先端の精度86.07%mAPを実現した。
  論文  参考訳（メタデータ） (2020-04-14T05:06:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。