論文の概要: FISHING Net: Future Inference of Semantic Heatmaps In Grids

• arxiv url: http://arxiv.org/abs/2006.09917v1
• Date: Wed, 17 Jun 2020 14:56:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 20:11:00.034974
• Title: FISHING Net: Future Inference of Semantic Heatmaps In Grids
• Title（参考訳）: FishiNG Net: グリッドにおけるセマンティックヒートマップの将来予測
• Authors: Noureldin Hendy, Cooper Sloan, Feng Tian, Pengfei Duan, Nick Charchut, Yuesong Xie, Chuang Wang, James Philbin
• Abstract要約: 本稿では,トップダウン表現を用いたセマンティックセグメンテーションと短期予測を行うエンドツーエンドパイプラインを提案する。 我々のアプローチは、センサーのさまざまなモードからセンサデータを取り込み、それらを単一の一般的なトップダウンセマンティックグリッド表現に変換するニューラルネットワークのアンサンブルで構成されています。 モダリティは単一の出力表現を共有するため、簡単に集約して融合出力を生成することができる。
• 参考スコア（独自算出の注目度）: 7.810601410344298
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For autonomous robots to navigate a complex environment, it is crucial to understand the surrounding scene both geometrically and semantically. Modern autonomous robots employ multiple sets of sensors, including lidars, radars, and cameras. Managing the different reference frames and characteristics of the sensors, and merging their observations into a single representation complicates perception. Choosing a single unified representation for all sensors simplifies the task of perception and fusion. In this work, we present an end-to-end pipeline that performs semantic segmentation and short term prediction using a top-down representation. Our approach consists of an ensemble of neural networks which take in sensor data from different sensor modalities and transform them into a single common top-down semantic grid representation. We find this representation favorable as it is agnostic to sensor-specific reference frames and captures both the semantic and geometric information for the surrounding scene. Because the modalities share a single output representation, they can be easily aggregated to produce a fused output. In this work we predict short-term semantic grids but the framework can be extended to other tasks. This approach offers a simple, extensible, end-to-end approach for multi-modal perception and prediction.
• Abstract（参考訳）: 自律ロボットが複雑な環境をナビゲートするには、幾何学的にも意味的にも周囲のシーンを理解することが不可欠である。 現代の自律ロボットは、ライダー、レーダー、カメラを含む複数のセンサーを使用している。 異なる参照フレームとセンサーの特性を管理し、観察結果を単一の表現にマージすると、知覚が複雑になる。 すべてのセンサーに対して単一の統一表現を選択することは、知覚と融合のタスクを単純化する。 本稿では,トップダウン表現を用いた意味セグメンテーションと短期予測を行うエンドツーエンドパイプラインを提案する。 我々のアプローチは、センサーのさまざまなモードからセンサデータを取り込み、それらを単一の一般的なトップダウンセマンティックグリッド表現に変換するニューラルネットワークのアンサンブルで構成されています。 センサ固有の参照フレームに依存せず,周囲のシーンのセマンティック情報と幾何学的情報の両方をキャプチャするので,この表現が好ましい。 モダリティは単一の出力表現を共有するため、簡単に集約して融合出力を生成することができる。 この作業では、短期的なセマンティックグリッドを予測するが、フレームワークは他のタスクにも拡張できる。 このアプローチは、マルチモーダル認識と予測のためのシンプルで拡張可能なエンドツーエンドアプローチを提供する。

関連論文リスト

• Graph-Based Multi-Modal Sensor Fusion for Autonomous Driving [3.770103075126785]
  本稿では,グラフに基づく状態表現の開発に焦点をあてた,マルチモーダルセンサ融合に対する新しいアプローチを提案する。 本稿では,マルチモーダルグラフを融合する最初のオンライン状態推定手法であるSensor-Agnostic Graph-Aware Kalman Filterを提案する。 提案手法の有効性を,合成および実世界の運転データセットを用いた広範囲な実験により検証した。
  論文  参考訳（メタデータ） (2024-11-06T06:58:17Z)
• Simultaneous Clutter Detection and Semantic Segmentation of Moving Objects for Automotive Radar Data [12.96486891333286]
  レーダセンサは、自動運転車の環境認識システムにおいて重要な部分である。 レーダーポイント雲の処理における最初のステップの1つは、しばしば乱れの検出である。 もう一つの一般的な目的は、移動道路利用者のセマンティックセグメンテーションである。 我々は,RadarScenesデータセットのセマンティックセマンティックセグメンテーションにおいて,我々の設定が極めて効果的であることを示し,既存のネットワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-13T11:29:38Z)
• UniTR: A Unified and Efficient Multi-Modal Transformer for Bird's-Eye-View Representation [113.35352122662752]
  屋外3次元知覚のためのマルチモーダルバックボーンUniTRを提案する。 UniTRは、統一されたモデリングと共有パラメータで様々なモダリティを処理する。 UniTRは基本的にタスクに依存しないバックボーンであり、異なる3D知覚タスクを自然にサポートする。
  論文  参考訳（メタデータ） (2023-08-15T12:13:44Z)
• Because Every Sensor Is Unique, so Is Every Pair: Handling Dynamicity in Traffic Forecasting [32.354251863295424]
  トラフィック予測は、サイバー物理インフラから価値を抽出するための重要なタスクである。 本稿では,まず実世界の交通データを解析し,各センサがユニークなダイナミック性を持つことを示す。 次に,空間グラフ変換器 (SGT) と呼ばれる新しいモジュールを提案する。 最後に,グラフ自己注意型ウェーブネット(G-SWaN)を,複雑で非線形な時間的トラフィックのダイナミクスに対処するために提案する。
  論文  参考訳（メタデータ） (2023-02-20T12:57:31Z)
• ALSO: Automotive Lidar Self-supervision by Occupancy estimation [70.70557577874155]
  本稿では,ポイントクラウド上で動作している深層知覚モデルのバックボーンを事前学習するための自己教師型手法を提案する。 中心となる考え方は、3Dポイントがサンプリングされる表面の再構成であるプリテキストタスクでモデルをトレーニングすることである。 直感的には、もしネットワークがわずかな入力ポイントのみを考慮し、シーン表面を再構築できるなら、おそらく意味情報の断片をキャプチャする。
  論文  参考訳（メタデータ） (2022-12-12T13:10:19Z)
• One-Shot Neural Fields for 3D Object Understanding [112.32255680399399]
  ロボット工学のための統一的でコンパクトなシーン表現を提案する。 シーン内の各オブジェクトは、幾何学と外観をキャプチャする潜在コードによって描写される。 この表現は、新しいビューレンダリングや3D再構成、安定した把握予測といった様々なタスクのためにデコードできる。
  論文  参考訳（メタデータ） (2022-10-21T17:33:14Z)
• Exploring Contextual Representation and Multi-Modality for End-to-End Autonomous Driving [58.879758550901364]
  最近の知覚システムは、センサー融合による空間理解を高めるが、しばしば完全な環境コンテキストを欠いている。 我々は,3台のカメラを統合し,人間の視野をエミュレートするフレームワークを導入し,トップダウンのバードアイビューセマンティックデータと組み合わせて文脈表現を強化する。 提案手法は, オープンループ設定において0.67mの変位誤差を達成し, nuScenesデータセットでは6.9%の精度で現在の手法を上回っている。
  論文  参考訳（メタデータ） (2022-10-13T05:56:20Z)
• Measuring the Interpretability of Unsupervised Representations via Quantized Reverse Probing [97.70862116338554]
  本稿では,自己教師付き表現の解釈可能性の測定問題について検討する。 我々は、後者を、表現と手動でラベル付けされた概念の空間の間の相互情報を推定するものとして定式化する。 提案手法は,多人数の自己教師付き表現の評価に利用し,解釈可能性による評価を行う。
  論文  参考訳（メタデータ） (2022-09-07T16:18:50Z)
• A Framework for Multisensory Foresight for Embodied Agents [11.351546861334292]
  将来の感覚状態を予測することは、ロボット、ドローン、自動運転車などの学習エージェントにとって不可欠である。 本稿では,複数の感覚モーダルを探索行動と組み合わせ,この問題に対処するための予測ニューラルネットワークアーキテクチャを提案する。 このフレームワークは、大規模なオブジェクトに対して9つの動作を複数回実行するヒューマノイドロボット上で、4つの感覚モーダル(ビジョン、触覚、オーディオ、触覚)を含むデータセットでテストされ、検証された。
  論文  参考訳（メタデータ） (2021-09-15T20:20:04Z)
• Grid Cell Path Integration For Movement-Based Visual Object Recognition [0.0]
  我々は,任意の入力列が与えられたオブジェクトの信頼性認識を支援するために,格子セルをベースとした皮質ネットワークの経路統合をいかに行うかを示す。 我々のネットワーク(GridCellNet)は、グリッドセル計算を用いて視覚情報を統合し、動きに基づいて予測を行う。
  論文  参考訳（メタデータ） (2021-02-17T23:52:57Z)
• Deep Soft Procrustes for Markerless Volumetric Sensor Alignment [81.13055566952221]
  本研究では、より堅牢なマルチセンサ空間アライメントを実現するために、マーカーレスデータ駆動対応推定を改善する。 我々は、幾何学的制約を終末的に典型的なセグメンテーションベースモデルに組み込み、対象のポーズ推定タスクと中間密な分類タスクをブリッジする。 実験により,マーカーベースの手法で同様の結果が得られ,マーカーレス手法よりも優れ,またキャリブレーション構造のポーズ変動にも頑健であることがわかった。
  論文  参考訳（メタデータ） (2020-03-23T10:51:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。