論文の概要: RALACs: Action Recognition in Autonomous Vehicles using Interaction
Encoding and Optical Flow
- arxiv url: http://arxiv.org/abs/2209.14408v3
- Date: Sun, 14 Jan 2024 16:40:15 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-18 03:47:34.208708
- Title: RALACs: Action Recognition in Autonomous Vehicles using Interaction
Encoding and Optical Flow
- Title(参考訳): RALACs:インタラクションエンコーディングと光フローを用いた自動運転車の行動認識
- Authors: Eddy Zhou, Alex Zhuang, Alikasim Budhwani, Owen Leather, Rowan
Dempster, Quanquan Li, Mohammad Al-Sharman, Derek Rayside, and William Melek
- Abstract要約: 行動認識は、自動運転車における環境モデルの状況認識を高めることができる。
本研究は、ALACと呼ばれる新しい2段階の行動認識システムを提案する。
RALACは、道路シーンにおける行動認識の問題を定式化し、それと人間の行動認識の確立した分野とのギャップを埋める。
- 参考スコア(独自算出の注目度): 8.380573675274826
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: When applied to autonomous vehicle (AV) settings, action recognition can
enhance an environment model's situational awareness. This is especially
prevalent in scenarios where traditional geometric descriptions and heuristics
in AVs are insufficient. However, action recognition has traditionally been
studied for humans, and its limited adaptability to noisy, un-clipped,
un-pampered, raw RGB data has limited its application in other fields. To push
for the advancement and adoption of action recognition into AVs, this work
proposes a novel two-stage action recognition system, termed RALACs. RALACs
formulates the problem of action recognition for road scenes, and bridges the
gap between it and the established field of human action recognition. This work
shows how attention layers can be useful for encoding the relations across
agents, and stresses how such a scheme can be class-agnostic. Furthermore, to
address the dynamic nature of agents on the road, RALACs constructs a novel
approach to adapting Region of Interest (ROI) Alignment to agent tracks for
downstream action classification. Finally, our scheme also considers the
problem of active agent detection, and utilizes a novel application of fusing
optical flow maps to discern relevant agents in a road scene. We show that our
proposed scheme can outperform the baseline on the ICCV2021 Road Challenge
dataset and by deploying it on a real vehicle platform, we provide preliminary
insight to the usefulness of action recognition in decision making.
- Abstract(参考訳): 自律走行車(AV)設定に適用すると、行動認識は環境モデルの状況認識を高めることができる。
これは特に、avsの伝統的な幾何学的記述やヒューリスティックが不十分なシナリオで一般的である。
しかしながら、伝統的に人間の行動認識は研究されてきたが、ノイズに富んだ、無修正の生のRGBデータへの適応性には限界がある。
行動認識のAVへの進歩と導入を促進するために,新たな2段階の行動認識システムであるRALACを提案する。
RALACは、道路シーンにおける行動認識の問題を定式化し、それと人間の行動認識の確立した分野とのギャップを埋める。
本研究は,エージェント間の関係をエンコードするために注目層がいかに有用かを示し,そのようなスキームがクラスに依存しないかを強調した。
さらに、道路上のエージェントの動的性質に対処するため、ralACsは、下流行動分類のためのエージェントトラックへの関心領域アライメント(ROI)適応のための新しいアプローチを構築している。
最後に,本手法では,アクティブエージェント検出の問題点も考慮し,道路シーンにおける関連エージェントの識別に光フローマップを融合する新たな応用法を提案する。
提案手法はICCV2021ロードチャレンジデータセットのベースラインを上回り,実際の車両プラットフォームに展開することにより,意思決定における行動認識の有用性に関する予備的な知見を提供する。
関連論文リスト
- Interactive Autonomous Navigation with Internal State Inference and
Interactivity Estimation [58.21683603243387]
本稿では,関係時間的推論を伴う3つの補助的タスクを提案し,それらを標準のディープラーニングフレームワークに統合する。
これらの補助的なタスクは、他の対話的エージェントの行動パターンを推測するための追加の監視信号を提供する。
提案手法は,標準評価指標の観点から,頑健かつ最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-11-27T18:57:42Z) - Learning Representative Trajectories of Dynamical Systems via
Domain-Adaptive Imitation [0.0]
ドメイン適応軌道模倣のための深層強化学習エージェントDATIを提案する。
実験の結果,DATIは模擬学習と最適制御のベースライン手法よりも優れていることがわかった。
実世界のシナリオへの一般化は、海上交通における異常な動きパターンの発見を通じて示される。
論文 参考訳(メタデータ) (2023-04-19T15:53:48Z) - DOAD: Decoupled One Stage Action Detection Network [77.14883592642782]
人々をローカライズし、ビデオからアクションを認識することは、ハイレベルなビデオ理解にとって難しい課題だ。
既存の手法は主に2段階ベースで、1段階は人物境界ボックス生成、もう1段階は行動認識を行う。
本稿では、時間的行動検出の効率を向上させるために、DOADと呼ばれる分離したワンステージネットワークを提案する。
論文 参考訳(メタデータ) (2023-04-01T08:06:43Z) - Domain Knowledge Driven Pseudo Labels for Interpretable Goal-Conditioned
Interactive Trajectory Prediction [29.701029725302586]
目標条件付きフレームワークを用いた共同軌道予測問題について検討する。
本研究では,条件付き変分自動エンコーダ(CVAE)モデルを導入し,異なる相互作用モードを潜在空間に明示的にエンコードする。
KLの消滅を回避する新しい手法を提案し、擬似ラベルを用いた解釈可能な対話型潜在空間を誘導する。
論文 参考訳(メタデータ) (2022-03-28T21:41:21Z) - Audio-Adaptive Activity Recognition Across Video Domains [112.46638682143065]
ドメイン間のばらつきが少なく、どのアクティビティが起こっていないかを確実に示すことができるので、ドメイン適応のためにアクティビティサウンドを活用します。
視覚特徴表現を識別的に調整するオーディオ適応型エンコーダと学習方法を提案する。
また、アクターシフトという新たなタスクを対応するオーディオ・ビジュアル・データセットで導入し、アクターの出現が劇的に変化する状況において、我々の手法に挑戦する。
論文 参考訳(メタデータ) (2022-03-27T08:15:20Z) - Decoder Fusion RNN: Context and Interaction Aware Decoders for
Trajectory Prediction [53.473846742702854]
本稿では,動き予測のための反復的,注意に基づくアプローチを提案する。
Decoder Fusion RNN (DF-RNN) は、リカレント動作エンコーダ、エージェント間マルチヘッドアテンションモジュール、コンテキスト認識デコーダで構成される。
提案手法の有効性をArgoverseモーション予測データセットで検証し,その性能を公開ベンチマークで示す。
論文 参考訳(メタデータ) (2021-08-12T15:53:37Z) - Model Guided Road Intersection Classification [2.9248680865344348]
本研究は,rgb画像からの区間間分類を,教師・生徒の訓練パラダイムに基づく結果向上手法とともに,統合型ニューラルネットワークを用いて検討する。
KITTIデータセットと新しいKITTI-360シーケンスの両方において、最適な入力構成を特定し、異なるネットワークパラメータを評価することを目的とした広範な実験活動により、本手法はフレーム単位の最先端手法よりも優れ、提案手法の有効性が証明された。
論文 参考訳(メタデータ) (2021-04-26T09:15:28Z) - Cycle and Semantic Consistent Adversarial Domain Adaptation for Reducing
Simulation-to-Real Domain Shift in LiDAR Bird's Eye View [110.83289076967895]
ドメイン適応プロセス中に関心のある小さなオブジェクトの情報を保存するために,事前の意味分類を用いたサイクガンに基づくbevドメイン適応法を提案する。
生成したBEVの品質は,KITTI 3D Object Detection Benchmarkの最先端3Dオブジェクト検出フレームワークを用いて評価されている。
論文 参考訳(メタデータ) (2021-04-22T12:47:37Z) - Domain Adaptive Robotic Gesture Recognition with Unsupervised
Kinematic-Visual Data Alignment [60.31418655784291]
本稿では,マルチモダリティ知識,すなわちキネマティックデータとビジュアルデータを同時にシミュレータから実ロボットに伝達できる,教師なしドメイン適応フレームワークを提案する。
ビデオの時間的手がかりと、ジェスチャー認識に対するマルチモーダル固有の相関を用いて、トランスファー可能な機能を強化したドメインギャップを修復する。
その結果, 本手法は, ACCでは最大12.91%, F1scoreでは20.16%と, 実際のロボットではアノテーションを使わずに性能を回復する。
論文 参考訳(メタデータ) (2021-03-06T09:10:03Z) - Improving Movement Predictions of Traffic Actors in Bird's-Eye View
Models using GANs and Differentiable Trajectory Rasterization [12.652210024012374]
自動運転パズルの最も重要なピースの1つは、周囲の交通機関の将来の動きを予測するタスクである。
一方はトップダウンのシーン化と他方はGAN(Generative Adrial Networks)に基づく手法が特に成功したことが示されている。
本稿では,これら2つの方向に基づいて,Aversa-based conditional GANアーキテクチャを提案する。
提案手法を実世界の大規模データセット上で評価し,最先端のGANベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2020-04-14T00:41:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。