論文の概要: Pose-guided multi-task video transformer for driver action recognition
- arxiv url: http://arxiv.org/abs/2407.13750v1
- Date: Thu, 18 Jul 2024 17:53:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-19 14:12:02.287342
- Title: Pose-guided multi-task video transformer for driver action recognition
- Title（参考訳）: 運転者行動認識のための姿勢誘導型マルチタスクビデオトランス
- Authors: Ricardo Pizarro, Roberto Valle, Luis Miguel Bergasa, José M. Buenaposada, Luis Baumela,
- Abstract要約: 本稿では,邪魔された動作とドライバのポーズの両方を予測するマルチタスクビデオトランスフォーマーを提案する。
提案手法は,現行のビデオトランスフォーマーを用いた手法に比べて,運転者の行動認識に優れた効率性を示しながら,既存の最先端技術よりも優れている。
- 参考スコア（独自算出の注目度）: 5.392333248149453
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We investigate the task of identifying situations of distracted driving through analysis of in-car videos. To tackle this challenge we introduce a multi-task video transformer that predicts both distracted actions and driver pose. Leveraging VideoMAEv2, a large pre-trained architecture, our approach incorporates semantic information from human keypoint locations to enhance action recognition and decrease computational overhead by minimizing the number of spatio-temporal tokens. By guiding token selection with pose and class information, we notably reduce the model's computational requirements while preserving the baseline accuracy. Our model surpasses existing state-of-the art results in driver action recognition while exhibiting superior efficiency compared to current video transformer-based approaches.
- Abstract（参考訳）: 本研究は,車内ビデオの分析を通じて,注意散らされた運転状況を特定するタスクについて検討する。
この課題に対処するために、邪魔されたアクションとドライバーのポーズの両方を予測するマルチタスクビデオトランスフォーマーを導入します。
提案手法は,大規模な事前学習型アーキテクチャであるVideoMAEv2を活用することで,人間のキーポイント位置からの意味情報を組み込んで,時空間トークン数の最小化による行動認識と計算オーバーヘッドの低減を図る。
ポーズとクラス情報でトークンの選択を導くことにより、ベースライン精度を維持しながら、モデルの計算要求を顕著に削減する。
提案手法は,現行のビデオトランスフォーマーを用いた手法に比べて,運転者の行動認識に優れた効率性を示しながら,既存の最先端技術よりも優れている。
関連論文リスト
- Multi-view Action Recognition via Directed Gromov-Wasserstein Discrepancy [12.257725479880458]
行動認識はコンピュータビジョンにおける人気のある研究トピックの1つとなっている。
本稿では,アクションビデオの2つの異なる視点から2つの注意の類似性を計算する多視点アテンション整合性手法を提案する。
我々のアプローチでは、単一ビューデータセットのトレーニングにおいて、新しいビューからの機能を暗黙的にレンダリングするために、Neural Radiance Fieldというアイデアを適用しています。
論文 参考訳（メタデータ） (2024-05-02T14:43:21Z) - Looking for a better fit? An Incremental Learning Multimodal Object
Referencing Framework adapting to Individual Drivers [0.0]
自動車産業の急速な進歩により、タッチベースや音声コマンドシステムといった従来の車両のインタラクション方法は、車両外の物体を参照するなど、幅広い非運転関連のタスクには不十分である。
textitIcRegressは、オブジェクトの駆動と参照という2つのタスクに携わるドライバーの振る舞いや特徴に適応する、新しい回帰に基づく漸進的学習手法である。
論文 参考訳（メタデータ） (2024-01-29T12:48:56Z) - Appearance-Based Refinement for Object-Centric Motion Segmentation [85.2426540999329]
本稿では,ビデオストリームの時間的一貫性を利用して,不正確なフローベース提案を補正する外観に基づく改善手法を提案する。
提案手法では,高精度なフロー予測マスクを模範として,シーケンスレベルの選択機構を用いる。
パフォーマンスは、DAVIS、YouTube、SegTrackv2、FBMS-59など、複数のビデオセグメンテーションベンチマークで評価されている。
論文 参考訳（メタデータ） (2023-12-18T18:59:51Z) - M$^2$DAR: Multi-View Multi-Scale Driver Action Recognition with Vision
Transformer [5.082919518353888]
本稿では,自然主義的運転行動認識と動画のローカライゼーションのためのマルチビュー・マルチスケールフレームワークを提案する。
本システムでは,マルチスケールトランスフォーマーに基づく動作認識ネットワークを特徴とし,頑健な階層表現を学習する。
論文 参考訳（メタデータ） (2023-05-13T02:38:15Z) - DOAD: Decoupled One Stage Action Detection Network [77.14883592642782]
人々をローカライズし、ビデオからアクションを認識することは、ハイレベルなビデオ理解にとって難しい課題だ。
既存の手法は主に2段階ベースで、1段階は人物境界ボックス生成、もう1段階は行動認識を行う。
本稿では、時間的行動検出の効率を向上させるために、DOADと呼ばれる分離したワンステージネットワークを提案する。
論文 参考訳（メタデータ） (2023-04-01T08:06:43Z) - Visual Exemplar Driven Task-Prompting for Unified Perception in
Autonomous Driving [100.3848723827869]
本稿では,タスク固有のプロンプトを通じて視覚的見本を提示する,効果的なマルチタスクフレームワークVE-Promptを提案する。
具体的には、境界ボックスと色に基づくマーカーに基づいて視覚的な例を生成し、ターゲットカテゴリの正確な視覚的外観を提供する。
我々は変圧器をベースとしたエンコーダと畳み込み層を橋渡しし、自律運転における効率的かつ正確な統合認識を実現する。
論文 参考訳（メタデータ） (2023-03-03T08:54:06Z) - Dyna-DepthFormer: Multi-frame Transformer for Self-Supervised Depth
Estimation in Dynamic Scenes [19.810725397641406]
シーン深度と3次元運動場を協調的に予測する新しいDyna-Depthformerフレームワークを提案する。
まず,多視点の相関を一連の自己・横断的層を通じて活用し,深度特徴表現の強化を図る。
第2に,動的物体の運動場をセマンティック・プレセプションを使わずに推定するワーピングに基づく運動ネットワークを提案する。
論文 参考訳（メタデータ） (2023-01-14T09:43:23Z) - Multi-dataset Training of Transformers for Robust Action Recognition [75.5695991766902]
動作認識のための複数のデータセットをうまく一般化することを目的として,ロバストな特徴表現の課題について検討する。
本稿では、情報損失と投影損失という2つの新しい損失項を設計した、新しいマルチデータセットトレーニングパラダイムであるMultiTrainを提案する。
本研究では,Kineetics-400,Kineetics-700,Moments-in-Time,Activitynet,Some-something-v2の5つの課題データセットに対して,本手法の有効性を検証する。
論文 参考訳（メタデータ） (2022-09-26T01:30:43Z) - Differentiable Frequency-based Disentanglement for Aerial Video Action
Recognition [56.91538445510214]
ビデオにおける人間の行動認識のための学習アルゴリズムを提案する。
我々のアプローチは、主に斜めに配置されたダイナミックカメラから取得されるUAVビデオのために設計されている。
我々はUAV HumanデータセットとNEC Droneデータセットについて広範な実験を行った。
論文 参考訳（メタデータ） (2022-09-15T22:16:52Z) - Depth Guided Adaptive Meta-Fusion Network for Few-shot Video Recognition [86.31412529187243]
わずかにラベル付きサンプルで新しいアクションを学習することを目的としたビデオ認識はほとんどない。
本稿では,AMeFu-Netと呼ばれる映像認識のための深度誘導型適応メタフュージョンネットワークを提案する。
論文 参考訳（メタデータ） (2020-10-20T03:06:20Z) - Vehicle-Human Interactive Behaviors in Emergency: Data Extraction from
Traffic Accident Videos [0.0]
現在、緊急時の車両と人間の対話行動を研究するには、ほとんど利用できない実際の緊急状況において、大量のデータセットが必要である。
本稿では,実際の事故映像から対話行動データ(車と人間の軌跡)を抽出する,しかし便利な方法を提案する。
リアルタイムの事故ビデオからデータを抽出する主な課題は、記録カメラが校正されておらず、監視の角度が不明であるという事実にある。
論文 参考訳（メタデータ） (2020-03-02T22:17:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。