論文の概要: EraW-Net: Enhance-Refine-Align W-Net for Scene-Associated Driver Attention Estimation

• arxiv url: http://arxiv.org/abs/2408.08570v2
• Date: Thu, 31 Oct 2024 16:20:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 07:18:07.272249
• Title: EraW-Net: Enhance-Refine-Align W-Net for Scene-Associated Driver Attention Estimation
• Title（参考訳）: EraW-Net:Scene-associated Driver Attention Estimationのための Enhance-Refine-Align W-Net
• Authors: Jun Zhou, Chunsheng Liu, Faliang Chang, Wenqian Wang, Penghui Hao, Yiming Huang, Zhiqiang Yang,
• Abstract要約: 2つの視野にわたる運転シーンにドライバーの注意を関連付けることは、クロスドメインな認識の問題である。 従来の手法は、通常、単一の視点に焦点を当てたり、推定された視線を通してシーンに注意を向ける。 エンド・ツー・エンドのシーン関連運転注意度推定手法であるEraWNetを提案する。
• 参考スコア（独自算出の注目度）: 17.0226030258296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Associating driver attention with driving scene across two fields of views (FOVs) is a hard cross-domain perception problem, which requires comprehensive consideration of cross-view mapping, dynamic driving scene analysis, and driver status tracking. Previous methods typically focus on a single view or map attention to the scene via estimated gaze, failing to exploit the implicit connection between them. Moreover, simple fusion modules are insufficient for modeling the complex relationships between the two views, making information integration challenging. To address these issues, we propose a novel method for end-to-end scene-associated driver attention estimation, called EraW-Net. This method enhances the most discriminative dynamic cues, refines feature representations, and facilitates semantically aligned cross-domain integration through a W-shaped architecture, termed W-Net. Specifically, a Dynamic Adaptive Filter Module (DAF-Module) is proposed to address the challenges of frequently changing driving environments by extracting vital regions. It suppresses the indiscriminately recorded dynamics and highlights crucial ones by innovative joint frequency-spatial analysis, enhancing the model's ability to parse complex dynamics. Additionally, to track driver states during non-fixed facial poses, we propose a Global Context Sharing Module (GCS-Module) to construct refined feature representations by capturing hierarchical features that adapt to various scales of head and eye movements. Finally, W-Net achieves systematic cross-view information integration through its "Encoding-Independent Partial Decoding-Fusion Decoding" structure, addressing semantic misalignment in heterogeneous data integration. Experiments demonstrate that the proposed method robustly and accurately estimates the mapping of driver attention in scene on large public datasets.
• Abstract（参考訳）: 2つの視野(FOV)にわたる運転シーンと運転注意を関連付けることは、クロスビューマッピング、動的運転シーン分析、運転状態追跡の包括的な検討を必要とする、難しいクロスドメイン認識問題である。 従来の手法は、通常、単一のビューにフォーカスするか、推定された視線を通してシーンに注意を向け、それらの間の暗黙のつながりを悪用しなかった。 さらに、単純な融合モジュールは2つのビュー間の複雑な関係をモデル化するのに不十分であり、情報統合を困難にしている。 これらの問題に対処するために,EraW-Netと呼ばれる,エンド・ツー・エンドのシーン関連運転注意度推定手法を提案する。 この方法は、最も差別的な動的キューを強化し、特徴表現を洗練し、W字型アーキテクチャ(W-Net)を通じて意味的に整合したクロスドメイン統合を容易にする。 具体的には,動的適応フィルタモジュール (DAF-Module) を提案する。 これは、無差別に記録された力学を抑え、革新的な結合周波数空間解析によって重要な力学を強調させ、複雑な力学を解析するモデルの能力を高める。 さらに,非固定顔貌におけるドライバの状態を追跡するために,頭部・眼球運動の様々なスケールに適応する階層的特徴を捉えることにより,洗練された特徴表現を構築するためのGlobal Context Sharing Module (GCS-Module)を提案する。 最後に、W-Netは、"Encoding-Independent partial Decoding-Fusion Decoding"構造を通じて、体系的なクロスビュー情報統合を実現し、異種データ統合における意味的ミスアライメントに対処する。 実験により,提案手法は大規模公共データセットのシーンにおける運転注意のマッピングを頑健かつ正確に推定することを示した。

関連論文リスト

• CRASH: Crash Recognition and Anticipation System Harnessing with Context-Aware and Temporal Focus Attentions [13.981748780317329]
  カメラ映像から周囲の交通機関の事故を正確にかつ迅速に予測することは、自動運転車(AV)の安全性に不可欠である 本研究は, CRASH と呼ばれる, AV の新たな事故予測フレームワークを提案する。 オブジェクト検出、特徴抽出、オブジェクト認識モジュール、コンテキスト認識モジュール、多層融合の5つのコンポーネントをシームレスに統合する。 私たちのモデルは、平均精度(AP)や平均到達時間(mTTA)といった重要な評価指標において、既存のトップベースラインを超えています。
  論文  参考訳（メタデータ） (2024-07-25T04:12:49Z)
• SSGA-Net: Stepwise Spatial Global-local Aggregation Networks for for Autonomous Driving [27.731481134782577]
  現在のモデルは、通常、タスクヘッドのオブジェクト表現を強化するために隣のフレームから特徴を集約します。 これらの手法は将来のフレームからの情報に依存し、高い計算複雑性に悩まされる。 本稿では,これらの問題を解決するために,段階的に空間的局所集約ネットワークを導入する。
  論文  参考訳（メタデータ） (2024-05-29T08:12:51Z)
• Multi-view Aggregation Network for Dichotomous Image Segmentation [76.75904424539543]
  Dichotomous Image (DIS) は近年,高解像度自然画像からの高精度物体分割に向けて出現している。 既存の手法は、グローバルなローカライゼーションと局所的な洗練を徐々に完了させるために、退屈な複数のエンコーダ・デコーダストリームとステージに依存している。 これに触発されて、我々は多視点オブジェクト認識問題としてdisをモデル化し、擬似多視点アグリゲーションネットワーク(MVANet)を提供する。 一般的なdis-5Kデータセットの実験では、我々のMVANetは精度と速度の両方で最先端の手法を大きく上回っている。
  論文  参考訳（メタデータ） (2024-04-11T03:00:00Z)
• Prompt-Driven Dynamic Object-Centric Learning for Single Domain Generalization [61.64304227831361]
  単一ドメインの一般化は、単一のソースドメインデータからモデルを学び、他の見えないターゲットドメイン上での一般的なパフォーマンスを達成することを目的としている。 本稿では,画像の複雑さの変化に対応することを目的とした,素早い学習に基づく動的物体中心知覚ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-02-28T16:16:51Z)
• Appearance-Based Refinement for Object-Centric Motion Segmentation [85.2426540999329]
  本稿では,ビデオストリームの時間的一貫性を利用して,不正確なフローベース提案を補正する外観に基づく改善手法を提案する。 提案手法では,高精度なフロー予測マスクを模範として,シーケンスレベルの選択機構を用いる。 パフォーマンスは、DAVIS、YouTube、SegTrackv2、FBMS-59など、複数のビデオセグメンテーションベンチマークで評価されている。
  論文  参考訳（メタデータ） (2023-12-18T18:59:51Z)
• Alignment-free HDR Deghosting with Semantics Consistent Transformer [76.91669741684173]
  高ダイナミックレンジイメージングは、複数の低ダイナミックレンジ入力から情報を取得し、リアルな出力を生成することを目的としている。 既存の手法では、前景やカメラの動きによって引き起こされる入力フレーム間の空間的ずれに焦点を当てることが多い。 本研究では,SCTNet(Semantics Consistent Transformer)を用いたアライメントフリーネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T15:03:23Z)
• Learning to Aggregate Multi-Scale Context for Instance Segmentation in Remote Sensing Images [28.560068780733342]
  特徴抽出のプロセスを改善するために,新しいコンテキスト集約ネットワーク(CATNet)を提案する。 提案モデルは,高密度特徴ピラミッドネットワーク(DenseFPN),空間コンテキストピラミッド(SCP),階層的関心抽出器(HRoIE)の3つの軽量プラグアンドプレイモジュールを利用する。
  論文  参考訳（メタデータ） (2021-11-22T08:55:25Z)
• Full-Duplex Strategy for Video Object Segmentation [141.43983376262815]
  Full- Strategy Network (FSNet)はビデオオブジェクトセグメンテーション(VOS)のための新しいフレームワークである 我々のFSNetは、融合復号ステージの前に、クロスモーダルな機能パス(すなわち、送信と受信)を同時に実行します。 我々のFSNetは、VOSとビデオの有能なオブジェクト検出タスクの両方において、他の最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-08-06T14:50:50Z)
• Understanding Dynamic Scenes using Graph Convolution Networks [22.022759283770377]
  本稿では,移動カメラが捉えた時間順のフレーム列から道路車両の挙動をモデル化する新しい枠組みを提案する。 微調整に頼らずに複数のデータセットへの学習のシームレスな移行を示す。 このような振る舞い予測手法は,様々なナビゲーションタスクにおいて即時関連性を見出す。
  論文  参考訳（メタデータ） (2020-05-09T13:05:06Z)
• Cascaded Human-Object Interaction Recognition [175.60439054047043]
  マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。 各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。 慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
  論文  参考訳（メタデータ） (2020-03-09T17:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。