論文の概要: Detecting Phone-Induced Pedestrian Distraction via a Multimodal Fusion Transformer

• arxiv url: http://arxiv.org/abs/2609.23507v1
• Date: Sun, 20 Sep 2026 09:46:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.839328
• Title: Detecting Phone-Induced Pedestrian Distraction via a Multimodal Fusion Transformer
• Title（参考訳）: マルチモーダル核融合変圧器による電話による歩行者の減量検出
• Abstract要約: 携帯電話による歩行者の気道障害を検出するためのマルチモーダルフュージョントランス (MFT) を提案する。 MFTは、身体から骨格動態を抽出し、歩行者画像からキーポイントと視覚的外観特徴を抽出する。 全体の95%の精度を達成し、6つのベースラインアプローチのパフォーマンスを6%上回った。
• 参考スコア（独自算出の注目度）: 1.8290989318114221
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The increasing reliance on mobile phones has made phone-induced pedestrian distraction increasingly prevalent. Activities such as texting, watching videos, and making phone calls have become significant contributors to traffic accidents. Reliable detection of pedestrian distraction is essential for autonomous vehicles, as it improves situational awareness and enables timely risk assessment, thereby supporting safe motion planning and vehicle control. We propose a multimodal fusion Transformer (MFT) for detecting phone-induced pedestrian distraction. MFT jointly extracts skeletal dynamics from body pose keypoints and visual appearance features from pedestrian images, effectively leveraging the complementary information provided by the two modalities. A cross-modal attention module is proposed to capture inter-modal dependencies through multi-head cross-attention, facilitating effective fusion of complementary information across the two modalities. Then, a temporal attention fusion module, implemented with a Transformer encoder, is employed to capture temporal dependencies. MFT is trained and evaluated on a manually annotated dataset comprising 287 pedestrian instances with 20,741 images. Extensive experiments demonstrate that MFT attains an overall accuracy of 95%, exceeding the performance of six baseline approaches by 6%.
• Abstract（参考訳）: 携帯電話への依存度が高まっているため、携帯電話による歩行者の注意散らしがますます高まっている。 テキストメッセージ、ビデオ視聴、通話などの活動は交通事故に大きく貢献している。 歩行者の注意喚起の信頼性は、状況認識を改善し、タイムリーなリスク評価を可能にし、安全な移動計画と車両制御をサポートするため、自動運転車にとって不可欠である。 携帯電話による歩行者の気道障害を検出するためのマルチモーダルフュージョントランス (MFT) を提案する。 MFTは、身体ポーズキーポイントから骨格動態と歩行者画像から視覚的外観特徴を共同抽出し、この2つのモードによって提供される補完情報を効果的に活用する。 マルチヘッド・クロスアテンションを通じてモーダル間の依存関係を捕捉し、2つのモーダル間の補完情報を効果的に融合させるクロスモーダル・アテンション・モジュールを提案する。 次に、Transformerエンコーダで実装された時間的注意融合モジュールを使用して、時間的依存関係をキャプチャする。 MFTは287の歩行者インスタンスと20,741の画像からなる手動の注釈付きデータセットで訓練され評価される。 大規模な実験により、MFTは全体の95%の精度を達成し、6つのベースラインアプローチのパフォーマンスを6%上回った。

関連論文リスト

• A Collaborative Multi-Modality Interaction for VLA-based End-to-End Autonomous Driving [96.81243316566764]
  VLA(Vision-Language-Action)モデルは、エンドツーエンドの自動運転の強力なパラダイムとして登場した。 マルチモーダリティインタラクションと多軌道計画と最適化を組み合わせた,堅牢なVLAベースのエンドツーエンド自動運転システムを提案する。
  論文  参考訳（メタデータ） (2026-08-21T09:06:16Z)
• A VAE-Driven Multi-Task Satellite-Aided Semantic Communication Framework for 6G-Enabled Connected Autonomous Vehicles [51.449502491030756]
  衛星支援自動運転のためのマルチタスク・セマンティック・コミュニケーション・フレームワークを提案する。 このフレームワークは、両方のタスクを共同で最適化するために、エンドツーエンドで訓練されている。 提案手法は,87.23%から98.17%までの帯域幅削減を実現している。
  論文  参考訳（メタデータ） (2026-07-15T06:49:41Z)
• Adaptive Cross-Modal Fusion with Sparse Attention for Pedestrian Crossing Intention Prediction [4.8915598762204135]
  ADAPT(Adaptive Domain-Aware Pedestrian Crossing Transformer)は、歩行者の横断意図を予測するための多モードフレームワークである。 ADAPTは、RGB画像、局所深度マップ、グローバルセマンティックマップ、グローバル深度マップを含む4つの整列された視覚モードを処理する。 JAADとPIEベンチマークデータセットの実験は、ADAPTが既存の最先端メソッドを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-07-14T03:05:09Z)
• DM$^3$T: Harmonizing Modalities via Diffusion for Multi-Object Tracking [10.270441242480482]
  本稿では,マルチモーダル融合を反復的特徴アライメントプロセスとして再構成する新しいフレームワークであるDM$3$Tを提案する。 提案するクロスモーダル拡散融合(C-MDF)モジュールを用いて,反復的クロスモーダル調和を行う。 トラッカーのロバスト性をさらに向上するために,信頼性推定を適応的に処理する階層型トラッカーを設計する。
  論文  参考訳（メタデータ） (2025-11-28T06:02:58Z)
• Contrastive Learning-Driven Traffic Sign Perception: Multi-Modal Fusion of Text and Vision [2.0720154517628417]
  オープン語彙検出とクロスモーダル学習を組み合わせた新しいフレームワークを提案する。 交通信号検出のために,NanoVerse YOLOモデルは視覚言語パス集約ネットワーク(RepVL-PAN)とSPD-Convモジュールを統合している。 交通標識分類のための交通信号認識マルチモーダルコントラスト学習モデル(TSR-MCL)を設計した。 TT100Kデータセットでは,全クラス認識のためのロングテール検出タスクにおいて,最先端の78.4%mAPを実現する。
  論文  参考訳（メタデータ） (2025-07-31T08:23:30Z)
• ViT LoS V2X: Vision Transformers for Environment-aware LoS Blockage Prediction for 6G Vehicular Networks [20.953587995374168]
  我々は、畳み込みニューラルネットワーク(CNN)とカスタマイズされた視覚変換器(ViT)を組み合わせたディープラーニングベースのアプローチを提案する。 提案手法は,時系列マルチモーダルデータから特徴を抽出するために,CNNとViTの相乗的強みを利用する。 その結果,提案手法は精度が高く,最先端のソリューションよりも優れ,95%以上の精度で予測できることがわかった。
  論文  参考訳（メタデータ） (2024-06-27T01:38:09Z)
• M2DA: Multi-Modal Fusion Transformer Incorporating Driver Attention for Autonomous Driving [11.36165122994834]
  自律運転にドライバ注意(M2DA)を組み込んだ多モード核融合トランスを提案する。 ドライバーの注意を取り入れることで、自動運転車に人間のようなシーン理解能力を付与し、重要な領域を正確に特定し、安全性を確保する。
  論文  参考訳（メタデータ） (2024-03-19T08:54:52Z)
• Cross-modal Orthogonal High-rank Augmentation for RGB-Event Transformer-trackers [58.802352477207094]
  本研究では,2つのモード間の分布ギャップを埋めるために,事前学習された視覚変換器(ViT)の潜在可能性を探る。 本研究では,いくつかのトークンの特定のモダリティをランダムにマスキングし,異なるモダリティのトークン間の相互作用を積極的に行うマスクモデリング戦略を提案する。 実験により,我々のプラグアンドプレイトレーニング強化技術は,追跡精度と成功率の両方の観点から,最先端のワンストリームと2つのトラッカーストリームを大幅に向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-07-09T08:58:47Z)
• Multi-Modal Fusion Transformer for End-to-End Autonomous Driving [59.60483620730437]
  画像表現とLiDAR表現を注目で統合する,新しいマルチモードフュージョントランスフォーマであるTransFuserを提案する。 本手法は, 衝突を76%低減しつつ, 最先端駆動性能を実現する。
  論文  参考訳（メタデータ） (2021-04-19T11:48:13Z)
• Fine-Grained Vehicle Perception via 3D Part-Guided Visual Data Augmentation [77.60050239225086]
  実画像中の車両に動的部品を付加した3次元自動車モデルによる効果的なトレーニングデータ生成プロセスを提案する。 私達のアプローチは人間の相互作用なしで完全に自動です。 VUS解析用マルチタスクネットワークとVHI解析用マルチストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2020-12-15T03:03:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。