論文の概要: MTF-Net: Multi-Modal Temporal Feature Fusion Network for Pedestrian Intention Prediction

• arxiv url: http://arxiv.org/abs/2609.20178v1
• Date: Fri, 24 Jul 2026 08:38:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.627269
• Title: MTF-Net: Multi-Modal Temporal Feature Fusion Network for Pedestrian Intention Prediction
• Title（参考訳）: MTF-Net:歩行者の意図予測のためのマルチモーダル時間特徴融合ネットワーク
• Abstract要約: MTF-Netは、モダリティバウンディングボックスのダイナミクス、人間のポーズキーポイント、ローカルコンテキスト、シーンレベルのセマンティクスを統合する新しいネットワークである。 提案モデルでは,歩行者が横断する意図を複数フレームで予測する。
• 参考スコア（独自算出の注目度）: 4.2031467967813425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accurately predicting pedestrian intentions is crucial for ensuring safe and proactive interaction between autonomous vehicles and pedestrians. However, existing approaches often depend on architectures that either model temporal dependencies within individual modalities or fuse modalities only at coarse semantic levels. To address these limitations, we propose MTF-Net, a novel Multi-Modal Temporal Feature Fusion Network that jointly models kinematic, appearance, and contextual cues for pedestrian intention prediction. MTF-Net integrates four complementary modalities-bounding-box dynamics, human pose keypoints, local context, and scene-level semantics within a recurrent fusion framework enhanced by gated linear units (GLUs). These GLU-based modules adaptively regulate cross-modal information flow, enabling interpretable and efficient feature interaction across temporal scales. Through three dedicated temporal encoding branches and an attention-guided fusion head, the proposed model robustly anticipates pedestrian crossing intentions several frames before they occur. Extensive evaluations on the PIE and JAAD benchmarks demonstrate that MTF-Net surpasses recent transformer- and graph-based models, achieving up to 0.95 AUC on PIE and 0.94 AUC on JAAD, while maintaining real-time performance. The results highlight that reliable pedestrian intention prediction arises from principled multi-modal fusion rather than excessive architectural complexity.
• Abstract（参考訳）: 歩行者の意図を正確に予測することは、自動運転車と歩行者の安全かつ積極的な相互作用を確保するために不可欠である。 しかし、既存のアプローチは、個々のモダリティ内の時間的依存関係をモデル化するか、粗いセマンティックレベルでのみフューズモーダルをモデル化するアーキテクチャに依存していることが多い。 これらの制約に対処するため,歩行者の意図予測のための運動,外観,文脈的手がかりを共同でモデル化するマルチモーダル・テンポラル・フィーチャー・フュージョン・ネットワーク MTF-Net を提案する。 MTF-Netは、ゲート線形ユニット(GLU)によって強化されたリカレント融合フレームワークにおいて、4つの相補的モダリティバウンディングボックスダイナミクス、人間のポーズキーポイント、ローカルコンテキスト、シーンレベルのセマンティクスを統合する。 これらのGLUベースのモジュールは、時間スケール間での解釈可能かつ効率的な機能相互作用を可能にする、クロスモーダル情報フローを適応的に制御する。 3つの専用の時間符号化枝と注意誘導型融合ヘッドを通して、提案モデルは歩行者の横断意図を確実に予測する。 PIEとJAADベンチマークの大規模な評価は、MTF-Netが最近のトランスフォーマーおよびグラフベースのモデルを超え、PIEでは0.95 AUC、JAADでは0.94 AUCを達成し、リアルタイムのパフォーマンスを維持していることを示している。 その結果,過度な建築的複雑さではなく,原則的マルチモーダル融合から,信頼性の高い歩行者意図予測が生じることが明らかとなった。

関連論文リスト

• StreamPI: Streaming Multimodal Temporal Modeling for Vision-Language-Action Models [84.17128030384099]
  StreamPIはストリーミングマルチモーダル時間モデリングフレームワークである。 追加パラメータを導入することなく、単一フレームのVLAに時間的推論能力を持たせる。 メモリ依存および正確な認識シナリオにまたがる実ロボットタスクの実験とシミュレーションベンチマークのLIBEROは、StreamPIが様々なタスクでpi0.5より優れていることを示した。
  論文  参考訳（メタデータ） (2026-08-26T17:33:19Z)
• Fuzzy-MoE: Interpretable Regime-Conditioned Expert Routing for Non-Stationary Multivariate Time Series Forecasting [10.050287855808307]
  Fuzzy-MoE はファジィ論理に基づく動的Mixture-of-Expertsモデルである。 潜時状態を推論し、学習可能なガウスのメンバーシップ関数を通じて専門家の活性化強度を計算する。 予測精度において、主流の予測手法を著しく上回る。
  論文  参考訳（メタデータ） (2026-08-21T05:49:32Z)
• Adaptive Cross-Modal Fusion with Sparse Attention for Pedestrian Crossing Intention Prediction [4.8915598762204135]
  ADAPT(Adaptive Domain-Aware Pedestrian Crossing Transformer)は、歩行者の横断意図を予測するための多モードフレームワークである。 ADAPTは、RGB画像、局所深度マップ、グローバルセマンティックマップ、グローバル深度マップを含む4つの整列された視覚モードを処理する。 JAADとPIEベンチマークデータセットの実験は、ADAPTが既存の最先端メソッドを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-07-14T03:05:09Z)
• DSFNet: Learning Dual-Domain Spectral Operators for Multi-Modality Spatio-Temporal Forecasting in Urban Transportation Systems [51.72074484150301]
  本稿ではDSFNet(Dual-Domain Spectral Network)を提案し,変数間の関係を明示的にモデル化する。 このフレームワークは、異種空間パターンを捉えるために、二重領域スペクトルフィルタリングを用いる。 2番目のベースラインと比較して、DSFNetはこれらのデータセット間でMAEを3.21%-10.16%削減する。
  論文  参考訳（メタデータ） (2026-06-05T07:33:57Z)
• MUSCLE-NET: Predicted-Multiscale-Aware Network for Pedestrian Trajectory Forecasting [15.572018668266429]
  我々は,歩行者軌道予測のための予測型MultiSCale-Aware Network (MUSCLE-NET)を提案する。 MUSCLE-NETは、補完的なマルチモーダルキューとスケール適応予測機構を統合している。 これらの特徴に基づいて、Multiscale Enhanced Hierarchical Prediction (MEHP)モジュールは、将来の動きを予測対応で改善する。
  論文  参考訳（メタデータ） (2026-05-30T01:30:02Z)
• VISTA: A Vision and Intent-Aware Social Attention Framework for Multi-Agent Trajectory Prediction [4.4382802228131455]
  マルチエージェント軌道予測のための目標条件変換器 VISTA を提案する。 高密度のMADRASベンチマークでは、VISTAは最先端の精度を実現し、衝突は大幅に少ない。 これらの結果から, VISTAは社会的に適合し, 目標を意識し, 解釈可能な軌道を生成することがわかった。
  論文  参考訳（メタデータ） (2025-11-13T11:17:01Z)
• MGTS-Net: Exploring Graph-Enhanced Multimodal Fusion for Augmented Time Series Forecasting [1.7077661158850292]
  時系列予測のためのマルチモーダルグラフ強化ネットワークMGTS-Netを提案する。 モデルは,(1)マルチモーダル特徴抽出層(MFE),(2)マルチモーダル特徴融合層(MFF),(3)マルチスケール予測層(MSP)の3つのコアコンポーネントから構成される。
  論文  参考訳（メタデータ） (2025-10-18T04:47:10Z)
• NExT-OMNI: Towards Any-to-Any Omnimodal Foundation Models with Discrete Flow Matching [64.10695425442164]
  NExT-OMNI(英語版)は、離散フローパラダイムによる統一モデリングを実現するオープンソース・オムニモーダル・ファンデーション・モデルである。 NExT-OMNIは、大規模なインターリーブ付きテキスト、画像、ビデオ、オーディオデータに基づいて訓練され、マルチモーダル生成および理解ベンチマーク上で競合するパフォーマンスを提供する。 さらなる研究を進めるために、トレーニングの詳細、データプロトコル、およびコードとモデルチェックポイントの両方をオープンソース化する。
  論文  参考訳（メタデータ） (2025-10-15T16:25:18Z)
• Interactive Test-Time Adaptation with Reliable Spatial-Temporal Voxels for Multi-Modal Segmentation [56.70910056845503]
  マルチモーダルテストタイム適応(MM-TTA)は、補完的なマルチモーダル入力をオンライン形式で活用することにより、ラベルのないターゲットドメインにモデルを適応させる。 従来のMM-TTA法は, 時間的不整合によるフレームワイドの不安定な予測と, 信頼度誘導の仮定に反する不正確な予測の2つの大きな限界に悩まされていた。 Latte++は、より情報的な幾何学的対応によって不安定なフレーム単位の予測をより抑制し、対話型テスト時間適応(ITTA)は、努力を伴わない人間のフィードバックを促進するフレキシブルなアドオンである。
  論文  参考訳（メタデータ） (2024-03-11T06:56:08Z)
• Global-to-Local Modeling for Video-based 3D Human Pose and Shape Estimation [53.04781510348416]
  フレーム内精度とフレーム間スムーズさにより,映像に基づく3次元人間のポーズと形状推定を評価する。 エンドツーエンドフレームワークGLoT(Global-to-Local Transformer)における長期的・短期的相関のモデル化を構造的に分離することを提案する。 我々のGLoTは、一般的なベンチマーク(3DPW、MPI-INF-3DHP、Human3.6M)において、最も低いモデルパラメータを持つ従来の最先端の手法を上回る。
  論文  参考訳（メタデータ） (2023-03-26T14:57:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。