論文の概要: Unified Vision-Centric Pedestrian Crossing Action Prediction via Adaptive Patch Projection and Proactive Spatial Rectification
- arxiv url: http://arxiv.org/abs/2609.07420v1
- Date: Mon, 07 Sep 2026 12:29:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 00:26:30.543888
- Title: Unified Vision-Centric Pedestrian Crossing Action Prediction via Adaptive Patch Projection and Proactive Spatial Rectification
- Title（参考訳）: 適応的パッチ投影と前向き空間整形による統合視覚中心歩行者交叉行動予測
- Abstract要約: ViCrossは視覚中心の歩行者横断行動予測フレームワークである。
ビデオフレームからターゲット中心の推論を維持し、第1フレームのターゲットキュー以上の知覚モジュールを追加しない。
ViCrossは、重要な歩行者の詳細を保存しながら、効率的なトークン割り当てのために、可変解像度マッピングモジュールでこれに取り組む。
- 参考スコア（独自算出の注目度）: 19.05652011150832
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Vision cues are available and informative for pedestrian action prediction, but obtaining stable target-centric representations from video frames remains challenging without frame-level external perception cues. Thus, most methods rely on additional perception modules or multi-source information fusion, leaving the reliability of vision-centric setting an open question. To this end, we propose ViCross, a vision-centric pedestrian crossing action prediction framework powered by multimodal large language models, which maintains target-centric reasoning from video frames without additional perception modules beyond first-frame target initialization. While multimodal large language models exhibit strong visual understanding, applying them directly to vision-centric action prediction faces two challenges. First, accurately perceiving target pedestrians often requires high resolution inputs and dense visual tokenization, making full-frame encoding computationally prohibitive. ViCross tackles this with Variable Resolution Patch Mapping module for efficient token allocation while preserving key pedestrian details. Second, missing spatiotemporal priors hinder consistent cross frame reasoning. ViCross mitigates this with a Spatial Constraint Enhancement Strategy that captures past motion, future locations, and action semantics for training-time proactive spatial rectification. Extensive experiments show that ViCross delivers clear gains in vision-centric prediction settings and is competitive with multi-source fusion approaches in several settings. Code is available at https://github.com/2tianyao1/ViCross.git.
- Abstract（参考訳）: 視覚的手がかりは歩行者の行動予測に有効であり、情報的だが、フレームレベルの外部認識手段なしでは、ビデオフレームから安定した目標中心の表現を得ることは困難である。
したがって、ほとんどの手法は追加の知覚モジュールやマルチソース情報融合に依存しており、視覚中心の設定の信頼性に疑問が残る。
この目的のために,視覚中心の横断行動予測フレームワークであるViCrossを提案する。
マルチモーダルな大規模言語モデルは強い視覚的理解を示すが、視覚中心の行動予測に直接適用することは2つの課題に直面している。
まず、ターゲット歩行者を正確に知覚するには、高解像度の入力と濃密な視覚トークン化が必要であり、フルフレームの符号化は計算的に禁止される。
ViCrossは、重要な歩行者の詳細を保存しながら、効率的なトークン割り当てのために、可変解像度パッチマッピングモジュールでこれに取り組む。
第二に、時空間の欠如は、一貫したクロスフレーム推論を妨げる。
ViCrossはこれを、過去の動き、将来の位置、およびトレーニング時の前向きな空間修正のためのアクションセマンティクスをキャプチャする空間制約強化戦略で緩和する。
大規模な実験により、ViCrossは視覚中心の予測設定において明確なゲインを提供し、複数の設定でのマルチソースフュージョンアプローチと競合することが示された。
コードはhttps://github.com/2tianyao1/ViCross.gitで入手できる。
関連論文リスト
- X-Mind: Efficient Visual Chain-of-Thought via Predictive World Model for End-to-End Driving [40.275378373130245]
X-Mindは、前方に見える推論を自動運転ポリシーに組み込むフレームワークである。
アクションの前に世界展開を強制することにより、モデルはまず将来の進化を想像することを制約される。
X-Mindは、リソース制約のある車両プラットフォーム上での競合するエンドツーエンドの駆動性能を実現する。
論文 参考訳（メタデータ） (2026-06-27T06:17:50Z) - Decoding Pedestrian Crossing Intention from Egocentric Vision via Vision Language Models [15.137239945564799]
エゴセントリックなビジョンは、人間の知覚と意思決定を一人称視点で見る。
本研究では,短いエゴセントリックなビデオクリップから歩行者横断意図を復号する手法について検討する。
論文 参考訳（メタデータ） (2026-06-08T07:39:42Z) - Good Token Hunting: A Hitchhiker's Guide to Token Selection for Visual Geometry Transformers [58.582630781164305]
視覚幾何学変換器は多視点3D再構成のための強力なアーキテクチャである。
それらの計算コストは、これらのモデル内のグローバルアテンション層によって入力シーケンスの長さが2倍に増加する。
各クエリがグローバルな注意を払って対話するキー/バリュートークンの数を制限するという、シンプルながら一般的な戦略でこの問題に対処する。
当社のアプローチは,既存のソリューションと比較して,速度精度のトレードオフが優れている。
論文 参考訳（メタデータ） (2026-05-22T17:55:13Z) - Perception-Aware Multimodal Spatial Reasoning from Monocular Images [57.42071289037214]
単眼画像からの空間的推論は 自律運転には不可欠です
現在のヴィジュアルランゲージモデル(VLM)は、微粒な幾何学的知覚に苦慮している。
本稿では,VLMを明示的な対象中心の接地能力を持つ知覚認識型マルチモーダル推論フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-07T02:05:12Z) - Pedestrian Crossing Intention Prediction Using Multimodal Fusion Network [3.878105750489656]
歩行者の横断意図予測は、都市環境における自動運転車(AV)の展開に不可欠である。
本稿では,視覚と運動の両方から7つのモダリティ特徴を生かしたマルチモーダル融合ネットワークを提案する。
JAADデータセットの実験では,提案したネットワークの有効性が検証され,ベースライン法よりも優れた性能が得られた。
論文 参考訳（メタデータ） (2025-11-25T07:18:12Z) - X-ReID: Multi-granularity Information Interaction for Video-Based Visible-Infrared Person Re-Identification [79.37768038337971]
本稿では,VVI-ReIDのためのX-ReIDという新しいクロスモーダル特徴学習フレームワークを提案する。
具体的には、まずクロスモダリティプロトタイプコラボレーション(CPC)を提案する。
次に, 隣接フレームからの短期的相互作用, 長期的クロスフレーム情報融合, クロスモダリティ特徴アライメントを組み込んだMII(Multi-granularity Information Interaction)を設計する。
論文 参考訳（メタデータ） (2025-11-22T07:57:15Z) - Referring Remote Sensing Image Segmentation with Cross-view Semantics Interaction Network [65.01521002836611]
本稿では,これらの制約を解決するために,並列で統一されたセグメンテーション・フレームワークであるクロスビューセマンティック・インタラクション・ネットワーク(CSINet)を提案する。
関心の対象を観察する際の人間の行動によって動機づけられたネットワークは、遠隔および近距離からの視覚的手がかりを編成し、相乗的予測を行う。
すべてのエンコーディングステージでは、Cross-View Window-attention Module(CVWin)を使用して、グローバルおよびローカルセマンティクスをクローズビューおよびリモートビューブランチ機能に補完する。
論文 参考訳（メタデータ） (2025-08-02T11:57:56Z) - CronusVLA: Towards Efficient and Robust Manipulation via Multi-Frame Vision-Language-Action Modeling [84.51372201195132]
CronusVLAは、単一フレームのVLAモデルをマルチフレームパラダイムに拡張する統合フレームワークである。
CronusVLAは70.9%の成功率で先進的な性能と優れた堅牢性を達成する。
これらの結果は、より強力で堅牢な実世界展開のためのVLAモデルにおける効率的なマルチフレーム適応の可能性を強調している。
論文 参考訳（メタデータ） (2025-06-24T17:30:27Z) - Attention-Aware Multi-View Pedestrian Tracking [21.393389135740712]
最近の多視点歩行者検出モデルは、早期統合戦略の可能性を強調している。
この戦略は、検出と追跡の両方のパフォーマンスを改善することが示されている。
本稿では,多視点歩行者追跡シナリオに注意機構を組み込んだ新しいモデルを提案する。
論文 参考訳（メタデータ） (2025-04-03T21:53:08Z) - Rethinking Range View Representation for LiDAR Segmentation [66.73116059734788]
「多対一」マッピング、意味的不整合、形状変形は、射程射影からの効果的な学習に対する障害となる可能性がある。
RangeFormerは、ネットワークアーキテクチャ、データ拡張、後処理を含む新しい設計を含む、フルサイクルのフレームワークである。
比較対象のLiDARセマンティックスとパノプティックスセグメンテーションのベンチマークにおいて,初めてレンジビュー法が点,ボクセル,マルチビューフュージョンを越えられることを示す。
論文 参考訳（メタデータ） (2023-03-09T16:13:27Z) - A Simple Long-Tailed Recognition Baseline via Vision-Language Model [92.2866546058082]
視覚の世界は自然にオープンクラスの長い尾の分布を示しており、現代の視覚システムには大きな課題をもたらしている。
視覚認識のための新しい経路におけるコントラスト言語事前学習の最近の進歩
我々は、長い尾の認識にコントラッシブな視覚言語モデルを活用するために、BALLADを提案する。
論文 参考訳（メタデータ） (2021-11-29T17:49:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。