論文の概要: Speak to the City: Multimodal Resolution for Outside-the-Vehicle References

• arxiv url: http://arxiv.org/abs/2609.14691v1
• Date: Sun, 13 Sep 2026 17:48:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:05.896082
• Title: Speak to the City: Multimodal Resolution for Outside-the-Vehicle References
• Title（参考訳）: 都市を語る:外周基準に対するマルチモーダル・レゾリューション
• Abstract要約: 興味のポイント(POI)を特定するために、ユーザ視線と自然言語を融合した頑健でマルチモーダルな外見参照フレームワークを提案する。 このリアルタイムパラダイムは、車両内の乗客の空間的検索をコンテキスト認識することで、参照のあいまいさを効果的に解決する。
• 参考スコア（独自算出の注目度）: 13.813214424668788
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As autonomous vehicles and Extended Reality (XR) headsets enable novel in-car interactions, seamlessly querying physical landmarks, known as Outside-the-Vehicle Referencing (OVR), remains challenging due to ego-motion and referential ambiguity. We present a robust, multimodal OVR framework fusing user gaze and natural language to identify Points of Interest (POIs). To address the scarcity of dynamic vehicular data, we developed a VR-based pipeline synchronizing 360-degree transit videos with vehicle GNSS telemetry. Through a user study (N=46) mapping passenger head orientation into a 3D geospatial Digital Twin, we captured authentic gaze-speech behaviors. We subsequently trained a lightweight Transformer network, leveraging LLMs to dynamically align continuous spatial gaze vectors with discrete verbal context. Experimental results demonstrate high accuracy and low computational overhead, achieving an 83.33% Top-1 accuracy (87.72% Top-2) and an average inference time of 24.3 milliseconds. This real-time paradigm effectively resolves referential ambiguity, enabling context-aware spatial retrieval for passengers within the vehicle.
• Abstract（参考訳）: 自動運転車と拡張現実(Extensioned Reality, XR)ヘッドセットは、車内での新しいインタラクションを可能にするため、外見-車間参照(Outside-the-Vehicle Reference, OVR)として知られる物理的なランドマークをシームレスにクエリする。 本稿では,ユーザの視線と自然言語を融合させて,関心のポイント(POI)を識別する,堅牢でマルチモーダルなOVRフレームワークを提案する。 車両のGNSSテレメトリと360度トランジット映像を同期させるVRベースのパイプラインを開発した。 ユーザスタディ(N=46)により、乗客の頭部方向を3次元地理空間デジタルツインにマッピングし、実際の視線・音声の振る舞いを捉えた。 その後,LLMを利用した軽量トランスフォーマーネットワークを訓練し,連続空間視線ベクトルを離散的文脈で動的に整列させる。 実験結果は高い精度と低い計算オーバーヘッドを示し、83.33%のTop-1の精度(87.72%のTop-2)と24.3ミリ秒の平均推論時間を達成した。 このリアルタイムパラダイムは、車両内の乗客の空間的検索をコンテキスト認識することで、参照のあいまいさを効果的に解決する。

関連論文リスト

• Talk2Sensors: 3D Visual Grounding in Autonomous Driving via Sensor-Adaptive Physical Cue Matching [66.91228384649921]
  Talk2Sensorsは、カメラ、LiDAR、および4Dレーダ上に構築された最初のマルチセンサ3Dビジュアルグラウンドデータセットである。 本稿では,自動走行における言語誘導型3次元視覚グラウンドのためのトランスフォーマーベースの統合フレームワークTSFormerを提案する。
  論文  参考訳（メタデータ） (2026-08-05T07:58:35Z)
• ParkingTransformer: LLM-Enhanced End-to-End Trajectory Planning for Autonomous Parking [13.901233386612722]
  ParkingTransformerは、多視点認識とLarge Language Models(LLM)のシーン理解能力を活用する新しいフレームワークである。 LLMの空間的推論能力の不足を補うために,空間幾何学的認識を明示的に注入する3次元位置符号化を導入する。 CARLAシミュレータにおける駆動スコアは61.32であり、実世界の実験では平均成功率は88.70%である。
  論文  参考訳（メタデータ） (2026-06-12T05:52:01Z)
• DRIVESPATIAL: A Benchmark for Spatiotemporal Intelligence in VLMs for Autonomous Driving [15.87281823665284]
  DriveSpatialは、5つの大規模自律運転データセットから20タスクにわたる15.6Kの検証済みQAペアのベンチマークである。 以前のベンチマークとは異なり、DriveSpatialはオブジェクトの状態、空間的関係、インタラクション、カメラの可視性、時間的対応をエンコードする動的多言語シーングラフから生成される。 最強のモデルは人間を28.4ポイント追尾し、認知シーン構築が重要なボトルネックとなる。
  論文  参考訳（メタデータ） (2026-05-22T02:52:06Z)
• SARAH: Spatially Aware Real-time Agentic Humans [58.32612596034656]
  ストリーミングVRヘッドセット上に展開可能な空間認識型対話動作のための,初のリアルタイム完全因果的手法を提案する。 ユーザの位置とダイアディックな音声を考慮に入れたアプローチでは,エージェントの向きをユーザに応じて調整しながら,ジェスチャーを音声と整列させる全体動作を生成する。 実写VRシステムに対する我々のアプローチを検証し,空間認識型対話エージェントをリアルタイム展開に適用する。
  論文  参考訳（メタデータ） (2026-02-20T18:59:35Z)
• SpaceDrive: Infusing Spatial Awareness into VLM-based Autonomous Driving [38.21244888074097]
  SpaceDriveは、空間情報をテキスト桁トークンの代わりに明示的な位置符号化(PE)として扱う空間認識駆動フレームワークである。 我々は,SpaceDriveがnuScenesデータセットで最先端のオープンループ性能を実現し,Bench2Driveベンチマークで78.02のドライビングスコアを達成したことを示す。
  論文  参考訳（メタデータ） (2025-12-11T14:59:07Z)
• SIMS-V: Simulated Instruction-Tuning for Spatial Video Understanding [64.86119288520419]
  マルチモーダル言語モデルは時間と空間の空間的推論に苦しむ。 SIMS-Vは3次元シミュレータの特権情報を利用するシステムデータ生成フレームワークである。 提案手法は,実世界の空間的タスクの具体的改善を図りながら,一般的な映像理解の性能を維持しながら,堅牢な一般化を実証する。
  論文  参考訳（メタデータ） (2025-11-06T18:53:31Z)
• Towards Intelligent Transportation with Pedestrians and Vehicles In-the-Loop: A Surveillance Video-Assisted Federated Digital Twin Framework [62.47416496137193]
  本稿では,歩行者や車いすによるITSを支援するための監視ビデオ支援型デジタルツイン(SV-FDT)フレームワークを提案する。 i)複数のソースからトラフィック監視ビデオを収集するエンドレイヤ、(ii)セマンティックセグメンテーションに基づく視覚理解、ツインエージェントベースのインタラクションモデリング、およびローカルデジタルツインシステム(LDTS)をローカルで作成するエッジレイヤ、(iii)異なるリージョンにわたるLDTSを統合してグローバルDTモデルをリアルタイムで構築するクラウドレイヤの3層で構成されている。
  論文  参考訳（メタデータ） (2025-03-06T07:36:06Z)
• RoboSense: Large-scale Dataset and Benchmark for Egocentric Robot Perception and Navigation in Crowded and Unstructured Environments [62.5830455357187]
  我々は3種類のセンサー(Camera, LiDAR, Fisheye)をベースとした自我中心型マルチセンサデータ収集プラットフォームを構築した。 大規模なマルチモーダルデータセットであるRoboSenseは、エゴセントリックなロボット知覚を促進するために構築されている。
  論文  参考訳（メタデータ） (2024-08-28T03:17:40Z)
• aiMotive Dataset: A Multimodal Dataset for Robust Autonomous Driving with Long-Range Perception [0.0]
  このデータセットは、同期して校正されたLiDAR、カメラ、および360度の視野をカバーするレーダーセンサーを備えた176のシーンで構成されている。 収集したデータは、昼間、夜、雨の間に、高速道路、都市、郊外で撮影された。 我々は3次元物体検出のための一次元・多モードベースラインモデルを訓練した。
  論文  参考訳（メタデータ） (2022-11-17T10:19:59Z)
• Multi-Modal Fusion Transformer for End-to-End Autonomous Driving [59.60483620730437]
  画像表現とLiDAR表現を注目で統合する,新しいマルチモードフュージョントランスフォーマであるTransFuserを提案する。 本手法は, 衝突を76%低減しつつ, 最先端駆動性能を実現する。
  論文  参考訳（メタデータ） (2021-04-19T11:48:13Z)
• Phase Space Reconstruction Network for Lane Intrusion Action Recognition [9.351931162958465]
  本稿では,動作時系列分類のための新しいオブジェクトレベル位相空間再構成ネットワーク(PSRNet)を提案する。 私たちのpsrnetは最高精度98.0%に達し、既存のアクション認識アプローチを30%以上上回っています。
  論文  参考訳（メタデータ） (2021-02-22T16:18:35Z)
• Fine-Grained Vehicle Perception via 3D Part-Guided Visual Data Augmentation [77.60050239225086]
  実画像中の車両に動的部品を付加した3次元自動車モデルによる効果的なトレーニングデータ生成プロセスを提案する。 私達のアプローチは人間の相互作用なしで完全に自動です。 VUS解析用マルチタスクネットワークとVHI解析用マルチストリームネットワークを提案する。
  論文  参考訳（メタデータ） (2020-12-15T03:03:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。