論文の概要: EgoDyn-Bench: Evaluating Ego-Motion Understanding in Vision-Centric Foundation Models for Autonomous Driving
- arxiv url: http://arxiv.org/abs/2604.22851v1
- Date: Wed, 22 Apr 2026 07:49:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-28 17:12:06.991028
- Title: EgoDyn-Bench: Evaluating Ego-Motion Understanding in Vision-Centric Foundation Models for Autonomous Driving
- Title（参考訳）: EgoDyn-Bench: 自律運転のためのビジョン中心基礎モデルにおけるエゴ運動理解の評価
- Authors: Finn Rasmus Schäfer, Yuan Gao, Dingrui Wang, Thomas Stauner, Stephan Günnemann, Mattia Piccinini, Sebastian Schmidt, Johannes Betz,
- Abstract要約: VLM(Vision-Language Models)は、自律運転における高度な推論である。
しかし、この推論を根底にあるエゴ運動の物理学に根ざす能力は、いまだに理解されていない。
視覚中心基礎モデルのセマンティック・エゴモーション理解を評価するための診断ベンチマークであるEgoDyn-Benchを紹介する。
- 参考スコア（独自算出の注目度）: 40.67852883277799
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While Vision-Language Models (VLMs) have advanced highlevel reasoning in autonomous driving, their ability to ground this reasoning in the underlying physics of ego-motion remains poorly understood. We introduce EgoDyn-Bench, a diagnostic benchmark for evaluating the semantic ego-motion understanding of vision-centric foundation models. By mapping continuous vehicle kinematics to discrete motion concepts via a deterministic oracle, we decouple a model's internal physical logic from its visual perception. Our large-scale empirical audit spanning 20 + models, including closed-source MLLMs, open-source VLMs across multiple scales, and specialized VLAs, identifies a significant Perception Bottleneck: while models exhibit logical physical concepts, they consistently fail to accurately align them with visual observations, frequently underperforming classical non-learned geometric baselines. This failure persists across model scales and domain-specific training, indicating a structural deficit in how current architectures couple visual perception with physical reasoning. We demonstrate that providing explicit trajectory encodings substantially restores physical consistency across all evaluated models, revealing a functional disentanglement between vision and language: egomotion logic is derived almost exclusively from the language modality, while visual observations contribute negligible additional signal. This structural finding provides a standardized diagnostic framework and a practical pathway toward physically aligned embodied AI. Keywords: Ego-motion - Physical Reasoning - Foundation Models
- Abstract（参考訳）: VLM(Vision-Language Models)は、自律運転における高度な高次推論を持っているが、この推論を根底にあるエゴ運動の物理学に基礎を置く能力はいまだによく分かっていない。
視覚中心基礎モデルのセマンティック・エゴモーション理解を評価するための診断ベンチマークであるEgoDyn-Benchを紹介する。
連続体キネマティクスを決定論的オラクルを介して離散運動概念にマッピングすることにより、モデルの内部物理論理をその視覚的知覚から切り離す。
20以上のモデルにまたがる大規模な経験的監査には、クローズドソースのMLLM、複数のスケールにわたるオープンソースVLM、専門的なVLAなどが含まれており、重要なパーセプション・ボトルネック(Perception Bottleneck)を特定しています。
この失敗はモデルスケールとドメイン固有のトレーニングにまたがって続き、現在のアーキテクチャが物理的な推論と視覚的認識をどう組み合わせているかという構造的欠陥を示している。
視覚的観察が無視可能な付加信号に寄与するのに対して,感情論理はほとんど言語モダリティから導かれるものである。
この構造的発見は、標準化された診断フレームワークと、物理的に整列されたAIへの実践的な経路を提供する。
キーワード:Ego-motion - Physical Reasoning - Foundation Models
関連論文リスト
- Probing Visual Concepts in Lightweight Vision-Language Models for Automated Driving [3.333320380836246]
VLM(Vision-Language Models)は、自動走行アプリケーションに使用される。
これらのモデルは、自動運転に非常に関係のある単純な視覚的な問題で失敗することが多い。
シーンにおけるオブジェクトやエージェントの存在などの概念は、明示的にかつ線形に符号化されていることを示す。
物体やエージェントの向きなどの他の空間視覚概念は、視覚エンコーダが保持する空間構造によって暗黙的に符号化される。
最後に,対象物の距離を増大させると,対応する視覚概念の線形分離性が急速に低下することを示す。
論文 参考訳（メタデータ） (2026-03-06T09:07:57Z) - Robust Egocentric Referring Video Object Segmentation via Dual-Modal Causal Intervention [58.05340906967343]
Egocentric Referring Video Object (Ego-RVOS)は、言語クエリで説明されているように、人間のアクションに積極的に関与する特定のオブジェクトを、一人称ビデオに分割することを目的としている。
既存の手法はしばしば苦労し、データセット内の歪んだオブジェクト-アクションのペアリングから急激な相関を学習する。
本稿では,強力なトレーニング済みRVOSをエゴセントリックドメインに適応させるプラグイン因果フレームワークであるCausal-Referring(CERES)を紹介する。
論文 参考訳（メタデータ） (2025-12-30T16:22:14Z) - PAI-Bench: A Comprehensive Benchmark For Physical AI [70.22914615084215]
ビデオ生成モデルは、物理的に一貫性のあるダイナミクスを維持するのに苦労することが多い。
マルチモーダルな大言語モデルは、予測と因果解釈において限られた性能を示す。
これらの観測は、現在のシステムは、物理AIの知覚的および予測的要求を扱う初期段階にあることを示唆している。
論文 参考訳（メタデータ） (2025-12-01T18:47:39Z) - Can World Simulators Reason? Gen-ViRe: A Generative Visual Reasoning Benchmark [48.02995109011304]
ビデオ生成モデルは、Chain-of-Frames (CoF)推論を通じて、潜在的な世界シミュレータとして登場した。
既存のベンチマークは、忠実さやアライメントに重点を置いており、CoFの推論を評価していない。
我々は,認知科学と実世界のAI応用を基盤としたフレームワークであるGen-ViReを紹介する。
論文 参考訳（メタデータ） (2025-11-17T19:11:39Z) - Does Physics Knowledge Emerge in Frontier Models? [19.035965618393096]
VLM(Leading Vision-Language Models)は、視覚知覚と一般的な推論において強力な結果を示す。
しかし、物理力学を理解し予測する能力は、まだ不明である。
3つの物理シミュレーションデータセット上で6つのフロンティアVLMをベンチマークする。
論文 参考訳（メタデータ） (2025-10-03T22:30:06Z) - A Cognitive Paradigm Approach to Probe the Perception-Reasoning Interface in VLMs [3.2228025627337864]
本稿では,視覚言語モデル(VLM)における知覚推論インタフェースを識別するための構造化評価フレームワークを提案する。
本稿では,人間の問題解決戦略を反映した3つの評価パラダイムを提案する。
このフレームワークを適用したCAは、リッチで独立に生成された記述を推論するために強力な言語モデルを活用し、新しい最先端(SOTA)パフォーマンスを実現することを実証する。
論文 参考訳（メタデータ） (2025-01-23T12:42:42Z) - Retrieval-Based Interleaved Visual Chain-of-Thought in Real-World Driving Scenarios [69.00444996464662]
RIV-CoT(Retrieval-based Interleaved Visual Chain-of-Thought法)を提案する。
実験の結果, RIV-CoTの解答精度は3.1%向上し, バニラCoTの解答精度は4.6%向上した。
論文 参考訳（メタデータ） (2025-01-08T18:31:16Z) - ContPhy: Continuum Physical Concept Learning and Reasoning from Videos [86.63174804149216]
ContPhyは、マシン物理常識を評価するための新しいベンチマークである。
私たちは、さまざまなAIモデルを評価し、ContPhyで満足なパフォーマンスを達成するのに依然として苦労していることがわかった。
また、近年の大規模言語モデルとパーティクルベースの物理力学モデルを組み合わせるためのオラクルモデル(ContPRO)を導入する。
論文 参考訳（メタデータ） (2024-02-09T01:09:21Z) - Reason induced visual attention for explainable autonomous driving [2.090380922731455]
ディープラーニング (DL) ベースのコンピュータビジョン (CV) モデルは一般的に、解釈性が悪いため、ブラックボックスと見なされる。
本研究の目的は,自律運転におけるDLモデルの解釈可能性を高めることにある。
提案手法は,視覚入力(画像)と自然言語を協調的にモデル化することにより,人間の運転者の学習過程を模倣する。
論文 参考訳（メタデータ） (2021-10-11T18:50:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。