論文の概要: EgoPathBench: Evaluating Zero-Shot Egocentric Waypoint Decision-Making in Vision-Language Models
- arxiv url: http://arxiv.org/abs/2609.16610v1
- Date: Tue, 15 Sep 2026 04:14:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.338495
- Title: EgoPathBench: Evaluating Zero-Shot Egocentric Waypoint Decision-Making in Vision-Language Models
- Title（参考訳）: EgoPathBench: ビジョンランゲージモデルにおけるゼロショットエゴセントリックなウェイポイント決定過程の評価
- Abstract要約: ゼロショットのウェイポイントナビゲーションでは、現在の1対1の観察からエージェントに可能な一連の空間的アクションを選択し、目標に到達するために視覚言語モデルが必要である。
EgoPathBenchは1対1のウェイポイント意思決定のためのデータセットと5タスクのベンチマークである。
EgoPathBenchには31,852のトレーニング、1,345のバリデーション、1,111のベンチマーク質問があり、各ルート質問に対して少なくとも1つの幾何学的に検証された参照ルートが保持されている。
- 参考スコア（独自算出の注目度）: 16.934625141022405
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Zero-shot waypoint navigation requires vision-language models to select, from the current first-person observation, a sequence of spatial actions that is feasible for the agent and reaches the goal, placing joint demands on the integrated spatial intelligence of today's foundation VLMs. Existing spatial-intelligence benchmarks primarily evaluate isolated judgments of relations, directions, or targets and therefore do not directly measure the integrated navigation ability required to combine target recognition, action-consequence assessment, distance estimation, and path planning. To fill this evaluation gap, we introduce EgoPathBench, a dataset and five-task benchmark for first-person waypoint decision-making. Each question presents an egocentric RGB image, a natural-language goal, and numbered visible waypoints; a model returns traversable candidates or an ordered route. Predictions are evaluated for candidate feasibility, adjacent-edge legality, and goal arrival under point-agent or embodied geometry. EgoPathBench contains 31,852 training, 1,345 validation, and 1,111 benchmark questions and retains at least one geometrically verified reference route for every route question. Across nine VLMs, the highest EgoPath Score is only 28.3. The top-ranked model reaches 35.9% success on Point Path, but only 2.9% and 4.0% on Embodied Path and Intent Path, respectively, showing that current models remain limited in forming complete, goal-consistent routes under embodiment constraints. Beyond the evaluation data, we release the corresponding training resource. Fine-tuning Qwen 3.5 4B on the released training split raises its EgoPath Score from 3.9 to 38.9 and improves all four reported evaluations across three external spatial benchmarks, with gains of 1.4--9.6 points.
- Abstract（参考訳）: ゼロショット・ウェイポイントナビゲーションでは、現在の一人称観察から、エージェントにとって実現可能な、目標に達するための一連の空間行動を選択し、今日の基盤VLMの統合空間知能に共同要求を課す必要がある。
既存の空間知能ベンチマークは、主に関係、方向、目標の孤立した判断を評価するため、目標認識、アクション・コンセレンス・アセスメント、距離推定、経路計画を組み合わせるために必要な統合ナビゲーション能力を直接測定することができない。
この評価ギャップを埋めるために,まず,一対一のウェイポイント決定のためのデータセットと5タスクのベンチマークであるEgoPathBenchを紹介する。
各質問は、エゴセントリックなRGBイメージ、自然言語のゴール、および数値化された可視的ウェイポイントを示し、モデルがトラバース可能な候補または順序付きルートを返す。
予測は、候補実現可能性、隣接エッジの合法性、およびポイントエージェントまたはエンボディド幾何の下でのゴール到達に対して評価される。
EgoPathBenchには31,852のトレーニング、1,345のバリデーション、1,111のベンチマーク質問があり、各ルート質問に対して少なくとも1つの幾何学的に検証された参照ルートを保持する。
VLMは9つあり、エゴパススコアが最も高いのは28.3である。
トップランクのモデルはポイントパスで35.9%の成功を収めたが、エンボディードパスとインテントパスでそれぞれ2.9%と4.0%しか成功せず、現在のモデルではエンボディーメント制約の下で完全なゴール整合ルートを形成している。
評価データ以外に、対応するトレーニングリソースもリリースします。
リリースされたトレーニングスプリットのQwen 3.5 4Bは、EgoPathスコアを3.9から38.9に引き上げ、3つの外部空間ベンチマークで報告された4つの評価を改善し、1.4--9.6ポイントのゲインを得た。
関連論文リスト
- NeoHorse-1: Towards Recursive Self-Improvement via Agentic Post-Training with Routing Harness [76.6324710887112]
NeoHorse-1は、エージェントのポストトレーニングを通じてこの経路を探索するために開発されたエージェントネイティブモデルのファミリーである。
本システムでは,異種モデルプールとインテリジェントなルーティング,予測能力要求,選択されたサービス層,およびその後のユーザ毎のインタラクションを結合する。
論文 参考訳（メタデータ） (2026-09-08T03:14:54Z) - Mind the Gap Between Spatial Reasoning and Acting! Step-by-Step Evaluation of Agents With Spatial-Gym [13.424353009036068]
任意のバックトラックを伴う逐次決定課題としての2次元グリッドパズルにおける空間ジムテストパスフィニング
我々は,500回のエピソードにおいて,8つのモデル(ワンショット,ステップバイステップ,ステップバイステップ,バックトラック)を人間,ランダム,A*ベースラインに対して評価した。
論文 参考訳（メタデータ） (2026-04-10T14:05:50Z) - Active Zero: Self-Evolving Vision-Language Models through Active Environment Exploration [72.84714132070404]
受動的相互作用から視覚環境の能動的探索に移行する枠組みを提案する。
Active-Zeroでは,3つの共進化エージェントが採用されている。 モデルの機能フロンティアに基づいて,オープンワールドリポジトリからイメージを取得する検索だ。
12ベンチマークにわたるQwen2.5-VL-7B-インストラクションについて : Active-Zero 53.97 における推論タスクの平均精度(5.7%の改善)と一般理解における 59.77 について(3.9%の改善)
論文 参考訳（メタデータ） (2026-02-11T17:29:17Z) - Addressing the Waypoint-Action Gap in End-to-End Autonomous Driving via Vehicle Motion Models [0.0]
予測された動作シーケンスを対応するエゴフレーム・ウェイポイント・トラジェクトリにロールアウトする、微分可能な車両モデルフレームワークを提案する。
当社のアプローチでは,ウェイポイントベースのベンチマーク内で,アクションベースのアーキテクチャを初めてトレーニングし,評価することが可能です。
論文 参考訳（メタデータ） (2026-02-05T21:42:13Z) - Alpamayo-R1: Bridging Reasoning and Action Prediction for Generalizable Autonomous Driving in the Long Tail [85.47497935739936]
Alpamayo-R1 (AR1) は、因果推論の連鎖と軌道計画を統合する視覚言語モデルである。
また,AR1は,軌道のみのベースラインに比べて,難問の計画精度が12%向上することを示した。
今後のアップデートで、AR1モデルとCoCのサブセットをリリースする予定です。
論文 参考訳（メタデータ） (2025-10-30T01:25:34Z) - Where on Earth? A Vision-Language Benchmark for Probing Model Geolocation Skills Across Scales [61.03549470159347]
視覚言語モデル (VLM) は急速に進歩しているが, オープンワールド環境における画像位置決め能力は, 網羅的に評価されていない。
我々は、視覚認識、ステップバイステップ推論、エビデンス利用を評価するVLM画像位置情報の総合ベンチマークであるEarthWhereを提示する。
論文 参考訳（メタデータ） (2025-10-13T01:12:21Z) - Traceable Evidence Enhanced Visual Grounded Reasoning: Evaluation and Methodology [87.65242416688146]
TreeBenchは、ビジュアルグラウンド推論の診断ベンチマークである。
TreeVGRは、強化学習と共同でローカライゼーションと推論を監督する訓練パラダイムである。
論文 参考訳（メタデータ） (2025-07-10T17:59:58Z) - MapEval: A Map-Based Evaluation of Geo-Spatial Reasoning in Foundation Models [7.422346909538787]
MapEvalは、3つの異なるタスクにわたる基礎モデルを評価するために設計されたベンチマークである。
空間的関係、ナビゲーション、旅行計画、現実世界の地図の相互作用をカバーしている。
ロングコンテキスト推論、APIインタラクション、ビジュアルマップ分析を扱うモデルが必要です。
論文 参考訳（メタデータ） (2024-12-31T07:20:32Z) - LingoQA: Visual Question Answering for Autonomous Driving [14.620546951115328]
本稿では,自律運転における視覚的質問応答のための新しいデータセットとベンチマークであるLingoQAを紹介する。
データセットには28Kのユニークなショートビデオシナリオと419Kアノテーションが含まれている。
私たちのベンチマークでは、視覚言語モデルは、質問の59.6%に対して、人間の96.6%に対して真に反応する。
論文 参考訳（メタデータ） (2023-12-21T18:40:34Z) - Telling Left from Right: Identifying Geometry-Aware Semantic Correspondence [80.6840060272386]
本稿では,意味的対応のための幾何学的認識の重要性を明らかにする。
この情報を活用することで,意味的対応性能が著しく向上することを示す。
提案手法は,SPair-71kデータセット上で,65.4(ゼロショット)と85.6(教師)のPCK@0.10スコアを達成する。
論文 参考訳（メタデータ） (2023-11-28T18:45:13Z) - Tool-Augmented Reward Modeling [58.381678612409]
本稿では,外部環境へのアクセスによるRMの強化により,制約に対処するツール拡張された嗜好モデリング手法であるThemisを提案する。
我々の研究は、外部ツールをRMに統合し、様々な外部ソースとの相互作用を可能にすることを目的としている。
人間の評価では、テミスで訓練されたRLHFはベースラインと比較して平均32%の勝利率を得る。
論文 参考訳（メタデータ） (2023-10-02T09:47:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。