論文の概要: Time-Aware Assistive Navigation

• arxiv url: http://arxiv.org/abs/2609.05596v1
• Date: Fri, 04 Sep 2026 17:59:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-12 13:09:21.288502
• Title: Time-Aware Assistive Navigation
• Title（参考訳）: 時間を考慮した補助ナビゲーション
• Authors: Masaki Kuribayashi, Zhongkai Shangguan, Eshed Ohn-Bar,
• Abstract要約: 現在の言語モデルは、ユーザにリアルタイムな応答を実現するかどうかを計画することは滅多にない。 複雑な屋外環境において,エゴセントリックで補助的なナビゲーションタスクのための大規模ベンチマークを導入する。 提案手法は,命令の根本原因を予測するための直接監督を含む,単純かつ効果的なモデル修正により,性能が大幅に向上することを示す。
• 参考スコア（独自算出の注目度）: 17.665122992601788
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Can interactive vision-and-language agents learn not just what to say but also \textbf{\textit{when}} to say it? Current language models rarely plan over whether and when to realize a real-time response to a user. However, providing accurate and timely support for human decision-making, such as when guiding visually impaired individuals through urban environments, requires careful real-time responsiveness--poorly timed responses can distract users or add unnecessary cognitive load. As a machine intelligence challenge for Multimodal Large Language Model (MLLM)-based agents, we introduce a large-scale multimodal benchmark for an egocentric, assistive navigation task in complex outdoor environments. Using this benchmark, we uncover a fundamental limitation of off-the-shelf MLLMs in delivering safe and time-sensitive navigation instructions, even with model fine-tuning on substantial amounts of data. We then demonstrate that a simple yet effective modification of the model, including direct supervision to predict the underlying reason for each instruction, yields significant performance gains across open-loop, closed-loop, and sim-to-real generalization settings. However, our analysis highlights persistent challenges in temporal reasoning, safety-critical object awareness, and relational and distance understanding. To advance the development of scalable assistive agents, we will release our simulation, benchmark, and code (available at the project website: https://timeli-icra.github.io/).
• Abstract（参考訳）: 対話型視覚・言語エージェントは、何を言うべきかだけでなく、それを言うために \textbf{\textit{when}} も学べるだろうか? 現在の言語モデルは、ユーザにリアルタイムな応答を実現するかどうかを計画することは滅多にない。 しかし、都市環境を通じて視覚障害者を導く場合など、人間の意思決定を正確かつタイムリーに支援するには、注意深いリアルタイム応答が必要である。 MLLM(Multimodal Large Language Model)に基づくエージェントのマシンインテリジェンス課題として,複雑な屋外環境におけるエゴセントリックな補助ナビゲーションタスクのための大規模マルチモーダルベンチマークを提案する。 このベンチマークを用いて、大量のデータに対するモデル微調整であっても、安全で時間に敏感なナビゲーション命令を提供するために、既製のMLLMの基本的な制限を明らかにする。 次に、各命令の根底にある理由を予測するための直接監督を含む、単純で効果的なモデル修正が、オープンループ、クローズドループ、シム・トゥ・リアルな一般化設定において大きなパフォーマンス向上をもたらすことを示す。 しかし,本分析では,時間的推論,安全クリティカルな物体認識,リレーショナルおよび距離理解における永続的課題を強調した。 スケーラブルな補助エージェントの開発を進めるため、私たちはシミュレーション、ベンチマーク、コードを公開します(プロジェクトのウェブサイトで利用可能です: https://timeli-icra.github.io/)。

関連論文リスト

• AwareVLN: Reasoning with Self-awareness for Vision-Language Navigation [78.80536515102305]
  VLN(Vision-and-Language Navigation)は、エージェントが視覚環境内の自身の動きに言語命令を接地する必要がある。 本稿では,ナビゲーションモデルに自己認識推論機構を備えた新しいフレームワークであるAwareVLNを提案する。 提案手法は,(1)空間的およびタスク指向の自己認識を促進する構造的推論モジュール,(2)効果的な学習のための進歩分担付き自動データエンジンの2つの重要な革新を特徴とする。
  論文  参考訳（メタデータ） (2026-05-21T17:58:26Z)
• Tracking the Truth: Object-Centric Spatio-Temporal Monitoring for Video Large Language Models [154.39583176906893]
  大規模言語モデル(ML)は高度な理解を持ち、シーンにおける幻覚の傾向が高い。 これは、時間的モニタリングの失敗、オブジェクトの動的アイデンティティ、状態、そして時間とともに関係を永続的に追跡する能力に起因している、と我々は主張する。 既存のベンチマークでは、局所的な視覚的手がかりや統計的先行によってしばしば解決される1つの最終回答クエリに頼って、この欠陥を曖昧にしている。
  論文  参考訳（メタデータ） (2026-05-09T14:32:36Z)
• VLingNav: Embodied Navigation with Adaptive Reasoning and Visual-Assisted Linguistic Memory [43.2995099083993]
  VLAモデルは、認識と計画を統合することで、航法を具現化する有望な可能性を示してきた。 既存のVLAモデルは、観察から行動へのリアクティブマッピングに直接依存している。 VLingNav(VLAモデル)を提案する。
  論文  参考訳（メタデータ） (2026-01-13T15:43:43Z)
• MindWatcher: Toward Smarter Multimodal Tool-Integrated Reasoning [55.221850286246]
  我々は、インターリーブド思考とマルチモーダル・チェーン・オブ・シークレット(CoT)推論を備えたツール統合推論エージェントであるMindWatcherを紹介する。 MindWatcherは、さまざまなツールの呼び出しと使用の調整を自律的に行うことができる。 車、動物、植物を含む8つのカテゴリをカバーする、大規模で高品質な局所画像検索データベースは、堅牢な物体認識モデルを提供する。
  論文  参考訳（メタデータ） (2025-12-29T12:16:12Z)
• Training-free Uncertainty Guidance for Complex Visual Tasks with MLLMs [61.64185573373394]
  本稿では,MLLMの本質的不確かさをプロアクティブ誘導信号として用いた学習自由フレームワークを提案する。 応答不確実性によって候補の視覚入力をスコアする統一的なメカニズムを導入し、モデルが最も健全なデータに自律的にフォーカスできるようにする。 本研究は,本質的な不確実性を活用することが,細粒度マルチモーダル性能を高めるための強力で汎用的な戦略であることを実証する。
  論文  参考訳（メタデータ） (2025-10-01T09:20:51Z)
• Self-Consistency as a Free Lunch: Reducing Hallucinations in Vision-Language Models via Self-Reflection [71.8243083897721]
  視覚言語モデルは、しばしば詳細を幻覚させ、既存のオブジェクトを生成するか、出力信頼性を損なう不正確な属性を生成する。 本稿では、長文応答と短文応答の自己整合性を利用して、学習のための選好ペアを生成する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-27T10:37:11Z)
• STSBench: A Spatio-temporal Scenario Benchmark for Multi-modal Large Language Models in Autonomous Driving [16.602141801221364]
  STSBenchは、自律運転のための視覚言語モデル(VLM)の総合的な理解をベンチマークするためのフレームワークである。 このベンチマークでは、複数のビューにまたがる43の多様なシナリオが特徴で、その結果、971人の人間による検証された複数選択の質問が生まれている。 徹底的な評価により、複雑な環境における基本的なトラフィックダイナミクスを推論する既存のモデルの能力の欠点が明らかになる。
  論文  参考訳（メタデータ） (2025-06-06T16:25:22Z)
• Collaborative Instance Object Navigation: Leveraging Uncertainty-Awareness to Minimize Human-Agent Dialogues [54.81155589931697]
  協調インスタンスオブジェクトナビゲーション(CoIN)は、エージェントがターゲットインスタンスに関する不確実性を積極的に解決する新しいタスク設定である。 未認識者に対するエージェント・ユーザインタラクション(AIUTA)の新たな学習自由化手法を提案する。 まず、オブジェクト検出時に、セルフクエチオナーモデルがエージェント内で自己対話を開始し、完全かつ正確な観察記述を得る。 インタラクショントリガーモジュールは、人間に質問するか、継続するか、ナビゲーションを停止するかを決定する。
  論文  参考訳（メタデータ） (2024-12-02T08:16:38Z)
• Unifying Large Language Model and Deep Reinforcement Learning for Human-in-Loop Interactive Socially-aware Navigation [16.789333617628138]
  ソーシャルロボットナビゲーションプランナーは、2つの大きな課題に直面している。 本稿では,対話型対話型ソーシャル・アウェア・ナビゲーションフレームワークであるSALMを紹介する。 メモリ機構は、時間データを連続的な改善のためにアーカイブし、多段階のグラフは推論に基づく大規模言語フィードバックモデルが両方の計画手法の強みを適応的に融合させる。
  論文  参考訳（メタデータ） (2024-03-22T23:12:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。