論文の概要: EgoTSR++: Egocentric Spatiotemporal Reasoning for Task Progress Understanding

• arxiv url: http://arxiv.org/abs/2609.31751v1
• Date: Wed, 23 Sep 2026 09:20:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 13:08:27.596366
• Title: EgoTSR++: Egocentric Spatiotemporal Reasoning for Task Progress Understanding
• Title（参考訳）: EgoTSR++:タスク進捗理解のためのエゴセントリック時空間推論
• Abstract要約: VLM(Vision-Language Models)は、静的な視覚的理解において急速に進歩しているが、エゴセントリックなタスクがどのように進行しているかを判断しても信頼性が低い。 EgoTSR(EgoTSR)は,オーダーローバストなタスク・プログレス理解を診断・改善するための統合フレームワークである。
• 参考スコア（独自算出の注目度）: 51.078675806865306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Models (VLMs) have advanced rapidly in static visual understanding, yet remain unreliable when judging how an egocentric task is progressing. Given a task instruction and two visual observations, a model should determine which state is closer to the goal by analyzing task-relevant object configurations and spatial relations, rather than relying on timestamps or presentation order. This distinction is critical in manipulation, where retries, corrective actions, and temporary regressions make progress inherently non-monotonic. We introduce EgoTSR, a unified framework for diagnosing and improving order-robust task-progress understanding. First, SpatialLogic-Bench evaluates each physical state pair in both original and order-swapped presentations across short- and long-horizon settings, exposing whether a model follows task-state evidence or chronological shortcuts. Second, our data construction pipeline converts successful, approximately monotonic manipulation and first-person trajectories into bidirectional supervision; LongTag further preserves intermediate subtask structure for long-horizon comparison, while failure-aware data extend learning to regressions and recoveries. Third, a progressive CoT-to-Tag curriculum first supervises evidence-grounded interpretation of task-relevant state changes and then consolidates the comparison rule through scalable label-only training. Experiments reveal substantial input-order bias in representative VLMs. EgoTSR achieves 92.4% long-horizon accuracy with a 0.1-point forward-inverse Gap. Failure-aware supervision further improves accuracy on non-monotonic trajectories by 11.8 points and Recovery Accuracy by 11.2 points, while maintaining broad visual and spatial capabilities. These results establish goal-conditioned state comparison as an explicit formulation of egocentric spatiotemporal reasoning for task-progress understanding.
• Abstract（参考訳）: VLM(Vision-Language Models)は、静的な視覚的理解において急速に進歩しているが、エゴセントリックなタスクがどのように進行しているかを判断しても信頼性が低い。 タスク命令と2つの視覚的観察が与えられた場合、タイムスタンプや提示順序に頼るのではなく、タスク関連オブジェクトの設定と空間的関係を分析することによって、どの状態が目標に近いかを決定する必要がある。 この区別は、再試行、修正行動、一時的な回帰が本質的に非単調な進行を引き起こす操作において重要である。 EgoTSR(EgoTSR)は,オーダーローバストなタスク・プログレス理解を診断・改善するための統合フレームワークである。 第一に、SpatialLogic-Benchは、各物理状態ペアを、各モデルがタスク状態のエビデンスか、時間的ショートカットに従えば、ショート・ホライゾン・セッティングにまたがって、オリジナルおよびオーダースワップされたプレゼンテーションで評価する。 第二に、我々のデータ構築パイプラインは、ほぼ単調な操作と一対一の軌跡を双方向の監視に変換する。 第3に、プログレッシブなCoT-to-Tagカリキュラムはまず、タスク関連状態変化のエビデンスに基づく解釈を監督し、その後、スケーラブルなラベルのみのトレーニングを通じて比較ルールを統合する。 実験により、VLMの入力順序バイアスがかなり大きいことが判明した。 EgoTSRは、0.1ポイント前方逆ギャップで92.4%の長水平精度を達成する。 非単調軌道の精度は11.8ポイント向上し、回復精度は11.2ポイント向上した。 これらの結果は、目標条件付き状態比較を、タスク・プログレッシブ理解のためのエゴセントリックな時空間推論の明示的な定式化として確立する。

関連論文リスト

• MNIST-PRO: MNIST is Back as a Partially Observable World for AI Agents [74.83535434786145]
  MNIST-PRO (MNIST-PRO) は、MNISTの桁認識を、ルックバック制約付きシーケンシャルな視線に基づく検索タスクに変換することで、エージェント認識を分離するベンチマークである。 生の視覚履歴、テキスト状態、構造化されたメートル法グリッドマップ、統合された視覚キャンバスを含む4つの記憶表現の10つのマルチモーダルモデルを評価する。
  論文  参考訳（メタデータ） (2026-08-31T16:05:39Z)
• Agentic Reinforcement Learning with Observation-Calibrated Self-Distillation [18.20369971970953]
  On-Policy Self-Distillation (OPSD)は、高密度のトークンレベルの監視を得るために、特権的なリプレイビューの下で生成されたトークンを再スコアする。 結果として得られるサポートは、リプレイビューに含まれる特権情報と、リプレイスキャフォールドによって誘導されるスコアシフトの両方を反映することができる。 本研究では, この問題点を解決するために, OCSD (Observatory-Calibrated Self-Distillation) を提案する。
  論文  参考訳（メタデータ） (2026-08-05T12:52:14Z)
• Learning to Move Before Learning to Do: Task-Agnostic pretraining for VLAs [46.61554174146852]
  Task-Agnostic Pretraining (TAP)は、安価な未ラベルのインタラクションデータから転送可能なモータの事前学習を行う2段階のフレームワークである。 SIMPLERベンチマークでは、TAPは100万以上の専門家の軌道上でトレーニングされたモデルと、ラベル付きデータの桁数を桁違いに削減する。 現実世界のWidowXプラットフォームでは、TAPは、インターネットスケールのベースラインが0%に崩壊するカメラの摂動の下で25%の成功を維持している。
  論文  参考訳（メタデータ） (2026-07-02T17:33:37Z)
• Rethinking State Tracking in Recurrent Models Through Error Control Dynamics [26.942965240880515]
  本研究では,アフィン再帰ネットワークが状態表現を保存すると,状態分離部分空間の誤りを訂正できないことを示す。 我々は、ロバストな状態追跡がアーキテクチャの理論的表現性だけでなく、エラー制御によって決定されることを証明した。
  論文  参考訳（メタデータ） (2026-05-08T13:59:15Z)
• From Perception to Planning: Evolving Ego-Centric Task-Oriented Spatiotemporal Reasoning via Curriculum Learning [79.65573577667944]
  タスクベースの時間的推論を学習するためのカリキュラムベースのフレームワークであるEgoTSRを提案する。 EgoTSRは、明示的な空間的理解からタスク状態評価への進化を前提に構築されている。 実験により、EgoTSRはバイアスを効果的に排除し、長距離論理推論タスクにおいて92.4%の精度を達成した。
  論文  参考訳（メタデータ） (2026-04-12T08:14:49Z)
• A Progressive Training Strategy for Vision-Language Models to Counteract Spatio-Temporal Hallucinations in Embodied Reasoning [49.61652671596548]
  「多像幻覚推論」では、前頭と時頭クエリ間の大規模なパフォーマンス低下は、真に理解するのではなく、表面的なショートカットへの依存を示す。 これを軽減するために、我々は、チェーンステップへの詳細な推論と決定的な判断に基づく、時間的連鎖構築という新しいデータセットを開発する。 実験により,本手法は精度を向上するだけでなく,70%以上から6.53%まで,前向きのパフォーマンスギャップも改善することが示された。
  論文  参考訳（メタデータ） (2026-04-12T07:48:44Z)
• See, Plan, Rewind: Progress-Aware Vision-Language-Action Models for Robust Robotic Manipulation [59.07792608884117]
  本稿では,See, Plan, Rewind (SPR)について紹介する。 SPRは、現在の状態と今後のマイルストーンを見て、次の2Dウェイポイントに向けて軌道を計画し、障害時に回復可能な状態に戻すという、継続的なコアサイクルを通じて運用される。 SPRは、OpenVLA-OFTとUniVLAを上回る最小のパフォーマンス低下で最先端のロバスト性を達成する。
  論文  参考訳（メタデータ） (2026-03-10T07:22:51Z)
• EgoReasoner: Learning Egocentric 4D Reasoning via Task-Adaptive Structured Thinking [34.29831801830779]
  EgoReasonerは、各タスクの認知構造に推論の足場と報酬信号を調整するフレームワークである。 本モデルでは,HD-EPICベンチマークで平均37.5%の精度を達成し,Qwen2.5-VL-7Bを10点以上上回った。
  論文  参考訳（メタデータ） (2026-03-06T18:49:04Z)
• Anticipating the Unseen Discrepancy for Vision and Language Navigation [63.399180481818405]
  視覚言語ナビゲーションでは、エージェントは特定のターゲットに到達するために自然言語命令に従う必要がある。 目に見える環境と目に見えない環境の間に大きな違いがあるため、エージェントがうまく一般化することは困難である。 本研究では,テストタイムの視覚的整合性を促進することによって,未知の環境への一般化を学習する,未知の離散性予測ビジョンと言語ナビゲーション(DAVIS)を提案する。
  論文  参考訳（メタデータ） (2022-09-10T19:04:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。