論文の概要: EgoP$^{2}$C: Internalizing Plan-Perceive-Compose for Spatial Reasoning in Egocentric Video

• arxiv url: http://arxiv.org/abs/2610.22681v1
• Date: Thu, 15 Oct 2026 21:51:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.681463
• Title: EgoP$^{2}$C: Internalizing Plan-Perceive-Compose for Spatial Reasoning in Egocentric Video
• Title（参考訳）: EgoP$^{2}$C:エゴセントリックビデオにおける空間推論のための計画知覚合成の内部化
• Abstract要約: EgoP$2$Cは、単一のVLM内にプラン知覚構成プロセスを内包するフレームワークである。 3つの空間的推論ベンチマークで、EgoP$2$Cの学生はQwen3-VL-8BとSenseNova-SI-1.3-8Bをそれぞれ平均9.2ポイント、7.5ポイント上回った。
• 参考スコア（独自算出の注目度）: 11.16668450676041
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Answering complex spatial reasoning questions from egocentric video requires determining what evidence is needed, acquiring targeted observations, and combining them through multiple reasoning steps. Existing vision-language models (VLMs) struggle to perform this process reliably. Agentic systems address this challenge by querying external vision and geometry tools, but training their reasoning leaves these tools unchanged, so inaccurate observations can still lead to incorrect answers. We introduce EgoP$^{2}$C, a framework that internalizes a plan-perceive-compose process within a single VLM. To this end, we first train specialized Planner and Perception teachers using separate adapters (Dual-LoRA), then fine-tune the corresponding experts in a mixture-of-experts (MoE) student under their supervision. We subsequently train the student on trajectories generated by its current policy using a segment-level extension of multi-teacher on-policy distillation (MOPD), assigning different trajectory segments to different supervisors. The Planner teacher supervises which evidence-seeking questions to ask, when to stop gathering evidence, and how to compose the final answer. The Perception teacher supervises the video-grounded answers to those questions. At inference, the student executes this adaptive workflow end-to-end, without external spatial tools. Across three spatial reasoning benchmarks, EgoP$^{2}$C students built from Qwen3-VL-8B and SenseNova-SI-1.3-8B outperform their base models by an average of 9.2 and 7.5 percentage points, respectively. Across both backbones, EgoP$^{2}$C reduces inference FLOPs by 65.8-66.3% and achieves $1.29$-$1.49\times$ speedups over their shared Dual-LoRA teacher.
• Abstract（参考訳）: エゴセントリックなビデオから複雑な空間的推論の質問に答えるには、何の証拠が必要なのかを判断し、対象とする観察を取得し、それらを複数の推論ステップで組み合わせる必要がある。 既存の視覚言語モデル(VLM)はこの処理を確実に実行するのに苦労する。 エージェントシステムは、外部の視覚と幾何学のツールを問うことによってこの問題に対処するが、それらの推論の訓練はこれらのツールをそのままにしておく。 EgoP$^{2}$Cは、単一のVLM内にプラン知覚構成プロセスを内包するフレームワークである。 そこで我々はまず,個別のアダプタ(Dual-LoRA)を用いて,PlannerとPerceptionの専門教師を訓練し,それに対応する専門家をMoE(Mix-of-experts)の学生に指導した。 続いて, 複数教師による多目的蒸留(MOPD)のセグメントレベル拡張を用いて, 現行方針によるトラジェクトリの訓練を行い, 異なる教師に異なるトラジェクトリセグメントを割り当てた。 プランナーの教師は、どのエビデンスを問うべきか、いつ証拠を集めるのをやめるか、そしてどのように最終回答を作るかを監督する。 パーセプションの教師は、これらの質問に対するビデオグラウンドの回答を監督する。 推論では、外部空間ツールを使わずに、適応的なワークフローをエンドツーエンドで実行します。 3つの空間的推論ベンチマークで、EgoP$^{2}$Cの学生はQwen3-VL-8BとSenseNova-SI-1.3-8Bでそれぞれ9.2と7.5のパーセンテージでベースモデルを上回っている。 両方のバックボーン全体で、EgoP$^{2}$Cは推論FLOPを65.8-66.3%削減し、共有のDual-LoRA教師よりも1.29$-$1.49\times$スピードアップを達成した。

関連論文リスト

• E$^2$-OPSD: Taming Entropy Overshoot in On-Policy Self-Distillation [31.08813672185829]
  模範指導は、現在の答えを解決された隣り合う問題に置き換える。 E$2$-OPSDは、OPSDよりも平均4.3ポイントの数学推論を改善する。
  論文  参考訳（メタデータ） (2026-10-04T08:32:33Z)
• What Does Privileged Information Add to On-Policy Self-Distillation? [57.872246350931306]
  オンラインの自己蒸留(On-policy self-distillation)により、言語モデルは、答や解決方法を見る、自分自身の凍結したコピーから学ぶことができる。 AMPLE-Mathは、5,319の数学的問題からなる再利用可能なスイートで、同じ答えを6つの推論ビューで共有する。 直接応答型ロールアウトを監督する思考能力のある教師によって、Qwen3-1.7Bの改良の大部分は参照レス蒸留によるものである。
  論文  参考訳（メタデータ） (2026-09-17T15:57:10Z)
• Visual Contrastive Self-Distillation [61.298159957622886]
  本稿では,視覚的コントラスト自己蒸留法を提案する。 これと対照的に,本研究では,教師の具体的イメージ分布の明確化を図り,その結果のフルディストリビューション目標を学生に蒸留する。
  論文  参考訳（メタデータ） (2026-07-23T17:37:37Z)
• EgoCoT-Bench: Benchmarking Grounded and Verifiable Operation-Centric Chain of Thought Reasoning for MLLMs [23.973683864983272]
  EgoT-Benchは、接地的で検証可能な操作中心の推論のための微細なエゴセントリックなベンチマークである。 EgoT-Benchは、3,172対のQAペアを351対の自我中心の振り返りビデオで構成している。
  論文  参考訳（メタデータ） (2026-05-19T09:02:20Z)
• VisionCoach: Reinforcing Grounded Video Reasoning via Visual-Perception Prompting [58.508924874097715]
  VisonCoach は,(1) ビデオと質問に対して適切なプロンプト型を予測する Visual Prompt Selector と,(2) 視覚的プロンプトガイダンスとオブジェクトグラウンド報酬の下で RL で最適化された Spatio-Reasoner の2つのコンポーネントから構成される。 この結果から,トレーニング中の視覚的プロンプトが映像推論を改善するのに対し,注意散布センスは推論時にプロンプトを必要とせず,この能力を実現することが示唆された。
  論文  参考訳（メタデータ） (2026-03-15T23:32:02Z)
• EgoThinker: Unveiling Egocentric Reasoning with Spatio-Temporal CoT [56.24624833924252]
  EgoThinkerは、時間的連鎖管理と2段階の学習カリキュラムを通じて、堅牢なエゴセントリック推論能力を備えたMLを支援するフレームワークである。 EgoThinkerは、複数のエゴセントリックなベンチマークで既存のメソッドよりも優れており、微粒な時間的ローカライゼーションタスクで大幅に改善されている。
  論文  参考訳（メタデータ） (2025-10-27T17:38:17Z)
• Co-rewarding: Stable Self-supervised RL for Eliciting Reasoning in Large Language Models [56.055015597319674]
  検証可能な報酬(RLVR)を用いた強化学習は,大規模言語モデル(LLM)の推論能力の向上に有効である 近年の自己回帰法は LLM の推論能力を解き放つためのラベルフリーな代替手段について検討している。 我々は、他の視点から補完的な監督を求めることにより、トレーニングの安定性を向上させる新しい自己監督型RLフレームワークであるtextitCo-rewardingを提案する。
  論文  参考訳（メタデータ） (2025-08-01T08:09:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。