論文の概要: EgoForesight: Effectively Scaling Policy Learning with Noisy Egocentric Actions

• arxiv url: http://arxiv.org/abs/2610.31845v1
• Date: Thu, 22 Oct 2026 19:28:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.275786
• Title: EgoForesight: Effectively Scaling Policy Learning with Noisy Egocentric Actions
• Title（参考訳）: EgoForesight: ノイズ中心アクションによる効果的なポリシ学習のスケールアップ
• Abstract要約: EgoForesightは、両方のソースから学習するビジョンアクションフレームワークである。 信頼できないアクションラベルの影響を減らし、実証結果を活用する。 シミュレーションと実世界のデクスタラスな操作の両方において、強力な絶対的なパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 46.99141035416593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Scaling policy learning requires broad experience and reliable supervision. Robot demonstrations provide high-quality trajectory supervision but are costly to collect. Egocentric videos broaden task and environment coverage, yet motion reconstruction and retargeting introduce noisy action labels. To address this challenge, we introduce EgoForesight, a vision-language-action framework that learns jointly from both sources by reducing the influence of unreliable action labels and exploiting demonstrated outcomes as complementary supervision. A joint vision-action flow couples future visual representation prediction with action generation, unifying reliability-aware action learning with outcome-informed representation transfer. Specifically, reliability-conditioned corruption allocates action supervision across noise levels according to source reliability, while reliability-weighted regression regulates each source's contribution. Complementing this treatment of noisy labels, privileged-future representation distillation draws supervision from demonstrated outcomes. An exponential-moving-average teacher observes the current scene and clean future to encode action-relevant structure from the resulting scene change. Its deeper representations supervise an earlier student layer receiving a corrupted future, providing outcome-informed structure beyond noisy action annotations. Together, these mechanisms support effective scaling with noisy egocentric actions. Over the tested range, EgoForesight exhibits steeper scaling slopes than the baseline, reducing real-world open-loop action MSE by 20.5% and improving RoboCasa few-shot success by 8.1 percentage points at 30,000 hours of pretraining data. After post-training, it also achieves strong absolute performance in both simulated and real-world dexterous manipulation.
• Abstract（参考訳）: 政策学習のスケーリングには幅広い経験と信頼できる監督が必要である。 ロボットのデモは高品質な軌道監視を提供するが、収集には費用がかかる。 エゴセントリックなビデオはタスクと環境の範囲を広げるが、動きの再構築と再ターゲティングはノイズの多いアクションラベルを導入している。 この課題に対処するために,信頼できない行動ラベルの影響を低減し,実証結果を補完的な監視として活用することで,両情報源から共同で学習するビジョン言語アクションフレームワークであるEgoForesightを紹介した。 共同視覚行動フローは、将来の視覚的表現予測とアクション生成とを結合し、信頼性を考慮した行動学習と結果インフォームド表現伝達とを統一する。 具体的には、信頼性条件付き汚職はソースの信頼性に応じてノイズレベルを越えて行動監視を割り当て、信頼性重み付き回帰は各ソースのコントリビューションを規制する。 このノイズラベルの処理を補完する特権的未来表現蒸留は、実証された結果から監督を引き出す。 指数移動平均教師は、現在のシーンとクリーンな未来を観察し、その結果のシーン変化からアクション関連構造を符号化する。 そのより深い表現は、腐敗した未来を受信する初期の学生層を監督し、ノイズの多いアクションアノテーションを超えて結果インフォームされた構造を提供する。 これらのメカニズムは、ノイズ中心のアクションによる効果的なスケーリングをサポートする。 試験範囲内では、EgoForesightはベースラインよりも急なスケーリング勾配を示し、実際のオープンループアクションMSEを20.5%削減し、事前トレーニングデータの8.1ポイントでロボカサをわずかに改善している。 ポストトレーニングの後、シミュレーションと実世界のデクスタラスな操作の両方において、強力な絶対的なパフォーマンスを達成する。

関連論文リスト

• EWAM: Emergent Depth-Wise Specialization in a Unified Embodied Model -- From Semantic Understanding through Visual Foresight to Action [65.7650775259592]
  視覚言語行動(VLA)ポリシーは意味理解を重視し、世界行動モデル(WAM)は環境力学の予測表現を学習する。 本研究では,アクション中心の統一型エンボディモデルであるEWAMについて述べる。
  論文  参考訳（メタデータ） (2026-09-30T15:35:53Z)
• EgoVine: Post-Training with Branching Experience Compiled from Real-World Videos [52.726549895255914]
  EgoVineは、固定的なデモセットを長期計画のためのインタラクティブな体験に変換するポストトレーニングフレームワークである。 EgoVineは実世界のビデオアノテーションからコンパイルされた実行可能シンボリック環境で動作する。 共有ベンチマークでは、EgoVine-1.5Bはメインプランニングタスクで81.8%、長いタスクコンポジションで66.7%を達成している。
  論文  参考訳（メタデータ） (2026-09-30T07:04:16Z)
• Do Robotic World Models Really Follow Actions? Diagnosing and Aligning Action-Conditioned Generation for Policy Learning [53.77164209208635]
  本稿では,視覚的整合性と軌跡アライメントを用いて,より広い行動分布を探索するWorldEchoを紹介する。 本稿では,3つの軸に沿った行動(分布カバレッジ,表現的接地,介入効果のアライメント)を強化するWorldSyncを提案する。 RoboTwinベンチマークと実ロボットタスクの実験は、WorldSyncがWorldEchoメトリクスを改善し、反復的なポリシー改善のためのより信頼性の高いシミュレータとして機能していることを示している。
  論文  参考訳（メタデータ） (2026-08-25T17:59:49Z)
• Object-Centric Latent Action Learning [70.3173534658611]
  本稿では,画素ではなくオブジェクトを対象とする,オブジェクト中心の潜在動作学習フレームワークを提案する。 我々は、自己教師対象中心の事前学習を利用して、行動関連や注意をそらすダイナミクスを歪めている。 その結果, 物体中心の事前学習は, トラクタの負の効果を50%軽減することがわかった。
  論文  参考訳（メタデータ） (2025-02-13T11:27:05Z)
• Self-Supervised Bird's Eye View Motion Prediction with Cross-Modality Signals [38.20643428486824]
  密集した鳥の視線(BEV)の動きを自己監督的に学習することは、ロボット工学と自律運転の新たな研究である。 現在の自己監督法は主に点雲間の点対応に依存する。 マルチモダリティデータを活用することで,これらの問題に効果的に対処する,新たなクロスモダリティ自己教師型トレーニングフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-01-21T14:09:49Z)
• Self-Regulated Learning for Egocentric Video Activity Anticipation [147.9783215348252]
  自己制御学習(SRL)は、中間表現を連続的に制御し、現在のタイムスタンプのフレームにおける新しい情報を強調する表現を作り出すことを目的としている。 SRLは2つのエゴセントリックなビデオデータセットと2つの第三者のビデオデータセットにおいて、既存の最先端技術よりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-11-23T03:29:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。