論文の概要: Action Forcing: Training World Models on Unsupervised Video by Recovering Underlying Egomotion Bases

• arxiv url: http://arxiv.org/abs/2609.30595v1
• Date: Thu, 24 Sep 2026 22:19:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.151506
• Title: Action Forcing: Training World Models on Unsupervised Video by Recovering Underlying Egomotion Bases
• Title（参考訳）: アクション・フォース:下のエゴモーション・ベースを復元し、教師なし映像に世界モデルを訓練する
• Abstract要約: 我々は,通常の動画をデータ由来のエゴモーションベースを復元することにより,行動指導型トレーニングデータに変換する。 我々は,従来のビデオメトリクスが見逃す欠陥を明らかにするために,テキスト制御性,テキスト処理性,テキスト共役(薄い空気からオブジェクトを作成する),およびテクトジオメトリの整合性を測定する。
• 参考スコア（独自算出の注目度）: 12.45913236839459
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Synchronised action annotations are needed to train controllable world models and these datasets remain elusive. Existing approaches make use of instrumented platforms with calibrated sensors, costly manual annotation, or latent-action models which lack grounding. We instead turn ordinary unlabelled video into action-supervised training data by recovering (without training) a data-derived egomotion basis. We track pixel displacements across frames and exploit the recurring coherent structure induced by egomotion to obtain grounded control signals directly. Using a method as simple as principal components analysis perform this, we find that the leading components provide signed, scalable, and composable throttle--yaw controls, although the method can recover only motion axes represented in the data. To prevent a high-capacity video DiT from exploiting pixel-level supervision, an online latent critic distils a frozen decoder--tracker--PCA (Principal Components Analysis) teacher without backpropagating through the decoder or tracker. Finally we critique the use of video generation metrics to evaluate WMs and introduce an example of an alternative, reference-free evaluation method. We measure \textit{controllability}, \textit{plausibility}, \textit{conjuring} (creating objects out of thin air) and \textit{geometric integrity}, revealing failures that conventional video metrics miss. We show that most baselines follow familiar action directions but struggle to reverse or remain stationary. Our model handles both while retaining compositional control and generation quality. Despite backwards actions being less than $1\%$ of our training data, we find that the model learns to reverse, scale its response linearly, and compose throttle with steering, all simply by learning through a grounded action space.
• Abstract（参考訳）: 制御可能な世界モデルのトレーニングには同期アクションアノテーションが必要です。 既存のアプローチでは、校正されたセンサー、高価な手動アノテーション、接地を欠いた潜在アクションモデルを備えた計測プラットフォームを使用している。 代わりに、通常の未学習動画を、データ由来のエゴモーションベースを回復(トレーニングなしで)することで、アクション教師付きトレーニングデータに変換する。 我々は,フレーム間の画素変位を追跡し,移動によって引き起こされる連続したコヒーレント構造を利用して,接地制御信号を直接取得する。 主成分分析のように簡単な手法を用いることで,データに表される動き軸のみを復元できるが,主成分は符号付き,スケーラブルで,構成可能なスロットル制御を提供する。 高容量ビデオDiTが画素レベルの監視を利用するのを防止するため、オンライン潜伏評論家は、デコーダやトラッカーをバックプロパゲートすることなく、冷凍デコーダ--トラッカー--PCA教師を消耗させる。 最後に、WMを評価するためのビデオ生成メトリクスの使用を批判し、代替の参照不要評価手法の例を紹介する。 我々は、従来のビデオメトリクスが見逃す障害を明らかにするために、 \textit{controllability}、 \textit{plausibility}、 \textit{conjuring}(薄い空気からオブジェクトを作成する)、 \textit{geometric integrity}を測定する。 ほとんどのベースラインは慣れ親しんだ行動指示に従っているが、逆転や静止状態を保つのに苦労している。 私たちのモデルは、構成制御と生成品質を維持しながら、両方を処理します。 後方のアクションはトレーニングデータの1\%以下であるにもかかわらず、モデルが逆転を学び、リニアにスケールし、ステアリングでスロットルを構成するのは、単に接地されたアクション空間を学習することによってである。

関連論文リスト

• Bootstrap Your Generator: Unpaired Visual Editing with Flow Matching [79.46676932242569]
  本稿では,フローマッチング編集モデルの非ペア化学習のためのフレームワークを提案する。 ByGは、凍結モデルから抽出した命令追従キューと、構造保存のためのサイクル整合性とをペアリングする。 我々は,データスカース画像と映像編集の課題に対する最先端の成果を実証する。
  論文  参考訳（メタデータ） (2026-06-02T17:07:08Z)
• Geo-Align: Video Generation Alignment via Metric Geometry Reward [53.65904111864641]
  Geo-Alignは、カメラ制御ビデオ再レンダリング用に特別に設計された最初の強化学習フレームワークである。 事前訓練されたモデルに基づいて、スケールアウェアの知覚報酬機構を用いてモデルを最適化する。 実験により、Geo-Alignは、カメラの正確な制御性と視覚的忠実性の両方において、既存の教師付き学習ベースラインを一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2026-05-22T17:59:43Z)
• TrackMAE: Video Representation Learning via Track Mask and Predict [53.79942817343784]
  Masked Video Modeling (MVM)は、シンプルでスケーラブルな自己教師付き事前トレーニングパラダイムとして登場した。 動作情報を復元信号として明示的に利用するシンプルなマスク付きビデオモデリングパラダイムであるTrackMAEを提案する。 我々は、さまざまな下流設定の6つのデータセットを評価し、TrackMAEが最先端のビデオ自己教師型学習ベースラインを一貫して上回っていることを発見した。
  論文  参考訳（メタデータ） (2026-03-28T13:35:23Z)
• Refining Pre-Trained Motion Models [56.18044168821188]
  我々は、自己教師付きトレーニングによる最先端の教師付きモデルの改善に挑戦する。 実世界の未学習ビデオから「クリーン」な訓練信号を得ることに重点を置いている。 本研究では,本手法が実動画における完全教師付き手法よりも信頼性が高いことを示す。
  論文  参考訳（メタデータ） (2024-01-01T18:59:33Z)
• "What's This?" -- Learning to Segment Unknown Objects from Manipulation Sequences [27.915309216800125]
  本稿では,ロボットマニピュレータを用いた自己教師型把握対象セグメンテーションのための新しいフレームワークを提案する。 本稿では,モーションキューとセマンティック知識を共同で組み込んだ,エンドツーエンドのトレーニング可能な単一アーキテクチャを提案する。 我々の手法は、運動ロボットや3Dオブジェクトモデルの視覚的登録にも、正確な手眼の校正や追加センサーデータにも依存しない。
  論文  参考訳（メタデータ） (2020-11-06T10:55:28Z)
• Auto-Rectify Network for Unsupervised Indoor Depth Estimation [119.82412041164372]
  ハンドヘルド環境に現れる複雑な自我運動が,学習深度にとって重要な障害であることが確認された。 本稿では,相対回転を除去してトレーニング画像の修正を効果的に行うデータ前処理手法を提案する。 その結果、従来の教師なしSOTA法よりも、難易度の高いNYUv2データセットよりも優れていた。
  論文  参考訳（メタデータ） (2020-06-04T08:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。