Fugu-MT 論文翻訳(概要): Self-Improving Video-to-Action Models

論文の概要: Self-Improving Video-to-Action Models

arxiv url: http://arxiv.org/abs/2610.24177v1
Date: Fri, 16 Oct 2026 19:53:39 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-26 10:28:30.670582
Title: Self-Improving Video-to-Action Models
Title（参考訳）: 自己改善型ビデオ・ツー・アクションモデル
Abstract要約: アクションデータや手作り報酬を使わずにビデオとアクションのマッピングを学習する自己教師型アプローチであるMirrorを紹介した。 Mirrorは、環境の根底にあるアクションの最良の推測を実行することで、視覚的な計画に従うことによって学習する。 Minecraft BASALTでは、専門家のアクションや手作業によるタスク知識にアクセスして、メソッドを上回ります。
参考スコア（独自算出の注目度）: 13.576251851610555
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Video generative models are an emerging tool for embodied agents: they can serve as scalable visual planners, generating videos that depict how to complete previously unseen tasks. However, executing these plans typically requires a video-to-action or "inverse dynamics" model trained on large, human-collected video-action datasets, severely limiting scalability. We introduce Mirror, a self-supervised approach that learns video-to-action mappings through environment interactions, without prior action data or hand-crafted rewards. Mirror learns by attempting to follow a visual plan by executing its best guess of the underlying actions in the environment. Mirror then trains on the resulting video-action pairs, incrementally self-improving and following the visual planner more closely. Across Atari, OGBench, and DeepMind Control, Mirror outperforms leading learning-from-observation methods with learned video plans, and achieves near-expert performance with oracle plans. On Minecraft BASALT, it outperforms methods with access to expert actions or hand-engineered task knowledge. In Minecraft survival, it is the first method to acquire an iron pickaxe through self-improvement alone, without rewards or expert action labels. In the offline setting, with expert action labels but no environment interaction, it sets a new state of the art in obtaining diamonds. Our results suggest that advances in video models can translate into increasingly capable agents without a corresponding need for hand-crafted rewards or large collections of expert action data.
Abstract（参考訳）: ビデオ生成モデルは、エンボディされたエージェントにとって新しいツールである。それらはスケーラブルなビジュアルプランナーとして機能し、以前は目に見えないタスクを完了させる方法を記述するビデオを生成する。しかしながら、これらの計画を実行するには、通常、大規模で人為的なビデオアクションデータセットに基づいてトレーニングされたビデオ・ツー・アクションまたは"逆ダイナミクス"モデルが必要であり、スケーラビリティを著しく制限する。本研究では,従来の行動データや手作り報酬を使わずに,環境相互作用を通じて映像とアクションのマッピングを学習する自己教師型アプローチであるMirrorを紹介する。 Mirrorは、環境の根底にあるアクションの最良の推測を実行することで、視覚的な計画に従うことによって学習する。その後Mirrorは、得られたビデオアクションのペアを訓練し、徐々に自己改善し、ビジュアルプランナーをより緊密に追跡する。 Atari、OGBench、DeepMind Controlの他、Mirrorは、学習したビデオプランで可観測性から学ぶ方法よりも優れており、オラクルプランでほぼ熟練したパフォーマンスを実現している。 Minecraft BASALTでは、専門家のアクションや手作業によるタスク知識にアクセスして、メソッドを上回ります。 Minecraftサバイバルでは、報酬や専門家のアクションラベルなしで自己改善だけで鉄のピックアックスを取得する最初の方法である。オフライン環境では、専門家のアクションラベルを持つが、環境相互作用がないため、ダイヤモンドを得るための新しい最先端技術が設定される。以上の結果から,映像モデルの進歩は,手作りの報酬や専門的行動データの大規模な収集を必要とせずに,ますます有能なエージェントに変換できることが示唆された。

関連論文リスト

Scaling Mixture-of-Experts Video Pretraining for Embodied Intelligence [73.39562379177796]
LingBot-Videoは、インテリジェンスを具体化するための、DiTベースのビデオ事前訓練のパラダイムだ。データの観点からは、標準的なインターネットビデオにロボット指向の広範な映像を付加するデータプロファイリングエンジンを構築する。トレーニングの観点から,身体的合理性とタスク完了に関するアライメントを強制する多次元報酬システムを開発する。
論文参考訳（メタデータ） (2026-07-08T17:33:40Z)
Learning Latent Action World Models In The Wild [50.453458324163705]
In-the-wild video における潜在行動世界モデル学習の問題点について検討する。連続的な、しかし制約のある、潜在的なアクションは、ワイルドなビデオからアクションの複雑さを捉えることができる。ビデオ間の共通の具体化がないため、我々は主に宇宙空間で局所化される潜伏行動を学ぶことができる。
論文参考訳（メタデータ） (2026-01-08T18:55:39Z)
Training Agents Inside of Scalable World Models [15.869131616690042]
高速で正確な世界モデル内での強化学習により制御タスクの解法を学習する,スケーラブルなエージェントであるDreamer 4を紹介する。複雑なビデオゲームMinecraftでは、世界モデルはオブジェクトの相互作用とゲーム力学を正確に予測し、以前の世界モデルよりも大きなマージンで上回る。想像力で振舞うことを学ぶことで、Dreamer 4はマインクラフトで初めて、環境の相互作用なしにオフラインデータからダイヤモンドを入手したエージェントである。
論文参考訳（メタデータ） (2025-09-29T09:42:27Z)
PlaySlot: Learning Inverse Latent Dynamics for Controllable Object-Centric Video Prediction and Planning [19.67005754615478]
PlaySlotはオブジェクト中心のビデオ予測モデルであり、未ラベルのビデオシーケンスからオブジェクト表現と潜在アクションを推論する。 PlaySlotは、ビデオのダイナミックスから推測できる潜在アクションで条件付けられた複数の可能な先物の生成を可能にする。その結果,PlaySlotは,異なる環境における映像予測において,オブジェクト中心のベースラインよりも優れていた。
論文参考訳（メタデータ） (2025-02-11T14:50:10Z)
Grounding Video Models to Actions through Goal Conditioned Exploration [29.050431676226115]
本稿では,エージェントが複雑なタスクを解くために,映像誘導とトラジェクトリレベルのアクション生成を利用するフレームワークを提案する。当社のアプローチが,専門家によるデモンストレーションでトレーニングされた,複数の行動クローンベースラインと同等であるか,あるいは超越しているかを示します。
論文参考訳（メタデータ） (2024-11-11T18:43:44Z)
Video Prediction Models as Rewards for Reinforcement Learning [127.53893027811027]
VIPERは、事前訓練されたビデオ予測モデルを、強化学習のためのアクションフリー報酬信号として活用するアルゴリズムである。当社の作業は、ラベルなしビデオからのスケーラブルな報酬仕様の出発点だと考えています。
論文参考訳（メタデータ） (2023-05-23T17:59:33Z)
A Differentiable Recipe for Learning Visual Non-Prehensile Planar Manipulation [63.1610540170754]
視覚的非包括的平面操作の問題に焦点をあてる。本稿では,ビデオデコードニューラルモデルと接触力学の先行情報を組み合わせた新しいアーキテクチャを提案する。モジュラーで完全に差別化可能なアーキテクチャは、目に見えないオブジェクトやモーションの学習専用手法よりも優れていることが分かりました。
論文参考訳（メタデータ） (2021-11-09T18:39:45Z)
Learning Object Manipulation Skills via Approximate State Estimation from Real Videos [47.958512470724926]
人間は、いくつかの指導ビデオを見て、新しいタスクを学ぶことに精通しています。一方、新しいアクションを学習するロボットは、試行錯誤によって多くの労力を必要とするか、あるいは入手が困難な専門家によるデモを使う必要がある。本稿では,ビデオから直接オブジェクト操作スキルを学習する手法について検討する。
論文参考訳（メタデータ） (2020-11-13T08:53:47Z)
Visual Imitation Made Easy [102.36509665008732]
本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
論文参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。