論文の概要: Unified Video-Action Joint Denoising for Dexterous Action and Data Generation
- arxiv url: http://arxiv.org/abs/2606.03868v1
- Date: Tue, 02 Jun 2026 16:39:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 22:00:05.166425
- Title: Unified Video-Action Joint Denoising for Dexterous Action and Data Generation
- Title（参考訳）: デクサラスアクションとデータ生成のための統合ビデオ・アクション・ジョイント・デノジング
- Authors: Dingrui Wang, YuAn Wang, Jinkun Liu, Yue Zhang, Mattia Piccinini, Yu Sun, Johannes Betz,
- Abstract要約: 我々は,デクスタラスハンドのための統合ビデオアクション認知モデルであるDonkを提案する。
Donkは、アクションポリシーとして、将来のビデオと双方向のMANO軌道をサンプリングする。
画像条件がなければ、同じDenoisingアーキテクチャは、テキスト条件のディストリビューションからビデオアクションのロールアウトをサンプリングする。
- 参考スコア（独自算出の注目度）: 13.23337683310307
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent world action models leverage video foundation models by aligning broad visual-dynamics priors with executable robot actions. We revisit this alignment from a distributional perspective. Existing formulations typically narrow the aligned prior into an observation-conditioned policy distribution over future actions. In contrast, we keep the distribution broader by modeling the joint space of interaction videos and executable hand trajectories under multiple conditioning regimes. We propose Donk, a unified video-action denoising model for dexterous hands. With language, an initial image, and the initial hand state, Donk samples future videos and bimanual MANO trajectories as an action policy. Without the image condition, the same denoising architecture samples paired video-action rollouts from a text-conditioned distribution, turning the aligned video prior into a data engine. Across action, video, and text-only generation evaluations, Donk improves dexterous trajectory accuracy, preserves strong video fidelity, and produces smooth text-conditioned action rollouts under the same unified training recipe.
- Abstract（参考訳）: 最近の世界行動モデルは、広義の視覚力学の先行と実行可能なロボットの動作を整合させることで、ビデオ基盤モデルを活用する。
我々はこのアライメントを分布の観点から再考する。
既存の定式化は、通常、今後の行動に対する観察条件付きポリシー分布に前もって整列を狭める。
対照的に、複数の条件下での対話ビデオと実行可能ハンドトラジェクトリの結合空間をモデル化することで、分布を広く保ちます。
我々は,デクスタラスハンドのための統合ビデオアクション認知モデルであるDonkを提案する。
言語、初期画像、そして最初の手の状態によって、Donkはアクションポリシーとして、将来のビデオとバイマニュアルMANOトラジェクトリをサンプリングする。
画像条件がなければ、同じデノナイジングアーキテクチャは、テキスト条件のディストリビューションからペア化されたビデオアクションのロールアウトをサンプリングし、アライメントされたビデオを事前にデータエンジンに変換する。
アクション、ビデオ、テキストのみの生成評価を通じて、Donkはデクスタラスな軌道精度を改善し、強力なビデオ忠実性を保持し、同じ統合されたトレーニングレシピの下でスムーズなテキスト条件のアクションロールアウトを生成する。
関連論文リスト
- Geo-Align: Video Generation Alignment via Metric Geometry Reward [53.65904111864641]
Geo-Alignは、カメラ制御ビデオ再レンダリング用に特別に設計された最初の強化学習フレームワークである。
事前訓練されたモデルに基づいて、スケールアウェアの知覚報酬機構を用いてモデルを最適化する。
実験により、Geo-Alignは、カメラの正確な制御性と視覚的忠実性の両方において、既存の教師付き学習ベースラインを一貫して上回っていることが示された。
論文 参考訳（メタデータ） (2026-05-22T17:59:43Z) - From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。
我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
論文 参考訳（メタデータ） (2026-05-12T14:15:16Z) - CoVAR: Co-generation of Video and Action for Robotic Manipulation via Multi-Modal Diffusion [27.567059323636112]
本稿では,最初の画像観察とロボットの関節状態から,テキストの指示に従うビデオアクションペアを生成する手法を提案する。
提案手法は,ビデオ拡散モデルのアクションラベルを自動的に提供し,アクションアノテーションの欠如を克服し,ロボットポリシー学習の完全活用を可能にする。
論文 参考訳（メタデータ） (2025-12-17T23:16:02Z) - Show Me: Unifying Instructional Image and Video Generation with Diffusion Models [16.324312147741495]
画像の操作と映像の予測を可能にする統一的なフレームワークを提案する。
構造的忠実度と時間的コヒーレンスを改善するために,構造的および運動的整合性報酬を導入する。
多様なベンチマーク実験により,本手法は指導画像と映像生成の両方において,専門家モデルよりも優れていることが示された。
論文 参考訳（メタデータ） (2025-11-21T23:24:28Z) - Unified Video Action Model [47.88377984526902]
統合されたビデオとアクションモデルは、アクション予測のためのリッチなシーン情報を提供するロボット工学にとって重要な約束である。
我々は,映像とアクションの予測を協調的に最適化し,高精度かつ効率的なアクション推論を実現するUnified Video Action Model (UVA)を提案する。
広範な実験により、UVAは幅広いロボティクスタスクの汎用的なソリューションとして機能できることが実証された。
論文 参考訳（メタデータ） (2025-02-28T21:38:17Z) - Video Creation by Demonstration [59.389591010842636]
我々は、条件付き将来のフレーム予測によってラベルなしビデオから学習する自己教師型トレーニングアプローチである$delta$-Diffusionを提案する。
映像基盤モデルと外観ボトルネック設計を併用して,実演映像から動作遅延を抽出し,生成プロセスの条件付けを行う。
実証的に、$delta$-Diffusionは人間の好みと大規模マシン評価の両方の観点から、関連するベースラインを上回っている。
論文 参考訳（メタデータ） (2024-12-12T18:41:20Z) - Generating Human Interaction Motions in Scenes with Text Control [66.74298145999909]
本稿では,デノナイズ拡散モデルに基づくテキスト制御されたシーン認識動作生成手法TeSMoを提案する。
我々のアプローチは、シーンに依存しないテキスト-モーション拡散モデルの事前学習から始まります。
トレーニングを容易にするため,シーン内に注釈付きナビゲーションと対話動作を組み込む。
論文 参考訳（メタデータ） (2024-04-16T16:04:38Z) - Control-A-Video: Controllable Text-to-Video Diffusion Models with Motion Prior and Reward Feedback Learning [50.60891619269651]
Control-A-Videoは制御可能なT2V拡散モデルであり、テキストプロンプトやエッジや奥行きマップのような参照制御マップに条件付のビデオを生成することができる。
本稿では,拡散に基づく生成プロセスに,コンテンツの事前と動作を組み込む新しい手法を提案する。
我々のフレームワークは、制御可能なテキスト・ツー・ビデオ生成における既存の最先端手法と比較して、高品質で一貫性のあるビデオを生成する。
論文 参考訳（メタデータ） (2023-05-23T09:03:19Z) - Align and Prompt: Video-and-Language Pre-training with Entity Prompts [111.23364631136339]
ビデオと言語による事前トレーニングは、様々なダウンストリームタスクに有望な改善を示している。
Align and Prompt: クロスモーダルアライメントを改良した,効率的かつ効果的なビデオ・言語事前学習フレームワークを提案する。
私たちのコードと事前訓練されたモデルはリリースされます。
論文 参考訳（メタデータ） (2021-12-17T15:55:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。