論文の概要: Bootstrapping Video Interaction Generation with Synthetic State Transitions

• arxiv url: http://arxiv.org/abs/2610.01039v1
• Date: Thu, 01 Oct 2026 04:27:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.894621
• Title: Bootstrapping Video Interaction Generation with Synthetic State Transitions
• Title（参考訳）: 合成状態遷移を用いたブートストラップビデオインタラクション生成
• Abstract要約: 制御可能な相互作用のスケーラブルな合成データセットを生成するためのフレームワークを導入する。 我々のパイプラインは、構造化された分類と最先端の画像編集モデルを活用して、明示的な開始と終了の状態画像を生成する。
• 参考スコア（独自算出の注目度）: 30.530706616599314
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While recent video generative models can synthesize high-fidelity videos, they struggle to portray plausible physical interactions and the resulting state transitions, a critical bottleneck for applications in robotics and VR/AR. To address this, we introduce a framework to generate a scalable synthetic dataset of controllable interactions. Our pipeline leverages a structured taxonomy and state-of-the-art image editing models to create explicit `start' and `end' state images, which serve as visual anchors for the interaction. To generate a seamless video utilizing these anchors, we propose State-Guided Sampling (SGS), a novel sampling technique that mitigates artifacts common in naive conditional generation. Furthermore, we develop and validate a new automated evaluation system that aligns with human judgments to ensure data quality. Experiments show that fine-tuning a base model on our dataset significantly enhances its ability to generate plausible interactions.
• Abstract（参考訳）: 最近のビデオ生成モデルは高忠実度ビデオを合成できるが、ロボット工学やVR/ARにおけるアプリケーションにとって重要なボトルネックである、もっともらしい物理的相互作用と結果の状態遷移を表現するのに苦労している。 そこで本稿では,制御可能なインタラクションのスケーラブルな合成データセットを生成するためのフレームワークを提案する。 私たちのパイプラインでは、構造化された分類モデルと最先端の画像編集モデルを活用して、明示的な‘start’と‘end’の状態画像を生成し、インタラクションの視覚的アンカーとして機能します。 これらのアンカーを利用したシームレスなビデオを生成するために,本研究では,ナイーブな条件生成に共通するアーティファクトを緩和する新しいサンプリング手法であるState-Guided Sampling (SGS)を提案する。 さらに,データ品質を確保するため,人間の判断と一致した新しい自動評価システムを開発し,検証する。 実験により、データセット上でベースモデルを微調整することで、プラウシブルなインタラクションを生成する能力が大幅に向上することが示された。

関連論文リスト

• Prompt-to-Gesture: Measuring the Capabilities of Image-to-Video Deictic Gesture Generation [8.9657942429828]
  近年の映像と映像の基盤モデルの発展により、自然言語でガイドされた写真リアリスティックで意味的にリッチなビデオの生成が可能になった。 これらの能力は、労力のない合成データを作成する新しい可能性を開く。 本稿では,現実的なディスティック・ジェスチャ・データセットを構築するために,プロンプトベースの映像生成を導入・解析する。
  論文  参考訳（メタデータ） (2026-04-16T12:52:12Z)
• VAG: Dual-Stream Video-Action Generation for Embodied Data Synthesis [35.55805069125473]
  視覚・言語条件下でビデオとアクションを協調的に生成する,フローマッチングに基づく統合型デュアルストリームフレームワークを提案する。 シミュレーションと実世界の両方の設定で、VAGは競合予測品質を備えた協調したビデオアクションペアを生成し、実行可能な軌道再生をサポートし、有用な合成事前学習データを提供する。
  論文  参考訳（メタデータ） (2026-04-10T13:59:54Z)
• AGILE: Hand-Object Interaction Reconstruction from Video via Agentic Generation [45.753757870577196]
  本稿では,対話学習のためのエージェント生成にパラダイムを転換する,堅牢なフレームワークAGILEを紹介する。 我々はAGILEがグローバルな幾何学的精度でベースラインを上回り、先行技術が頻繁に崩壊する挑戦的なシーケンスに対して、例外的な堅牢性を証明していることを示す。
  論文  参考訳（メタデータ） (2026-02-04T15:42:58Z)
• Scaling Transformer-Based Novel View Synthesis Models with Token Disentanglement and Synthetic Data [53.040873127309766]
  本稿では,トランスアーキテクチャ内でのトークンのアンタングル化プロセスを提案し,特徴分離を向上し,より効果的な学習を実現する。 提案手法は,データセット内およびデータセット間の評価において,既存のモデルよりも優れる。
  論文  参考訳（メタデータ） (2025-09-08T17:58:06Z)
• Learning Video Generation for Robotic Manipulation with Collaborative Trajectory Control [72.00655365269]
  本稿では,協調的軌跡定式化を通じてオブジェクト間ダイナミクスをモデル化する新しいフレームワークであるRoboMasterを紹介する。 オブジェクトを分解する従来の方法とは異なり、我々のコアは、相互作用プロセスを3つのサブステージ(相互作用前、相互作用後、相互作用後)に分解することである。 提案手法は既存の手法よりも優れており,ロボット操作のための軌道制御ビデオ生成における最先端性能を確立している。
  論文  参考訳（メタデータ） (2025-06-02T17:57:06Z)
• InterDyn: Controllable Interactive Dynamics with Video Diffusion Models [50.38647583839384]
  我々は、初期フレームと駆動対象またはアクターの動作を符号化する制御信号が与えられたインタラクティブな動画像を生成するフレームワークであるInterDynを提案する。 我々の重要な洞察は、大規模なビデオ生成モデルは、大規模ビデオデータからインタラクティブなダイナミクスを学習し、ニューラルと暗黙の物理シミュレーターの両方として機能できるということです。
  論文  参考訳（メタデータ） (2024-12-16T13:57:02Z)
• Pre-training for Action Recognition with Automatically Generated Fractal Datasets [23.686476742398973]
  本稿では,短い合成ビデオクリップの大規模データセットを自動生成する手法を提案する。 生成されたビデオクリップは、複雑なマルチスケール構造を生成するフラクタルの自然能力に起因した顕著な多様性によって特徴づけられる。 通常のKineeticsの事前トレーニングと比較すると、報告結果が近くなり、下流のデータセットよりも優れています。
  論文  参考訳（メタデータ） (2024-11-26T16:51:11Z)
• Conditional Generative Modeling for Images, 3D Animations, and Video [4.422441608136163]
  コンピュータビジョンのための生成モデリングの分野における革新を推進しようとする論文。 研究は、ノイズと視覚データの変換を提供するアーキテクチャと、生成タスクや3Dコンテンツ操作にエンコーダ・デコーダアーキテクチャを適用することに焦点を当てている。
  論文  参考訳（メタデータ） (2023-10-19T21:10:39Z)
• Render In-between: Motion Guided Video Synthesis for Action Interpolation [53.43607872972194]
  本研究では、リアルな人間の動きと外観を生成できる動き誘導型フレームアップサンプリングフレームワークを提案する。 大規模モーションキャプチャーデータセットを活用することにより、フレーム間の非線形骨格運動を推定するために、新しいモーションモデルが訓練される。 私たちのパイプラインでは、低フレームレートのビデオと不自由な人間のモーションデータしか必要としませんが、トレーニングには高フレームレートのビデオは必要ありません。
  論文  参考訳（メタデータ） (2021-11-01T15:32:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。