論文の概要: DreamTraj: Generating 6-DoF Object Trajectories by Reading Unrendered Video Diffusion Latents

• arxiv url: http://arxiv.org/abs/2608.00486v1
• Date: Sat, 01 Aug 2026 07:24:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.701424
• Title: DreamTraj: Generating 6-DoF Object Trajectories by Reading Unrendered Video Diffusion Latents
• Title（参考訳）: DreamTraj: ビデオ拡散遅延読み出しによる6-DoFオブジェクトの軌道生成
• Abstract要約: 本稿では,単一のRGB画像とタスク命令から6-DoFオブジェクトの軌道を予測するDreamTrajを提案する。 凍結した画像とビデオの拡散モデルの内部表現から、初期妄想的なステップで動きを読み取る。 軽量なフローマッチングReaderは、クエリキーのアテンショントラックと隠された状態を相対的な6-DoFポーズにデコードする。
• 参考スコア（独自算出の注目度）: 48.13199768945952
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurate prediction of object trajectories during manipulation is essential for closing the perception-action loop. Progress is limited on two fronts: available datasets lack fine-grained language-to-motion annotations, and existing predictors either rely on privileged inputs such as video, depth, or CAD models, or recover motion from fully generated videos through costly, error-prone perception pipelines. We close the supervision gap with the MOVE dataset, 5,038 object-centric egocentric trajectories, each paired with a fine-grained natural-language instruction rather than a coarse verb-noun label. We further propose DreamTraj, which predicts a 6-DoF object trajectory from a single RGB image and a task instruction, requiring no video, depth, or CAD model at inference: rather than generating a video, it reads motion from the internal representations of a frozen image-to-video diffusion model at an early denoising step. A lightweight flow-matching Reader decodes query-key attention tracks and pooled hidden states into relative 6-DoF poses. To our knowledge, this is the first approach to directly decode object 6-DoF trajectories from intermediate video diffusion representations rather than generated pixels. DreamTraj sets a new state of the art on both translation and rotation against forecasters that consume multi-frame or privileged inputs, and runs 4.6x faster than generate-then-extract pipelines.
• Abstract（参考訳）: 操作中の物体軌道の正確な予測は、知覚-行動ループを閉じるのに不可欠である。 利用可能なデータセットには粒度の細かい言語間アノテーションがなく、既存の予測器はビデオ、深度、CADモデルなどの特権的な入力に依存している。 我々はMOVEデータセットと5,038個のオブジェクト中心のエゴセントリックな軌道の監督ギャップを埋め、それぞれが粗い動詞-名詞ラベルではなく、きめ細かい自然言語命令をペアリングした。 さらに,1つのRGB画像とタスク命令から6-DoFオブジェクトの軌跡を予測するDreamTrajを提案する。 軽量なフローマッチングReaderは、クエリキーのアテンショントラックと隠された状態を相対的な6-DoFポーズにデコードする。 我々の知る限り、これは生成した画素ではなく中間映像拡散表現からオブジェクト6-DoF軌道を直接デコードする最初のアプローチである。 DreamTrajは、複数フレームまたは特権入力を消費する予測器に対して、翻訳と回転の両方に新たな最先端を設定し、生成可能なパイプラインよりも4.6倍高速で動作する。

関連論文リスト

• Manifold4D: Denoising on Point Cloud Rendered Manifolds for Video Re-shooting [16.163736801043942]
  ビデオの再撮影は、ユーザが指定したカメラ軌道に沿って、ダイナミックシーンのモノクロビデオを再レンダリングする。 支配的なレシピは、ターゲットの幾何学を明示的に提供します。 フローマッチングの初期ノイズに直接レンダリングを注入するMANIFOLD4Dを提案する。
  論文  参考訳（メタデータ） (2026-08-28T10:39:52Z)
• The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction [36.627109956900256]
  ViDiHandは、エゴセントリックなビデオから4Dの手の動きを再現するためのパイプラインだ。 予め訓練されたビデオ拡散モデルに基づいており、世界史を保存しながら手の特徴を専門とする。 ARCTIC、HOT3D、HOI4Dでは、ViDiHandは従来の方法よりも大幅に優れている。
  論文  参考訳（メタデータ） (2026-06-29T13:53:00Z)
• Rays as Pixels: Learning A Joint Distribution of Videos and Camera Trajectories [25.30154413418057]
  Rays as Pixelsはビデオ拡散モデルで、ビデオとカメラの軌跡に関する共同分布を学習する。 単一の訓練されたモデルは、ビデオからカメラ軌跡を予測すること、入力画像からビデオとカメラ軌跡を共同生成すること、ターゲットカメラ軌跡に沿って入力画像からビデオを生成することの3つのタスクを処理する。 ポーズ推定とカメラ制御ビデオ生成の結果を報告する。
  論文  参考訳（メタデータ） (2026-04-10T15:47:23Z)
• TrackMAE: Video Representation Learning via Track Mask and Predict [53.79942817343784]
  Masked Video Modeling (MVM)は、シンプルでスケーラブルな自己教師付き事前トレーニングパラダイムとして登場した。 動作情報を復元信号として明示的に利用するシンプルなマスク付きビデオモデリングパラダイムであるTrackMAEを提案する。 我々は、さまざまな下流設定の6つのデータセットを評価し、TrackMAEが最先端のビデオ自己教師型学習ベースラインを一貫して上回っていることを発見した。
  論文  参考訳（メタデータ） (2026-03-28T13:35:23Z)
• Direct Motion Models for Assessing Generated Videos [38.04485796547767]
  ビデオ生成ビデオモデルの現在の制限は、可視的に見えるフレームを生成するが、動きが貧弱であることである。 ここでは、妥当な物体の相互作用と動きをよりよく測定する指標を開発することで、FVDを超えていく。 画素再構成や動作認識の代わりに点線を用いると、合成データの時間歪みに顕著に敏感な測定結果が得られることを示す。
  論文  参考訳（メタデータ） (2025-04-30T22:34:52Z)
• In-2-4D: Inbetweening from Two Single-View Images to 4D Generation [63.68181731564576]
  Inbetween-2-4Dという,2枚のシングルビュー画像を補間する4次元(つまり3D + モーション)の生成問題を提案する。 テキストや1つの画像のみからの映像/4D生成とは対照的に、補間タスクはより正確なモーション制御を利用して生成をよりよく制約することができる。
  論文  参考訳（メタデータ） (2025-04-11T09:01:09Z)
• DIFFVSGG: Diffusion-Driven Online Video Scene Graph Generation [61.59996525424585]
  DIFFVSGGはオンラインのVSGGソリューションで、このタスクを反復的なシーングラフ更新問題とみなしている。 オブジェクト分類の復号化、境界ボックス回帰、グラフ生成の3つのタスクを1つの共有特徴埋め込みを用いて統合する。 DIFFVSGGはさらに、後続のフレームの予測が過去のフレームの結果をLCMの条件入力として活用する継続的時間的推論を促進する。
  論文  参考訳（メタデータ） (2025-03-18T06:49:51Z)
• ReferDINO: Referring Video Object Segmentation with Visual Grounding Foundations [33.74746234704817]
  ビデオオブジェクトセグメンテーション(RVOS)は、テキスト記述に基づいて、ビデオ全体を通してターゲットオブジェクトをセグメンテーションすることを目的としている。 これは、深い視覚レベルの理解、ピクセルレベルの高密度な予測、時間的推論を含むため、難しい。 基礎的な視覚基盤モデルから領域レベルの視覚テキストアライメントを継承するbfReferDINO RVOSを提案する。
  論文  参考訳（メタデータ） (2025-01-24T16:24:15Z)
• Motion2VecSets: 4D Latent Vector Set Diffusion for Non-rigid Shape Reconstruction and Tracking [52.393359791978035]
  Motion2VecSetsは点雲列からの動的表面再構成のための4次元拡散モデルである。 グローバルな潜在符号の代わりに、潜在集合で4Dダイナミクスをパラメータ化する。 時間的コヒーレントな物体追跡のために、変形潜在集合を同期的に認知し、複数のフレーム間で情報を交換する。
  論文  参考訳（メタデータ） (2024-01-12T15:05:08Z)
• Tsanet: Temporal and Scale Alignment for Unsupervised Video Object Segmentation [21.19216164433897]
  Unsupervised Video Object (UVOS) は、手動による指示なしに、ビデオ内の顕著なオブジェクトをセグメンテーションする難しいタスクを指す。 上記の2つのアプローチの限界に対処できるUVOSの新しいフレームワークを提案する。 DAVIS 2016 と FBMS という公開ベンチマークデータセットを用いて,本手法の有効性を実証した実験結果を示す。
  論文  参考訳（メタデータ） (2023-03-08T04:59:43Z)
• Masked Motion Encoding for Self-Supervised Video Representation Learning [84.24773072241945]
  Masked Motion MMEは、外観情報と動作情報の両方を再構成し、時間的手がかりを探索する新しい事前学習パラダイムである。 物体の位置変化や形状変化を追跡することで、人間が行動を認識することができるという事実を動機として、マスク領域におけるこれらの2種類の変化を表す運動軌跡を再構築することを提案する。 我々のMMEパラダイムで事前訓練されたモデルでは、長期的かつきめ細かな動きの詳細を予測できる。
  論文  参考訳（メタデータ） (2022-10-12T11:19:55Z)
• Exploring Motion and Appearance Information for Temporal Sentence Grounding [52.01687915910648]
  本研究では、時間的文のグラウンド化を解決するために、MARN(Motion-Appearance Reasoning Network)を提案する。 動作誘導と外見誘導のオブジェクト関係を学習するために,動作分岐と外見分岐を別々に開発する。 提案するMARNは,従来の最先端手法よりも大きなマージンで優れていた。
  論文  参考訳（メタデータ） (2022-01-03T02:44:18Z)
• VIOLET : End-to-End Video-Language Transformers with Masked Visual-token Modeling [88.30109041658618]
  ビデオ言語(VidL)モデリングにおける大きな課題は、画像/映像理解モデルから抽出された固定されたビデオ表現と、下流のVidLデータとの切り離しにある。 我々は、ビデオ入力の時間的ダイナミクスを明示的にモデル化するビデオトランスを採用した、完全なエンドツーエンドVIdeO-LanguagE変換器であるVIOLETを提案する。
  論文  参考訳（メタデータ） (2021-11-24T18:31:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。