論文の概要: CounterSketch: Physics-Grounded Counterfactual Reasoning for Sketch-to-Video Generation
- arxiv url: http://arxiv.org/abs/2611.04244v1
- Date: Tue, 03 Nov 2026 03:27:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-11 00:53:11.998621
- Title: CounterSketch: Physics-Grounded Counterfactual Reasoning for Sketch-to-Video Generation
- Title(参考訳): CounterSketch:Sketch-to-Videoジェネレーションのための物理を取り巻く反現実的推論
- Abstract要約: 自然言語クエリを物理的に可読なスケッチアニメーションに変換するフレームワークであるCounterSketchを提案する。
このフレームワークは、VLM誘導のシーングラウンド、因果イベントチェーン推論、制約ベースの軌道生成、検証を統合している。
CounterSketchBench (80の質問)の実験では、物理基底軌道が直接のVLM予測よりも強い動き誘導を提供することが示された。
- 参考スコア(独自算出の注目度): 17.520899840491527
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Counterfactual sketch animation explores how a static sketch evolves under a hypothetical intervention. We present CounterSketch, a physics-grounded framework that transforms natural-language ``What if...?'' queries into physically plausible sketch animations. The framework integrates VLM-guided scene grounding, causal event-chain reasoning, constraint-based trajectory generation, and verification. It models physical transitions to update the scene graph, computes continuous object trajectories, and validates them against physical, geometric, and semantic constraints. The verified trajectories are then projected into object-level motion bounding boxes to guide downstream sketch-video synthesis. Experiments on CounterSketchBench (80 questions) demonstrate that physics-grounded trajectories provide stronger motion guidance than direct VLM predictions.
- Abstract(参考訳): 仮想スケッチアニメーションは、仮定的介入の下で静的スケッチがどのように進化するかを探索する。
CounterSketchは、自然言語の `` if ...?''' クエリを物理的に妥当なスケッチアニメーションに変換する物理地上フレームワークである。
このフレームワークは、VLM誘導のシーングラウンド、因果イベントチェーン推論、制約ベースの軌道生成、検証を統合している。
シーングラフを更新するために物理的な遷移をモデル化し、連続したオブジェクトの軌跡を計算し、物理的、幾何学的、意味的な制約に対してそれらを検証する。
検証された軌道は、下流のスケッチビデオ合成をガイドするために、オブジェクトレベルのモーションバウンディングボックスに投影される。
CounterSketchBench (80の質問)の実験では、物理基底軌道が直接のVLM予測よりも強い動き誘導を提供することが示された。
関連論文リスト
- Seeing the Unseen: Unified Visible--Invisible Motion for Physically Consistent Video Generation [24.867210428191715]
物理地上ビデオ生成のための統合フレームワークであるSetting the Unseenを提案する。
本手法は,物理力学の学習と映像合成への注入という2つの段階に分解する。
これらのトラジェクトリを拡散型ジェネレータに統合することにより、視覚的コヒーレントかつ物理的に一貫したビデオを生成する。
論文 参考訳(メタデータ) (2026-10-30T19:18:10Z) - Sketch2Motion: Text-driven 2D Sketch to 3D Animation via Diffusion-guided Skeleton Optimization [0.6445605125467574]
2次元手描きスケッチのアニメーションは、視覚コミュニケーションに有効な媒体を提供する。
2Dスケッチを3Dアニメーションに変換するための最近のアプローチは、主に特定のタイプの動きに焦点を当てている。
骨格に基づく運動合成のための拡散誘導フレームワークであるSketch2Motionを提案する。
論文 参考訳(メタデータ) (2026-05-27T12:32:07Z) - Motion-o: Trajectory-Grounded Video Reasoning [5.820112753483201]
視覚言語モデルに対する動き中心の映像理解拡張であるtextbfMotion-o を導入する。
我々はまた、個別のアノテーションを通してオブジェクトの軌跡を生成する構造化推論経路であるMotion Chain of Thoughttext (MT)を紹介した。
実験結果から、Motion-oは空間的時間的接地と軌道予測を改善することが示された。
論文 参考訳(メタデータ) (2026-03-19T13:00:29Z) - What Happens Next? Anticipating Future Motion by Generating Point Trajectories [76.16266402727643]
一つの画像から動きを予測し、世界の物体がどのように動くかを予測する問題を考察する。
我々はこのタスクを,現代のビデオジェネレータのアーキテクチャを忠実に追従するモデルを用いて,高密度トラジェクトリグリッドの条件生成として定式化する。
このアプローチはシーン全体のダイナミクスと不確実性を捉え、以前の回帰器やジェネレータよりも正確で多様な予測をもたらす。
論文 参考訳(メタデータ) (2025-09-25T21:03:56Z) - Physics-Grounded Motion Forecasting via Equation Discovery for Trajectory-Guided Image-to-Video Generation [54.42523027597904]
物理グラウンド映像予測のためのシンボル回帰と軌跡誘導映像(I2V)モデルを統合する新しいフレームワークを提案する。
提案手法は,入力ビデオから運動軌跡を抽出し,検索に基づく事前学習機構を用いて記号回帰を向上し,運動方程式を発見し,物理的に正確な将来の軌跡を予測する。
論文 参考訳(メタデータ) (2025-07-09T13:28:42Z) - SMF: Template-free and Rig-free Animation Transfer using Kinetic Codes [32.324844649352166]
アニメーション再ターゲッティングはキャラクタメッシュにスパース動作記述を適用し、意味論的に妥当で時間的に整合したフルボディシーケンスを生成する。
本稿では,スパース動作表現のみを訓練した自己教師型運動場(SMF)を提案する。
我々のアーキテクチャは、エンドツーエンドで共同で訓練された専用空間勾配予測器と時間勾配予測器から構成される。
論文 参考訳(メタデータ) (2025-04-07T08:42:52Z) - VLIPP: Towards Physically Plausible Video Generation with Vision and Language Informed Physical Prior [88.51778468222766]
近年,映像拡散モデル (VDM) が大幅に進歩し,映像のリアル化が進んでいる。
VDMは物理の理解の欠如のため、物理的にもっともらしいビデオを作ることができないことが多い。
本稿では,物理を視覚と言語に明示的に組み込んだ新しい2段階画像・映像生成フレームワークを提案する。
論文 参考訳(メタデータ) (2025-03-30T09:03:09Z) - Contact and Human Dynamics from Monocular Video [73.47466545178396]
既存のディープモデルは、ほぼ正確に見えるエラーを含むビデオから2Dと3Dキネマティックのポーズを予測する。
本稿では,最初の2次元と3次元のポーズ推定を入力として,映像系列から3次元の人間の動きを推定する物理に基づく手法を提案する。
論文 参考訳(メタデータ) (2020-07-22T21:09:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。