論文の概要: The GEST-Engine: From Event Graphs to Synthetic Video. A Full Technical Report
- arxiv url: http://arxiv.org/abs/2607.12231v1
- Date: Tue, 14 Jul 2026 00:25:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-15 17:08:29.999149
- Title: The GEST-Engine: From Event Graphs to Synthetic Video. A Full Technical Report
- Title（参考訳）: GEST-Engine:イベントグラフから合成ビデオへ
- Abstract要約: GEST-Engineは、自然言語テキストから完全注釈付きマルチアクタビデオまで、完全なシステムである。
その中核は明示的な世界モデルであり、学習した潜伏者として状態をエンコードするのではなく、エンジンは世界の完全な、検査可能な表現を維持している。
本稿では,ゲーム内エディタ,実行時能力抽出,テキスト生成パイプライン,並列仮想マシン間のコーパスを大規模にレンダリングするプロダクションシステムについて述べる。
- 参考スコア（独自算出の注目度）: 4.964902130083661
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present the GEST-Engine, a complete system that goes from natural-language text to fully-annotated multi-actor video. At its core is an explicit world model: rather than encoding state as a learned latent, the engine maintains a complete, inspectable representation of the world (which actors exist, where they are, what they are doing, which objects they hold, and how events relate in time and space), expressed as a formal Graph of Events in Space and Time (GEST) and realized deterministically inside the open world of a commercial game engine driven through an open-source multiplayer scripting framework. GESTs are produced either procedurally or by an agentic text-to-GEST system in which an LLM Director plans a story through tool calls validated by a programmatic state backend, so every generated specification is executable by construction. A GEST then enters a four-stage execution pipeline: graph parsing and validation, entity and action grounding, temporal orchestration (Allen-style constraints resolved by Floyd-Warshall transitive closure), and execution and capture. In a single simulation pass the engine emits frame-aligned RGB video, dense per-pixel depth, instance segmentation, per-actor skeletal pose, per-frame pairwise spatial-relation graphs, 2D bounding boxes, event-to-frame temporal mappings, and natural-language descriptions, all at zero marginal annotation cost. We further describe an in-game world editor, runtime capability extraction, a text-generation pipeline, and a production system that renders corpora at scale across parallel virtual machines. Because every frame traces back to a semantic specification, the engine guarantees object permanence, multi-actor coordination, and temporal consistency by construction, making its output valuable as training data, evaluation benchmarks, and diagnostic tools for video understanding.
- Abstract（参考訳）: GEST-Engineは、自然言語テキストから完全注釈付きマルチアクタビデオまで、完全なシステムである。
その中核は明示的な世界モデルである: 学習したラテントとして状態をエンコーディングする代わりに、エンジンは世界の完全な、検査可能な表現(アクターが存在する場所、どのオブジェクトを持っているか、どのイベントが時間と空間に関連しているか)を維持し、形式的な空間と時間におけるイベントグラフ(GEST)として表現され、オープンソースのマルチプレイヤースクリプティングフレームワークによって駆動される商用ゲームエンジンのオープンワールド内で決定論的に実現される。
GESTは手続き的あるいはエージェント的テキスト・ツー・GESTシステムによって生成され、LCMディレクターはプログラム状態バックエンドによって検証されたツールコールを通じてストーリーを計画する。
GESTはその後、グラフ解析と検証、エンティティとアクションのグラウンディング、時間的オーケストレーション(Floyd-Warshallトランジショナルクロージャによって解決されたアレンスタイルの制約)、実行とキャプチャの4段階実行パイプラインに入る。
1つのシミュレーションでは、エンジンはフレーム整列RGBビデオ、密度の高いピクセルごとの深さ、インスタンスセグメンテーション、アクターごとの骨格ポーズ、フレームごとの空間関係グラフ、2Dバウンディングボックス、イベント・ツー・フレームの時間マッピング、自然言語記述をゼロの限界アノテーションコストで出力する。
さらに,ゲーム内エディタ,実行時能力抽出,テキスト生成パイプライン,並列仮想マシン間のコーパスを大規模にレンダリングするプロダクションシステムについて述べる。
全てのフレームはセマンティックな仕様に遡るため、エンジンはオブジェクトの永続性、マルチアクターの調整、時間的一貫性を建設によって保証し、その出力をトレーニングデータ、評価ベンチマーク、ビデオ理解のための診断ツールとして価値のあるものにしている。
関連論文リスト
- ESG: Generating Physically Consistent Dynamic 3D Scenes from Text Descriptions [19.29011683959245]
テキストから物理的に一貫した3Dシーンを生成するための統一されたフレームワークを,Unreal Engineで直接実行可能にする。
EmphEvolutive Scene Graph (ESG) を用いて、物理的属性、空間関係、イベント駆動タイムラインをマシンチェック可能な形式で指定する。
論文 参考訳（メタデータ） (2026-09-14T11:19:25Z) - Building Pretraining Data for World Models: An Unreal Engine-Based Pipeline for Action-Conditioned Video Generation [53.851483224691634]
動作条件付きマルチビュービデオを生成するためにUnreal Engine上に構築した大規模合成データ生成パイプラインを提案する。
パイプラインは1080pビデオの2,691時間、720pビデオの6,076時間を生成する。
論文 参考訳（メタデータ） (2026-09-03T08:58:04Z) - SimWorlds: A Multi-Agent System for Dynamic 3D Scene Creation [50.175987640001644]
テキストから動的に編集可能な4Dシーンを生成するマルチエージェントフレームワークであるSimWorldsを紹介する。
また,プロシージャのダイナミックな3Dシーンの視覚的忠実度と身体的整合性を評価するベンチマークである4DBuildBenchも導入した。
論文 参考訳（メタデータ） (2026-07-02T06:29:18Z) - SceneGraphGrounder: Zero-Shot 3D Visual Grounding via Structured Scene Graph Matching [2.4737219202679808]
SceneGrapherは,再構成された3次元シーングラフ上の構造化グラフマッチングとして3次元グラウンドを再構成するフレームワークである。
我々は,移動ロボットによる実世界展開によるフレームワークの実証を行い,長距離物理環境における堅牢な空間推論を実証した。
論文 参考訳（メタデータ） (2026-05-20T22:30:51Z) - SceneCode: Executable World Programs for Editable Indoor Scenes with Articulated Objects [69.20984454755512]
室内シーンの合成は、AI、ロボット操作、シミュレーションベースのポリシー評価を具体化する。
既存のパイプラインは、生成されたコンテンツを静的メッシュとして表現し、キュレートされたアセットライブラリからのみ調音を継承する。
我々は、自然言語プロンプトを実行可能なコード駆動屋内世界にコンパイルするフレームワークであるSceneCodeを紹介する。
論文 参考訳（メタデータ） (2026-05-19T09:31:04Z) - GTASA: Ground Truth Annotations for Spatiotemporal Analysis, Evaluation and Training of Video Models [4.964902130083661]
本稿では、フレームごとの空間グラフとイベントレベルの時間マッピングを備えたマルチアクタービデオのコーパスであるGTASAを紹介する。
宇宙時間におけるイベントのグラフ (EST: GEST-Engine) に基づいて生成する。
11の時間的推論タスクで4つの凍結ビデオエンコーダを探索することで、GTASAの正確な3D基底真理が実現された。
論文 参考訳（メタデータ） (2026-04-12T00:01:51Z) - Agentic Video Generation: From Text to Executable Event Graphs via Tool-Constrained LLM Planning [4.964902130083661]
既存のマルチエージェントビデオ生成システムは、LLMエージェントを使用してニューラルビデオジェネレータをオーケストレーションする。
本稿では,このパラダイムを逆転させ,空間と時間におけるイベントの形式的なグラフを構築するエージェントシステムを提案する。
プログラム状態バックエンドは、検証済みのツールコールを通じてすべてのシミュレータの制約を強制し、生成されたすべての仕様が実行可能であることを保証します。
論文 参考訳（メタデータ） (2026-04-11T23:51:13Z) - LangDriveCTRL: Natural Language Controllable Driving Scene Editing with Multi-modal Agents [61.91651123290512]
LangDriveCTRLは、様々な交通シナリオを合成するために現実世界の運転ビデオを編集するフレームワークである。
オブジェクトノードの編集(削除、挿入、置換)と1つの自然言語命令からの複数オブジェクトの振る舞いの編集の両方をサポートする。
論文 参考訳（メタデータ） (2025-12-19T10:57:03Z) - SVAG-Bench: A Large-Scale Benchmark for Multi-Instance Spatio-temporal Video Action Grounding [48.64661382961745]
本研究では,ビデオ中のすべての参照オブジェクトを同時に検出,追跡,時間的ローカライズするモデルを必要とする新しいタスクである,SVAG(Spatio-temporal Video Action Grounding)を紹介する。
SVAG-Benchは688の動画、19,590の注釈付きレコード、903のユニークな動詞からなる大規模ベンチマークである。
実験の結果、既存のモデルではSVAG、特に密集したシーンや複雑なシーンでは性能が良くないことがわかった。
論文 参考訳（メタデータ） (2025-10-14T22:10:49Z) - Agentic 3D Scene Generation with Spatially Contextualized VLMs [67.31920821192323]
本稿では,複雑な3D環境の生成,理解,編集を可能にする新しいパラダイムを提案する。
我々は,VLMが空間コンテキストから反復的に読み取って更新するエージェント型3Dシーン生成パイプラインを開発した。
その結果,我々のフレームワークは多様かつ困難な入力を処理でき,事前の作業では観測できないような一般化のレベルを達成することができることがわかった。
論文 参考訳（メタデータ） (2025-05-26T15:28:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。