論文の概要: Hy-Nomas: Towards Free-form Interactive World Generation
- arxiv url: http://arxiv.org/abs/2610.36729v1
- Date: Tue, 27 Oct 2026 06:48:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-29 04:15:49.239957
- Title: Hy-Nomas: Towards Free-form Interactive World Generation
- Title(参考訳): Hy-Nomas: フリー形式のインタラクティブワールドジェネレーションを目指して
- Abstract要約: Hy-Nomasは8B拡散バックボーンを備えたビデオワールドモデルで、フリーフォームのテキスト命令と連続カメラ制御をサポートする。
それは、現在の入力とキャッシュされた履歴に条件付けられた可変長セグメントを生成する。
視覚言語であるPrompt Enhancerは、ユーザリクエストとマルチモーダルインタラクション履歴を次のセグメントの構造化条件に変換する。
- 参考スコア(独自算出の注目度): 58.93226301899364
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interactive world generation requires models to follow successive commands while preserving relevant history and action consequences. We present Hy-Nomas, a video world model with an 8B diffusion backbone that supports free-form text instructions and continuous camera control across multiple interaction turns. It generates variable-length segments conditioned on current inputs and cached history. Our central design aligns structured video captions with action-aware causal attention: descriptive context remains accessible across segments, while action instructions are restricted to their intended temporal windows. A vision-language Prompt Enhancer (PE) translates user requests and multimodal interaction histories into structured conditions for the next segment. A multi-stage curriculum progressively introduces causal generation, text interaction, camera control, and training on model-generated histories, followed by diffusion distillation. In human evaluation, Hy-Nomas shows superior performance over existing world models. We release model weights, code and benchmarks, together with a lightweight adaptation workflow, to support reproducible research on interactive world generation.
- Abstract(参考訳): インタラクティブな世界生成は、関連する履歴とアクション結果を保持しながら、連続したコマンドに従うモデルを必要とする。
我々は、8B拡散バックボーンを備えたビデオワールドモデルであるHy-Nomasを紹介した。
それは、現在の入力とキャッシュされた履歴に条件付けられた可変長セグメントを生成する。
我々の中心的なデザインは、構造化ビデオキャプションとアクション対応因果的注意を一致させる: 記述的コンテキストはセグメント間でアクセス可能であり、アクション命令は意図した時間的ウィンドウに制限される。
視覚言語であるPrompt Enhancer(PE)は、ユーザ要求とマルチモーダルインタラクション履歴を次のセグメントの構造化条件に変換する。
多段階のカリキュラムでは、因果生成、テキストインタラクション、カメラ制御、モデル生成履歴のトレーニング、拡散蒸留が徐々に導入されている。
人間による評価では、Hy-Nomasは既存の世界モデルよりも優れた性能を示している。
我々は、インタラクティブな世界生成に関する再現可能な研究を支援するために、軽量な適応ワークフローとともにモデルウェイト、コード、ベンチマークをリリースする。
関連論文リスト
- Code Plans, Diffusion Renders: Open-Ended Generative World Modeling [82.36042129562516]
我々は世界モデリングの新しいパラダイムである textbfCoDeR を紹介する。
本システムは,コードによる実行可能世界を明示的に構築し,映像生成モデルを用いて視覚的実現を行う。
論文 参考訳(メタデータ) (2026-09-22T14:12:15Z) - World Action Models: A Survey [100.95337034529263]
ワールドアクションモデル(World Action Models, WAM)は、将来を予測できる予測モデルである。
近年のWAMは大規模なビデオ生成モデルを再利用しており、並列線はビデオ生成コアを持たない言語や視覚言語によるバックボーンに依存している。
この調査は、フィールドに共通の説明を与えます。まず、これらの境界を明確にし、2つの補完的な視点で既存の作業を整理します。
論文 参考訳(メタデータ) (2026-06-18T17:05:19Z) - RIVER: A Real-Time Interaction Benchmark for Video LLMs [14.889554695311057]
Real-tIme Video intERaction Bench (RIVER Bench)は、オンラインビデオ理解を評価するために設計された。
RIVER Bench氏はRetrospective Memory、Live-Perception、Proactive Precipationタスクからなる新しいフレームワークを紹介した。
様々なソースや長さの動画を用いて詳細なアノテーションを行い、リアルタイムのインタラクティブなフォーマットを正確に定義した。
論文 参考訳(メタデータ) (2026-03-04T12:29:34Z) - Olaf-World: Orienting Latent Actions for Video World Modeling [100.96069208914957]
アクションコントロール可能な世界モデルのスケーリングは、アクションラベルの不足によって制限される。
大規模受動的ビデオから行動条件付きビデオワールドモデルを事前訓練するパイプラインであるOraf-Worldを紹介する。
論文 参考訳(メタデータ) (2026-02-10T18:58:41Z) - Astra: General Interactive World Model with Autoregressive Denoising [73.6594791733982]
Astraはインタラクティブな汎用世界モデルであり、多様なシナリオのために現実世界の未来を生成する。
本稿では,自己回帰型認知型アーキテクチャを提案し,時間的因果的注意を用いて過去の観測を集約する。
Astraはインタラクティブで一貫性があり、一般的な長期的なビデオ予測を実現し、様々な形式のインタラクションをサポートする。
論文 参考訳(メタデータ) (2025-12-09T18:59:57Z) - Hunyuan-GameCraft-2: Instruction-following Interactive Game World Model [19.937724706042804]
Hunyuan-GameCraft-2は生成ゲームワールドモデリングのための命令駆動インタラクションの新しいパラダイムである。
我々のモデルでは,自然言語のプロンプトやキーボード,マウスの信号を通じてゲーム映像のコンテンツを制御することができる。
本モデルでは,時間的コヒーレントかつ因果的な対話型ゲームビデオを生成する。
論文 参考訳(メタデータ) (2025-11-28T18:26:39Z) - SALAD: Skeleton-aware Latent Diffusion for Text-driven Motion Generation and Editing [5.123822132804602]
関節, フレーム, 単語間の複雑な相互関係を捉えるスケルトン対応潜伏拡散(SALAD)モデルを提案する。
生成プロセス中に生成したクロスアテンションマップを利用することで、アテンションベースのゼロショットテキスト駆動モーション編集を可能にする。
提案手法は, 生成品質を損なうことなく, テキスト・モーションアライメントにおいて, 従来手法よりも大幅に優れていた。
論文 参考訳(メタデータ) (2025-03-18T02:20:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。