Fugu-MT 論文翻訳(概要): Closing the Loop: Unified 3D Scene Generation and Immersive Interaction via LLM-RL Coupling

論文の概要: Closing the Loop: Unified 3D Scene Generation and Immersive Interaction via LLM-RL Coupling

arxiv url: http://arxiv.org/abs/2605.05711v1
Date: Thu, 07 May 2026 05:55:50 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-08 22:27:11.547164
Title: Closing the Loop: Unified 3D Scene Generation and Immersive Interaction via LLM-RL Coupling
Title（参考訳）: ループの閉鎖:LLM-RL結合による統一3次元シーン生成と没入的相互作用
Abstract要約: 本稿では,言語駆動型3Dシーン生成と没入型ユーザインタラクションのループを閉じる統一フレームワークを提案する。生成とインタラクションを緊密に結合することにより、提案フレームワークはより応答性が高く、適応性があり、リアルなマルチメディア体験を可能にする。
参考スコア（独自算出の注目度）: 1.2722697496405462
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent advances in large language models (LLMs) have significantly improved language-driven 3D content generation, but most existing approaches still treat scene generation and user interaction as separate processes, limiting the adaptability and immersive potential of interactive multimedia systems. This paper presents a unified framework that closes the loop between language-driven 3D scene generation and immersive user interaction. Given natural language instructions, the system first constructs structured scene representations using LLMs, and then optimizes spatial layouts via reinforcement learning under geometric and semantic constraints. The generated environments are deployed in a virtual reality setting to facilitate HRI-in-the-loop, where user interactions provide continuous feedback to align generated content with human perception and usability. By tightly coupling generation and interaction, the proposed framework enables more responsive, adaptive, and realistic multimedia experiences. Experiments on the ALFRED benchmark demonstrate state-of-the-art performance in task-based scene generation. Furthermore, qualitative results and user studies show consistent improvements in immersion, interaction quality, and task efficiency, highlighting the importance of closed-loop integration of generation and interaction for next-generation multimedia systems. Our project page can be found at https://proj-showcase.github.io/h3ds/.
Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は言語駆動型3Dコンテンツ生成を大幅に改善しているが、既存のアプローチの多くはシーン生成とユーザインタラクションを別々のプロセスとして扱い、インタラクティブなマルチメディアシステムの適応性と没入可能性を制限する。本稿では,言語駆動型3Dシーン生成と没入型ユーザインタラクションのループを閉じる統一フレームワークを提案する。自然言語命令を与えられたシステムは、まずLLMを用いて構造化されたシーン表現を構築し、次に幾何学的制約と意味論的制約の下で強化学習を通じて空間レイアウトを最適化する。生成された環境は、HRI-in-the-loopを促進するために仮想現実環境にデプロイされ、ユーザインタラクションは、生成されたコンテンツを人間の知覚とユーザビリティに合わせるために、継続的なフィードバックを提供する。生成とインタラクションを緊密に結合することにより、提案フレームワークはより応答性が高く、適応性があり、リアルなマルチメディア体験を可能にする。 ALFREDベンチマークの実験では、タスクベースのシーン生成における最先端のパフォーマンスが示されている。さらに、定性的な結果とユーザスタディにより、次世代マルチメディアシステムにおける生成とインタラクションのクローズドループ統合の重要性が強調され、浸漬、相互作用品質、タスク効率が一貫した改善が見られた。私たちのプロジェクトページはhttps://proj-showcase.github.io/h3ds/。

関連論文リスト

SceneFoundry: Generating Interactive Infinite 3D Worlds [22.60801815197924]
SceneFoundryは、機能的な家具を備えたアパートスケールの3Dワールドを生成する言語誘導拡散フレームワークである。本フレームワークは,多様なシーンタイプや環境にまたがって,構造的に妥当でセマンティック・コヒーレントで,機能的にインタラクティブな環境を生成する。
論文参考訳（メタデータ） (2026-01-09T14:33:10Z)
RoomPilot: Controllable Synthesis of Interactive Indoor Environments via Multimodal Semantic Parsing [8.822704029209593]
RoomPilotは、さまざまなマルチモーダル入力(テキスト記述やCADのフロアプラン)を解析する統合フレームワークで、屋内構成シーン生成のための屋内ドメイン特化言語(I)に組み込まれている。視覚的に可視だが機能的に不活性なレイアウトを生成する従来の手続き的手法とは対照的に、RoomPilotは対話アセットのデータセットを活用して、現実的なオブジェクトの振る舞いを示す環境を合成する。
論文参考訳（メタデータ） (2025-12-12T02:33:09Z)
REACT3D: Recovering Articulations for Interactive Physical 3D Scenes [96.27769519526426]
REACT3Dは静的な3Dシーンを一貫した幾何学を持つシミュレーション可能なインタラクティブなレプリカに変換するフレームワークである。室内の様々な場面における検出・分離・調音計測における最先端性能について検討した。
論文参考訳（メタデータ） (2025-10-13T12:37:59Z)
Yan: Foundational Interactive Video Generation [25.398980906541524]
Yanはインタラクティブなビデオ生成の基盤となるフレームワークで、シミュレーションや生成から編集まで、パイプライン全体をカバーしている。高圧縮低遅延3D-VAE と KV-cache-based shift-window denoising inference を併用して設計する。本稿では,インタラクティブなメカニクスシミュレーションを視覚的レンダリングから明確に切り離すハイブリッドモデルを提案する。
論文参考訳（メタデータ） (2025-08-12T03:34:21Z)
Agentic 3D Scene Generation with Spatially Contextualized VLMs [67.31920821192323]
本稿では,複雑な3D環境の生成,理解,編集を可能にする新しいパラダイムを提案する。我々は,VLMが空間コンテキストから反復的に読み取って更新するエージェント型3Dシーン生成パイプラインを開発した。その結果,我々のフレームワークは多様かつ困難な入力を処理でき,事前の作業では観測できないような一般化のレベルを達成することができることがわかった。
論文参考訳（メタデータ） (2025-05-26T15:28:17Z)
HiScene: Creating Hierarchical 3D Scenes with Isometric View Generation [50.206100327643284]
HiSceneは、2D画像生成と3Dオブジェクト生成のギャップを埋める新しい階層的なフレームワークである。構成構造を維持しながら2次元表現に整合した3次元コンテンツを生成する。
論文参考訳（メタデータ） (2025-04-17T16:33:39Z)
Hierarchical Banzhaf Interaction for General Video-Language Representation Learning [60.44337740854767]
マルチモーダル表現学習は人工知能領域において重要な役割を担っている。本稿では,多変量協調ゲーム理論を用いて,ビデオテキストをゲームプレイヤーとしてモデル化する手法を提案する。元の構造をフレキシブルなエンコーダ・デコーダ・フレームワークに拡張し、モデルが様々な下流タスクに適応できるようにする。
論文参考訳（メタデータ） (2024-12-30T14:09:15Z)
OccScene: Semantic Occupancy-based Cross-task Mutual Learning for 3D Scene Generation [64.77193457268886]
OccSceneは、きめ細かい3D認識と高品質な生成を統一されたフレームワークに統合する。 OccSceneはテキストプロンプトによってのみ、新しい一貫性のある3Dリアルシーンを生成する。実験により,OccSceneは屋内および屋外の広いシナリオにおいて,リアルな3Dシーン生成を実現することが示された。
論文参考訳（メタデータ） (2024-12-15T13:26:51Z)
Towards Language-guided Interactive 3D Generation: LLMs as Layout Interpreter with Generative Feedback [20.151147653552155]
大きな言語モデル(LLM)は、印象的な推論、会話、ゼロショット生成能力を示している。本稿では,LLMを3次元レイアウトインタプリタとして統合した言語誘導型対話型3D生成システムLI3Dを提案する。また,大規模言語と視覚アシスタントのLLaVAを導入し,視覚的側面から生成的なフィードバックを提供することにより,生成したコンテンツの視覚的品質を向上させる。
論文参考訳（メタデータ） (2023-05-25T07:43:39Z)
iGibson, a Simulation Environment for Interactive Tasks in Large Realistic Scenes [54.04456391489063]
iGibsonは、大規模な現実的なシーンにおける対話的なタスクのためのロボットソリューションを開発するための、新しいシミュレーション環境である。私たちの環境には、厳密で明瞭な物体が密集した15のインタラクティブなホームサイズシーンが含まれています。 iGibsonの機能はナビゲーションエージェントの一般化を可能にし、人間-iGibsonインターフェースと統合されたモーションプランナーは、単純な人間の実演行動の効率的な模倣学習を促進する。
論文参考訳（メタデータ） (2020-12-05T02:14:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。