論文の概要: Beyond Placement and Articulation: Usage-Driven Code Scenes for Embodied Interaction
- arxiv url: http://arxiv.org/abs/2608.18840v1
- Date: Wed, 19 Aug 2026 12:00:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.396825
- Title: Beyond Placement and Articulation: Usage-Driven Code Scenes for Embodied Interaction
- Title（参考訳）: 配置とアーティキュレーションを超えて - 身体的インタラクションのためのユースケース駆動のコードシーン
- Abstract要約: 具体的インタラクションのためのコードとして表現された3Dシーンを生成するためのエージェント駆動型フレームワークであるRoomWrightを提案する。
RoomWrightは利用駆動のオブジェクト推論を実行し、各アンカーをタスクセンタとして扱い、タスク要求のオブジェクトとその余裕を認めます。
生成されたシーンは実行可能で、編集可能で、シミュレーション可能な、AIとポリシー学習のためのインタラクティブな環境を提供する。
- 参考スコア（独自算出の注目度）: 29.693557719848187
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Indoor scene synthesis provides essential environments for embodied AI, robotic manipulation, and simulation-based policy learning. Recent code-based scene generation methods produce editable and extensible environments, yet they remain focused on visual construction and object-level articulation, leaving the functional usage of scenes largely unmodeled. To address this problem, we present RoomWright, an agentic usage-driven framework for generating 3D scenes represented entirely as code for embodied interaction. RoomWright performs usage-driven object reasoning, which treats each anchor as a task centre and admits task-required objects and their affordances. A code agent further enables multi-part interaction by compiling each interaction into a trigger, condition, effect rule that updates structured object states, capturing causal dependencies across objects. Moreover, since manipuland orientation is ambiguous and hard to recover from pixels, RoomWright alleviates this via annotation-informed usage-guided orientation. Extensive experiments demonstrate the effectiveness of our method. The resulting scenes are executable, editable, and simulation-ready, providing interactive environments for embodied AI and policy learning.
- Abstract（参考訳）: 室内シーン合成は、組み込みAI、ロボット操作、シミュレーションベースのポリシー学習に不可欠な環境を提供する。
近年のコードベースのシーン生成手法は、編集可能で拡張可能な環境を生成するが、視覚的な構成やオブジェクトレベルの調音に重点を置いており、シーンの機能的使用はほとんどモデル化されていない。
この問題に対処するために、我々はRoomWrightというエージェント駆動の3Dシーンを生成するフレームワークを紹介した。
RoomWrightはユースケース駆動のオブジェクト推論を実行し、各アンカーをタスクセンタとして扱い、タスク要求のオブジェクトとその余裕を認めます。
コードエージェントはさらに、各インタラクションをトリガー、条件、エフェクトルールにコンパイルすることで、構造化されたオブジェクト状態を更新し、オブジェクト間の因果依存性をキャプチャすることで、複数部分のインタラクションを可能にする。
さらに、マニプランドの向きは曖昧であり、ピクセルから回復するのは難しいため、RoomWrightはアノテーションでインフォームドされた使い方誘導の向きによってこれを緩和する。
大規模な実験により,本手法の有効性が示された。
生成されたシーンは実行可能で、編集可能で、シミュレーション可能な、AIとポリシー学習のためのインタラクティブな環境を提供する。
関連論文リスト
- SAGE: Scalable Agentic 3D Scene Generation for Embodied AI [67.43935343696982]
既存のシーン生成システムは、しばしばルールベースまたはタスク固有のパイプラインに依存し、アーティファクトと物理的に無効なシーンを生成する。
本稿では,ユーザが特定した具体的タスクを与えられたエージェントフレームワークであるSAGEについて,その意図を理解し,大規模にシミュレーション可能な環境を自動的に生成する。
得られた環境は現実的で多様性があり、政策訓練のための現代的なシミュレーターに直接デプロイできる。
論文 参考訳（メタデータ） (2026-02-10T18:59:55Z) - SceneWeaver: All-in-One 3D Scene Synthesis with an Extensible and Self-Reflective Agent [28.12183839499528]
SceneWeaverは、ツールベースの反復改善を通じて多様なシーン合成パラダイムを統合するフレームワークである。
セマンティックな矛盾を特定し、ターゲットとするツールを呼び出し、連続したイテレーションで環境を更新できる。
多様な指示で複雑なシーンを効果的に一般化し、汎用的な3D環境生成への一歩を踏み出した。
論文 参考訳（メタデータ） (2025-09-24T09:06:41Z) - HOSIG: Full-Body Human-Object-Scene Interaction Generation with Hierarchical Scene Perception [57.37135310143126]
HO SIGは階層的なシーン認識を通じて全体インタラクションを合成するための新しいフレームワークである。
我々のフレームワークは、自己回帰生成による運動長の無制限化をサポートし、手動による介入を最小限に抑える。
この研究は、シーン認識ナビゲーションとデクスタラスオブジェクト操作の間に重要なギャップを埋める。
論文 参考訳（メタデータ） (2025-06-02T12:08:08Z) - HiScene: Creating Hierarchical 3D Scenes with Isometric View Generation [50.206100327643284]
HiSceneは、2D画像生成と3Dオブジェクト生成のギャップを埋める新しい階層的なフレームワークである。
構成構造を維持しながら2次元表現に整合した3次元コンテンツを生成する。
論文 参考訳（メタデータ） (2025-04-17T16:33:39Z) - IAAO: Interactive Affordance Learning for Articulated Objects in 3D Environments [56.85804719947]
IAAOは知的エージェントのための明示的な3Dモデルを構築するフレームワークで,対話を通して環境内の明瞭な物体の理解を得る。
マスク特徴とビュー一貫性ラベルを多視点画像から抽出し,まず3次元ガウススティング(3DGS)を用いて各オブジェクト状態の階層的特徴とラベルフィールドを構築する。
次に、3Dガウスプリミティブ上でオブジェクトと部分レベルのクエリを実行し、静的および明瞭な要素を識別し、大域的な変換と局所的な調音パラメータをアベイランスとともに推定する。
論文 参考訳（メタデータ） (2025-04-09T12:36:48Z) - Flex: End-to-End Text-Instructed Visual Navigation from Foundation Model Features [59.892436892964376]
本稿では,視覚に基づく制御ポリシを用いて,ロバストな閉ループ性能を実現するために必要な最小限のデータ要件とアーキテクチャ適応について検討する。
この知見はFlex (Fly lexically) で合成され, 凍結パッチワイド特徴抽出器として, 事前学習された視覚言語モデル (VLM) を用いたフレームワークである。
本研究では,本手法の有効性を,行動クローンによる訓練を実世界のシーンに応用した,四重項フライ・トゥ・ターゲットタスクに適用した。
論文 参考訳（メタデータ） (2024-10-16T19:59:31Z) - Controllable Human-Object Interaction Synthesis [77.56877961681462]
本研究では,3次元シーンにおける同期物体の動きと人間の動きを生成するための制御可能な人間-物体相互作用合成(CHOIS)を提案する。
ここでは,高レベルな計画から効果的に抽出できるスタイルや意図を言語記述が通知し,シーン内の動きをグラウンド化する。
我々のモジュールは経路計画モジュールとシームレスに統合され、3D環境における長期的相互作用の生成を可能にします。
論文 参考訳（メタデータ） (2023-12-06T21:14:20Z) - Learning Extrinsic Dexterity with Parameterized Manipulation Primitives [8.7221770019454]
我々は、オブジェクトのポーズを変えるために環境を利用する一連のアクションを学習する。
我々のアプローチは、オブジェクトとグリップと環境の間の相互作用を利用してオブジェクトの状態を制御することができる。
拘束されたテーブルトップワークスペースから様々な重量,形状,摩擦特性の箱状物体を選別する手法の評価を行った。
論文 参考訳（メタデータ） (2023-10-26T21:28:23Z) - Learning Environment-Aware Affordance for 3D Articulated Object Manipulation under Occlusions [23.913350548394405]
本稿では,オブジェクトレベルの動作可能な事前条件と環境制約の両方を組み込んだ環境対応アベイランスフレームワークを提案する。
本稿では,1つのオクルーダーを含むシーンを学習し,複雑なオクルーダーの組み合わせでシーンに一般化できる新しいコントラスト学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-09-14T08:24:32Z) - Object-agnostic Affordance Categorization via Unsupervised Learning of
Graph Embeddings [6.371828910727037]
オブジェクトのインタラクションやアベイランスに関する知識を取得することで、シーン理解や人間とロボットのコラボレーション作業が容易になる。
オープンな相互作用の集合を持つクラス非依存オブジェクトに対する割当分類の問題に対処する。
アクティビティグラフの構築のために,新しい深度情報を用いた定性的空間表現を提案する。
論文 参考訳（メタデータ） (2023-03-30T15:04:04Z) - SceneGen: Generative Contextual Scene Augmentation using Scene Graph
Priors [3.1969855247377827]
SceneGenは、既存のシーン内の仮想オブジェクトの位置と方向を予測する、生成的コンテキスト拡張フレームワークである。
SceneGenはセグメンテーションされたシーンを入力として、仮想コンテンツを置くための位置と向きの確率マップを出力する。
オブジェクト, オブジェクト群, 部屋間の明確な位相特性をカプセル化した空間的シーングラフ表現を定式化する。
そこで本研究では,オブジェクトをリアルタイムに拡張可能な拡張現実アプリケーションを開発した。
論文 参考訳（メタデータ） (2020-09-25T18:36:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。