論文の概要: World2HOSI: A Multi-Expert Harness for Long-Horizon Human-Object-Scene Interaction Generation
- arxiv url: http://arxiv.org/abs/2610.27725v1
- Date: Tue, 20 Oct 2026 06:43:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.676945
- Title: World2HOSI: A Multi-Expert Harness for Long-Horizon Human-Object-Scene Interaction Generation
- Title(参考訳): World2HOSI: 長距離人間-物体-シーンインタラクション生成のためのマルチエキスパートハーネス
- Abstract要約: ロングホライズン・ヒューマン・オブジェクト・シーン・インタラクション(HOSI)は、AI、アニメーション、ゲーム開発の中心である。
連続的なHOSIデータを生成するマルチエキスパートオーケストレーションハーネスであるWorld2HOSIを紹介する。
World2HOSIは、この洞察を、分離された背景とオブジェクト資産から構築された永続的なシーンステートの周りに閉じたループとして認識している。
- 参考スコア(独自算出の注目度): 45.04644060953234
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long-horizon human-object-scene interaction (HOSI) is central to embodied AI, animation, and game development. Existing human-object interaction (HOI) and human-scene interaction (HSI) models excel in their respective domains, but none alone covers tasks requiring multiple interaction skills. Training unified HOSI models is hindered by scarce and costly data. We introduce World2HOSI, a multi-expert orchestration harness that generates continuous HOSI data from 3D Gaussian Splatting (3DGS) scenes and natural language instructions. Our key insight is that long-horizon HOSI hinges not on a stronger single model but on orchestration. Given a shared, structured scene state and an orchestration harness grounded in it, existing experts can jointly accomplish tasks beyond the reach of any of them alone. World2HOSI realizes this insight as a closed loop around a persistent scene state built from decoupled background and object assets. A harness plans action stages over this state, invokes experts via their native conditioning interfaces, and writes each action's effects back, so that every invocation is grounded in the evolving world. To reduce physical artifacts, bounded residual optimization and contact-driven physics simulation further ensure the physical plausibility of human motion and object manipulation, respectively, while preserving interaction intent. Experiments and a perceptual user study show that World2HOSI achieves the best task completion and interaction quality on the evaluated HOSI tasks, while generating more diverse data.
- Abstract(参考訳): ロングホライズン・ヒューマン・オブジェクト・シーン・インタラクション(HOSI)は、AI、アニメーション、ゲーム開発の中心である。
既存のヒューマン・オブジェクト・インタラクション(HOI)とヒューマン・シーン・インタラクション(HSI)モデルはそれぞれのドメインで優れています。
統合されたHOSIモデルのトレーニングは、不十分でコストのかかるデータによって妨げられる。
本稿では,3Dガウススプラッティング(3DGS)シーンと自然言語命令から連続的なHOSIデータを生成するマルチエキスパートオーケストレーションハーネスWorld2HOSIを紹介する。
私たちの重要な洞察は、長期のHOSIヒンジはより強力な単一モデルではなく、オーケストレーションにあります。
共有された構造化されたシーン状態と、それに基づくオーケストレーションハーネスを前提として、既存の専門家は、いずれかの領域に留まらず、共同でタスクを達成できる。
World2HOSIは、この洞察を、分離された背景とオブジェクト資産から構築された永続的なシーンステートの周りに閉じたループとして認識している。
ハーネスは、この状態上でアクションステージを計画し、専門家を彼らのネイティブな条件付けインターフェース経由で呼び出し、各アクションの効果を書き戻して、すべての呼び出しが進化する世界に根ざすようにします。
物理的アーティファクトを低減するために、リバウンド残差最適化と接触駆動物理シミュレーションにより、相互作用意図を保ちながら、人間の動作と物体操作の物理的可視性をさらに確保する。
実験と知覚的ユーザスタディにより、World2HOSIは、より多様なデータを生成しながら、評価されたHOSIタスク上で最高のタスク完了とインタラクション品質を達成することが示された。
関連論文リスト
- MAMHOI: Factorizing Scene-Aware Human-Object Interaction through Affordances [20.80395902007842]
MAMHOIは、シーン理解とモーション合成の間の明示的なモーションアダクタンスインターフェースを通じて、シーン認識HOI生成を分解する。
我々は,MAMHOIが人間と物体の相互作用の質を保ちながら,物体の浸透を低減し,より現実的で物理的に実現可能なシーン認識の相互作用をもたらすことを示す。
論文 参考訳(メタデータ) (2026-10-08T17:52:02Z) - HiPHI: A Large-Scale Benchmark for High-Precision Human Motion and Object-Interaction [48.4618478154232]
HiPHIは600時間以上の高忠実度人体モーションデータセットである。
フルボディの人間の動きとメッシュレベルの物体軌跡に対して、サブミリメートルの空間マーカー追跡精度を提供する。
本稿では,動作空間の多様性,インタラクショングラウンド,オブジェクトの一貫性,物理AIアプリケーションを評価するベンチマークスイートを紹介する。
論文 参考訳(メタデータ) (2026-08-17T07:54:26Z) - Human-Object Interaction via Automatically Designed VLM-Guided Motion Policy [30.43930233035367]
VLM(Vision-Language Models)を利用した最初の統合物理ベースのHOフレームワークを紹介する。
VLM-Guided Relative Movement Dynamics (RMD)を導入する。これは、強化学習のための目標状態と報酬関数を自動的に構築する、微細な時間的二部運動表現である。
提案手法をサポートするために,何千もの長期の静的および動的相互作用計画を持つ新しいデータセットであるInterplayを提案する。
論文 参考訳(メタデータ) (2025-03-24T05:18:04Z) - Scaling Up Dynamic Human-Scene Interaction Modeling [58.032368564071895]
TRUMANSは、現在利用可能な最も包括的なモーションキャプチャーHSIデータセットである。
人体全体の動きや部分レベルの物体の動きを複雑に捉えます。
本研究では,任意の長さのHSI配列を効率的に生成する拡散型自己回帰モデルを提案する。
論文 参考訳(メタデータ) (2024-03-13T15:45:04Z) - Revisit Human-Scene Interaction via Space Occupancy [55.67657438543008]
HSI(Human-Scene Interaction)の生成は、さまざまな下流タスクに不可欠な課題である。
本研究では,シーンとのインタラクションが,抽象的な物理的視点からシーンの空間占有と本質的に相互作用していることを論じる。
純粋な動きシーケンスを、見えないシーン占有と相互作用する人間の記録として扱うことで、動きのみのデータを大規模にペア化された人間-占有相互作用データベースに集約することができる。
論文 参考訳(メタデータ) (2023-12-05T12:03:00Z) - Full-Body Articulated Human-Object Interaction [61.01135739641217]
CHAIRSは16.2時間の多目的相互作用からなる大規模な動きキャプチャーされたf-AHOIデータセットである。
CHAIRSは、対話的なプロセス全体を通して、人間と明瞭なオブジェクトの両方の3Dメッシュを提供する。
HOIにおける幾何学的関係を学習することにより,人間のポーズ推定を利用した最初のモデルが考案された。
論文 参考訳(メタデータ) (2022-12-20T19:50:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。