論文の概要: DeSeG: Decoupling Semantic Intent and Geometric Constraints for Physically Plausible Human-Scene Interaction
- arxiv url: http://arxiv.org/abs/2607.05787v1
- Date: Tue, 07 Jul 2026 03:21:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.379637
- Title: DeSeG: Decoupling Semantic Intent and Geometric Constraints for Physically Plausible Human-Scene Interaction
- Title(参考訳): セマンティックインテントと幾何学的制約を分離したDeSeG : 物理的に可塑性なヒューマン・シーンインタラクション
- Abstract要約: 本稿では,意味的意図を幾何学的制約から明確に分離する階層型フレームワークであるDeSeGを提案する。
DeSeGは最先端のパフォーマンスを実現し、平均シーン浸透率を47%削減し、SOTAベースラインに対するセマンティックアライメントを29%改善した。
- 参考スコア(独自算出の注目度): 50.06148080975928
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Synthesizing physically plausible human-scene interactions (HSI) remains a critical challenge in computer vision and the development of human avatars. Although recent generative models enable diverse motion synthesis, they suffer from an inductive bias referred to as semantic-geometric entanglement. Because spatial constraints often strongly correlate with specific actions in training data, monolithic models will learn the shortcut bias, aggressively overriding the semantic intent when faced with strict geometric cues. Furthermore, this entanglement exacerbates physical hallucinations, such as body-scene penetrations. To address these limitations, we propose DeSeG, a hierarchical framework that explicitly decouples semantic intent from geometric constraints. First, we introduce a Residual Semantic Planner that encodes textual instructions and canonicalized goal voxels into a compact latent space, enabling fine-grained semantic control independent of spatial trajectories. Second, we propose a physics regularized diffusion executor that incorporates differentiable repulsive potential fields directly into the diffusion objective, enforcing collision-aware motion generation. Extensive experiments on the Lingo dataset demonstrate that DeSeG achieves state-of-the-art performance, reducing mean scene penetration by 47% and improving semantic alignment by 29% over the SOTA baselines.
- Abstract(参考訳): 物理的に可塑性なヒューマン・シーン・インタラクション(HSI)を合成することは、コンピュータビジョンと人間のアバターの開発において重要な課題である。
最近の生成モデルは多様な動き合成を可能にするが、それらは意味幾何学的絡み合いと呼ばれる誘導バイアスに悩まされる。
空間的制約はトレーニングデータの特定の動作と強く相関するため、モノリシックモデルはショートカットバイアスを学習し、厳密な幾何学的手がかりに直面した場合、意味的意図を積極的にオーバーライドする。
さらに、この絡み合いは体外浸透などの身体幻覚を悪化させる。
これらの制約に対処するため、幾何学的制約から意味的意図を明示的に分離する階層的フレームワークであるDeSeGを提案する。
まず、テキスト命令と正規化されたゴールボクセルをコンパクトな潜在空間に符号化し、空間軌跡に依存しない微粒な意味制御を可能にするResidual Semantic Plannerを提案する。
第二に、微分可能反発ポテンシャル場を直接拡散対象に組み込む物理正規化拡散実行器を提案し、衝突認識運動生成を強制する。
Lingoデータセットの大規模な実験は、DeSeGが最先端のパフォーマンスを実現し、平均的なシーンの浸透を47%削減し、SOTAベースラインに対するセマンティックアライメントを29%改善していることを示している。
関連論文リスト
- RelAfford6D: Relational 6D Affordance Graphs for Constraint-Driven Robotic Manipulation [15.618446008590409]
RelAfford6は複雑な調音オブジェクトのためのトレーニング不要のフレームワークである。
本システムでは,一次相互作用部分を物理的アンカーにリンクする意味的トポロジを推定する。
我々は満足度問題として下流実行を解析的に定式化する。
論文 参考訳(メタデータ) (2026-06-25T13:42:26Z) - PhyScene3D: Physically Consistent Interactive 3D Tabletop Scene Generation [75.9028457575434]
3Dテーブルトップシーンの生成は、インタラクティブでジェネラリスト的なロボット学習の基本的な問題である。
本稿では,PhyScene3Dについて紹介する。
実験により、PhyScene3Dは意味的精度と物理的妥当性の両方において最先端のアプローチより優れていることが示された。
論文 参考訳(メタデータ) (2026-06-01T03:56:32Z) - OmniGF: A Dual-Branch Vision-Language Framework for Unified Gaze Following [59.53720386342017]
拡張性のある多対人視線推論に基礎的な視覚言語モデルを適用する統合視覚言語フレームワークを提案する。
すべての個人をモデル化することにより、OmniGFは正確な空間的視線目標推定、意味的視線予測、複雑な社会的視線推定をシームレスに統合する。
論文 参考訳(メタデータ) (2026-05-26T00:08:06Z) - Direct Dynamic Retargeting for Humanoid Imitation Learning from Videos [6.238518905285812]
単眼ビデオデモからの模倣学習は、ヒューマノイドロボットに複雑なスキルを教えるためのスケーラブルなアプローチを提供する。
本稿では,エキスパートビデオから直接高忠実で動的に実現可能な軌道を生成する新しい単一ステージフレームワークであるDirect Dynamic Retargeting (DDR)を提案する。
我々の実験は、幾何学的バイアスをバイパスすることで、DDRはデモ追跡精度において最先端のベースラインを上回ることを実証した。
論文 参考訳(メタデータ) (2026-05-22T15:33:40Z) - MaMi-HOI: Harmonizing Global Kinematics and Local Geometry for Human-Object Interaction Generation [14.056276184323321]
MaMi-HOIはtextbfMacro レベルの流動性をtextbf Micro レベルの空間精度で再現する。
実験により、MaMi-HOIは自然運動と正確な接触を同時に達成できることが確認された。
論文 参考訳(メタデータ) (2026-05-07T06:52:14Z) - AffordGrasp: Cross-Modal Diffusion for Affordance-Aware Grasp Synthesis [50.793806818677716]
AffordGraspは、物理的に安定し、セマンティックに忠実な人間の握りを高精度に生成する。
AffordGraspは、手ポーズの空きを意識した潜在表現を二重条件拡散プロセスに統合する。
AffordGraspはHO-3D, OakInk, GRAB, AffordPoseの4つの命令強化ベンチマークで評価した。
論文 参考訳(メタデータ) (2026-03-09T06:56:35Z) - Reconstructing Close Human Interaction with Appearance and Proxemics Reasoning [50.76723760768117]
既存の人間のポーズ推定手法では、既存の映像からもっともらしい密接な相互作用を回復できない。
人間の外見は、これらの障害に対処するための簡単な手がかりとなる。
本研究では,人間の外見,社会的プロキシ,物理法則に制約された身体接触により,正確な対話動作を再構築するための2分岐最適化フレームワークを提案する。
論文 参考訳(メタデータ) (2025-07-03T12:19:26Z) - HOSIG: Full-Body Human-Object-Scene Interaction Generation with Hierarchical Scene Perception [57.37135310143126]
HO SIGは階層的なシーン認識を通じて全体インタラクションを合成するための新しいフレームワークである。
我々のフレームワークは、自己回帰生成による運動長の無制限化をサポートし、手動による介入を最小限に抑える。
この研究は、シーン認識ナビゲーションとデクスタラスオブジェクト操作の間に重要なギャップを埋める。
論文 参考訳(メタデータ) (2025-06-02T12:08:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。