論文の概要: HORIA: 4D Human and Object Reconstruction from a Monocular Video with Interaction-Aware Re-Rendering

• arxiv url: http://arxiv.org/abs/2610.25960v1
• Date: Mon, 19 Oct 2026 07:52:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.041216
• Title: HORIA: 4D Human and Object Reconstruction from a Monocular Video with Interaction-Aware Re-Rendering
• Title（参考訳）: HORIA:インタラクションを意識したリレンダリングによるモノクロ映像からの4次元人間と物体の再構成
• Abstract要約: モノクロ映像からの人間と物体の関節4D再構成は、人々が環境とどのように相互作用するかを理解するのに不可欠である。 まず、入力ビデオ全体を時間的基盤と意味的に異なる相互作用フェーズに分解し、動き認識キャプションを付加する。 第2に、これらの相互作用のテキスト記述を条件に、限定的な単一視点観察を補う対話認識再レンダリングを提案する。
• 参考スコア（独自算出の注目度）: 51.7467503905232
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Joint 4D reconstruction of a human and object from a monocular video is essential for understanding how people interact with their environment. While recent methods have made noticeable progress, capturing such human-object interactions remains difficult due to two main challenges. First, a video typically contains composite semantic context spanning multiple interaction phases, making it difficult to track the temporal changes of the interaction in the reconstruction. Second, under human-object occlusion, a single-view observation contains incomplete visual information about the interaction, resulting in geometrically inconsistent reconstructions. To address these challenges, we introduce HORIA, built upon two core designs. First, we decompose the entire input video into temporally grounded and semantically distinct interaction phases with motion-aware captioning, obtaining a specific text description for each phase. Second, conditioned on these text descriptions of the interaction, we propose an interaction-aware re-rendering that compensates for the limited single-view observation. Specifically, we render the initially reconstructed 4D human and object from novel viewpoints and refine the renderings with a text-to-video diffusion prior, which provides auxiliary novel-view supervision beyond single-view cues. As a result, our framework produces temporally coherent and accurate 4D reconstructions under diverse interaction scenarios, achieving state-of-the-art performance.
• Abstract（参考訳）: モノクロ映像からの人間と物体の関節4D再構成は、人々が環境とどのように相互作用するかを理解するのに不可欠である。 近年の手法は顕著な進歩を遂げているが、2つの大きな課題があるため、このような人間と物体の相互作用を捉えることは依然として困難である。 まず、ビデオは通常、複数の相互作用フェーズにまたがる複合意味コンテキストを含んでおり、再構成における相互作用の時間的変化を追跡するのが困難である。 第二に、人物体の閉塞下では、単視点観察は相互作用に関する不完全な視覚情報を含み、幾何学的に矛盾した再構成をもたらす。 これらの課題に対処するために、2つのコア設計に基づいて構築されたHORIAを紹介します。 まず、入力ビデオ全体を時間的基盤と意味的に異なる相互作用フェーズに分解し、各フェーズの特定のテキスト記述を得る。 第2に、これらの相互作用のテキスト記述を条件に、限定的な単一視点観察を補う対話認識再レンダリングを提案する。 具体的には、初期再構成された4D人間とオブジェクトを新しい視点からレンダリングし、テキストからビデオへの拡散によりレンダリングを洗練し、単一視点以上の新規視点を補助的に監視する。 その結果,多種多様な相互作用シナリオ下での時間的コヒーレントかつ高精度な4次元再構成が実現され,最先端の性能が達成された。

関連論文リスト

• UnfoldArt: Zero-Shot Recovery of Full Articulated 3D Objects from Text or Image [58.40343808003224]
  本稿では,テキストや画像からの3Dオブジェクトの再構成について,議論を巻き起こしたアプローチを提案する。 高レベルのエージェントは、視覚言語やビデオモデルからの知識を用いて、オブジェクトの意味論と動きを推論する。 低レベルエージェントは調音パラメータと相互作用点を推定する。 同じビデオは、合意された調律に条件付けされ、各部分をその動きを通して駆動し、隠された内部と幾何学を露呈する。
  論文  参考訳（メタデータ） (2026-06-29T17:44:53Z)
• CHOIR: Contact-aware 4D Hand-Object Interaction Reconstruction [73.97421249653412]
  単眼カメラ用コンタクト対応HOI再構成フレームワークであるCHOIRについて述べる。 ChoIRは、まず、オープンワールドの視覚的先行から、粗い接触に依存しない4D HOI配列を初期化する。 次に、生成したHOI空間補正モジュールを導入し、光深度補正を予測し、手動相対配置を補正する。 最後に、動的に更新された接触制約を伴う接触認識関節最適化は、幾何学的、時間的、接触整合性を強制する。
  論文  参考訳（メタデータ） (2026-05-20T10:31:10Z)
• Towards Spatio-Temporal World Scene Graph Generation from Monocular Videos [17.190262848866396]
  本稿では,Action Genomeの映像をフィードフォワード3D再構成により4DシーンにアップグレードするデータセットであるActionGenome4Dを紹介する。 次に、各タイムスタンプでワールドシーングラフを構築するタスクであるワールドシーングラフ生成(WSGG)を定式化する。 我々は3つの補完的手法を提案し、それぞれが観測されていない物体について推論するための異なる帰納バイアスを探索する。
  論文  参考訳（メタデータ） (2026-03-13T17:18:03Z)
• ArtHOI: Articulated Human-Object Interaction Synthesis by 4D Reconstruction from Video Priors [51.06020148149403]
  ビデオ先行画像からの4D再構成による人-物間相互作用合成のための最初のゼロショットフレームワークであるArtHOIを紹介する。 ArtHOIは、ビデオベースの生成と幾何学的認識の再構築をブリッジし、セマンティックアライメントと物理的基盤の両方のインタラクションを生成する。
  論文  参考訳（メタデータ） (2026-03-04T17:58:04Z)
• TeHOR: Text-Guided 3D Human and Object Reconstruction with Textures [53.21603129469796]
  単一の画像から3次元の人間と物体を共同で再構成することは、ロボット工学やデジタルコンテンツ制作において重要な応用例となる、活発な研究領域である。 既存のアプローチは物理的接触情報に大きく依存しており、非接触的な人間と物体の相互作用を捉えることはできない。 本稿では,2つのコア設計に基づくフレームワークTeHORを紹介する。まず,人間とオブジェクトの相互作用のテキスト記述を活用し,セマンティックアライメントを強制する。 第2に、3次元人間と物体の外観の手がかりをアライメントプロセスに組み込んで、全体的文脈情報をキャプチャする。
  論文  参考訳（メタデータ） (2026-02-23T10:22:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。