論文の概要: A Versatile and Differentiable Hand-Object Interaction Representation

• arxiv url: http://arxiv.org/abs/2409.16855v2
• Date: Thu, 28 Nov 2024 20:15:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:16:18.393393
• Title: A Versatile and Differentiable Hand-Object Interaction Representation
• Title（参考訳）: 可逆かつ微分可能な手-物体相互作用表現法
• Authors: Théo Morales, Omid Taheri, Gerard Lacey,
• Abstract要約: Coarse Hand-Object Interaction Representation (CHOIR) は、HOIモデリングのための新しい、多目的で完全な微分可能な分野である。 CHOIRは離散符号のない距離を利用して連続的な形状とポーズの符号化を行う。 Joint Diffusionは、雑音のある手-物体の相互作用を条件としたグリップ分布を学習するための拡散モデルである。
• 参考スコア（独自算出の注目度）: 2.184775414778289
• License:
• Abstract: Synthesizing accurate hands-object interactions (HOI) is critical for applications in Computer Vision, Augmented Reality (AR), and Mixed Reality (MR). Despite recent advances, the accuracy of reconstructed or generated HOI leaves room for refinement. Some techniques have improved the accuracy of dense correspondences by shifting focus from generating explicit contacts to using rich HOI fields. Still, they lack full differentiability or continuity and are tailored to specific tasks. In contrast, we present a Coarse Hand-Object Interaction Representation (CHOIR), a novel, versatile and fully differentiable field for HOI modelling. CHOIR leverages discrete unsigned distances for continuous shape and pose encoding, alongside multivariate Gaussian distributions to represent dense contact maps with few parameters. To demonstrate the versatility of CHOIR we design JointDiffusion, a diffusion model to learn a grasp distribution conditioned on noisy hand-object interactions or only object geometries, for both refinement and synthesis applications. We demonstrate JointDiffusion's improvements over the SOTA in both applications: it increases the contact F1 score by $5\%$ for refinement and decreases the sim. displacement by $46\%$ for synthesis. Our experiments show that JointDiffusion with CHOIR yield superior contact accuracy and physical realism compared to SOTA methods designed for specific tasks. Project page: https://theomorales.com/CHOIR
• Abstract（参考訳）: 高精度ハンドオブジェクトインタラクション(HOI)の合成は、コンピュータビジョン、拡張現実(AR)、MR(Mixed Reality)の応用において重要である。 近年の進歩にもかかわらず、再建または生成されたHOIの精度は改善の余地がある。 いくつかのテクニックは、明示的な接触からリッチなHOIフィールドに焦点を移すことにより、密度の高い対応の精度を向上した。 それでも、完全な差別化や連続性がなく、特定のタスクに合わせている。 対照的に、我々は、HOIモデリングのための新しく、多目的で、完全に微分可能な分野であるCHOIR(Coarse Hand-Object Interaction Representation)を提示する。 CHOIRは離散符号のない距離を利用して連続的な形状とポーズの符号化を行い、多変量ガウス分布と合わせて、パラメータの少ない密接写像を表現している。 CHOIRの汎用性を実証するために,手-物体間相互作用や対象測地のみに基づくグリップ分布を学習する拡散モデルであるJointDiffusionを,洗練と合成の両面から設計する。 いずれのアプリケーションにおいても、JointDiffusionによるSOTAに対する改善が示されており、F1との接触スコアを5\%の値で向上させ、シミュレートを減少させる。 合成で46 % の変位。 実験の結果,CHOIRとの結合拡散は,特定のタスクに設計したSOTA法と比較して,接触精度と物理リアリズムに優れていた。 プロジェクトページ: https://theomorales.com/CHOIR

関連論文リスト

• DreamHOI: Subject-Driven Generation of 3D Human-Object Interactions with Diffusion Priors [4.697267141773321]
  人-物体相互作用(HOI)のゼロショット合成法であるDreamHOIを提案する。 我々は、何十億もの画像キャプチャーペアで訓練されたテキストと画像の拡散モデルを利用して、リアルなHOIを生成する。 提案手法は広範囲な実験を通じて検証し,現実的なHOIを生成する上での有効性を実証する。
  論文  参考訳（メタデータ） (2024-09-12T17:59:49Z)
• Comprehensive Generative Replay for Task-Incremental Segmentation with Concurrent Appearance and Semantic Forgetting [49.87694319431288]
  一般的なセグメンテーションモデルは、異なる画像ソースからの様々なオブジェクトを含む様々なタスクに対して、ますます好まれている。 画像とマスクのペアを合成することで外観と意味の知識を復元する包括的生成(CGR)フレームワークを提案する。 漸進的タスク(心身、基礎、前立腺のセグメンテーション)の実験は、同時出現と意味的忘れを緩和する上で、明らかな優位性を示している。
  論文  参考訳（メタデータ） (2024-06-28T10:05:58Z)
• HandBooster: Boosting 3D Hand-Mesh Reconstruction by Conditional Synthesis and Sampling of Hand-Object Interactions [68.28684509445529]
  HandBoosterは、データの多様性を向上し、3Dハンド・ミーシュ・リコンストラクションのパフォーマンスを向上する新しいアプローチである。 まず,多様な手やポーズ,ビュー,背景を持つリアルな画像を生成するために,拡散モデルを誘導する多目的コンテンツ認識条件を構築した。 そこで我々は,我々の類似性を考慮した分布サンプリング戦略に基づく新しい条件作成手法を設計し,トレーニングセットとは異なる,斬新で現実的なインタラクションのポーズを意図的に見つける。
  論文  参考訳（メタデータ） (2024-03-27T13:56:08Z)
• Smooth, exact rotational symmetrization for deep learning on point clouds [0.0]
  汎用のポイントクラウドモデルはより多様であるが、しばしば回転対称性を無視する。 本稿では,他のすべての要件を保ちながら任意のモデルに回転同値を付加する一般対称性化法を提案する。 このアイデアは,本質的同変ではないが,分子や固体のベンチマークデータセット上での最先端性能を実現するPoint Edge Transformer (PET) アーキテクチャを導入することで実証する。
  論文  参考訳（メタデータ） (2023-05-30T15:26:43Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Affordance Diffusion: Synthesizing Hand-Object Interactions [81.98499943996394]
  対象物のRGB画像が与えられた場合、我々はそれと相互作用する人間の手の可視像を幻覚することを目的としている。 そこで本研究では,触覚に依存しない手オブジェクトのインタラクションレイアウトをサンプリングするLayoutNetと,物体をつかむ手のイメージを合成するContentNetの2段階生成手法を提案する。
  論文  参考訳（メタデータ） (2023-03-21T17:59:10Z)
• TOCH: Spatio-Temporal Object-to-Hand Correspondence for Motion Refinement [42.3418874174372]
  そこで本研究では,データを用いた不正確な3次元手オブジェクトインタラクションシーケンスの精細化手法TOCHを提案する。 時間分解オートエンコーダを用いた可塑性TOCH場の潜在多様体を学習する。 実験により、TOCHは最先端の3Dハンドオブジェクトインタラクションモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-16T20:41:45Z)
• A Shared Representation for Photorealistic Driving Simulators [83.5985178314263]
  本稿では、識別器アーキテクチャを再考することにより、生成画像の品質を向上させることを提案する。 シーンセグメンテーションマップや人体ポーズといったセマンティックインプットによって画像が生成されるという問題に焦点が当てられている。 我々は,意味的セグメンテーション,コンテンツ再構成,および粗い粒度の逆解析を行うのに十分な情報をエンコードする,共有潜在表現を学習することを目指している。
  論文  参考訳（メタデータ） (2021-12-09T18:59:21Z)
• Mutual Graph Learning for Camouflaged Object Detection [31.422775969808434]
  主な課題は、前景の物体と背景の環境との固有の類似性によって、深いモデルによって抽出された特徴が区別できないことである。 我々は,正規格子からグラフ領域への従来の相互学習の考え方を一般化する,新しい相互グラフ学習モデルを設計する。 すべてのタスク間インタラクションをモデリングするために共有関数を使用するほとんどの相互学習アプローチとは対照的に、mglは異なる補完関係を扱うための型付き関数を備えている。
  論文  参考訳（メタデータ） (2021-04-03T10:14:39Z)
• DecAug: Augmenting HOI Detection via Decomposition [54.65572599920679]
  現在のアルゴリズムでは、データセット内のトレーニングサンプルやカテゴリの不均衡が不足している。 本稿では,HOI検出のためのDECAugと呼ばれる効率的かつ効率的なデータ拡張手法を提案する。 実験の結果,V-COCOおよびHICODETデータセットの3.3mAPと1.6mAPの改善が得られた。
  論文  参考訳（メタデータ） (2020-10-02T13:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。