論文の概要: A Versatile and Differentiable Hand-Object Interaction Representation

• arxiv url: http://arxiv.org/abs/2409.16855v2
• Date: Thu, 28 Nov 2024 20:15:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:16:18.393393
• Title: A Versatile and Differentiable Hand-Object Interaction Representation
• Title（参考訳）: 可逆かつ微分可能な手-物体相互作用表現法
• Authors: Théo Morales, Omid Taheri, Gerard Lacey,
• Abstract要約: Coarse Hand-Object Interaction Representation (CHOIR) は、HOIモデリングのための新しい、多目的で完全な微分可能な分野である。 CHOIRは離散符号のない距離を利用して連続的な形状とポーズの符号化を行う。 Joint Diffusionは、雑音のある手-物体の相互作用を条件としたグリップ分布を学習するための拡散モデルである。
• 参考スコア（独自算出の注目度）: 2.184775414778289
• License:
• Abstract: Synthesizing accurate hands-object interactions (HOI) is critical for applications in Computer Vision, Augmented Reality (AR), and Mixed Reality (MR). Despite recent advances, the accuracy of reconstructed or generated HOI leaves room for refinement. Some techniques have improved the accuracy of dense correspondences by shifting focus from generating explicit contacts to using rich HOI fields. Still, they lack full differentiability or continuity and are tailored to specific tasks. In contrast, we present a Coarse Hand-Object Interaction Representation (CHOIR), a novel, versatile and fully differentiable field for HOI modelling. CHOIR leverages discrete unsigned distances for continuous shape and pose encoding, alongside multivariate Gaussian distributions to represent dense contact maps with few parameters. To demonstrate the versatility of CHOIR we design JointDiffusion, a diffusion model to learn a grasp distribution conditioned on noisy hand-object interactions or only object geometries, for both refinement and synthesis applications. We demonstrate JointDiffusion's improvements over the SOTA in both applications: it increases the contact F1 score by $5\%$ for refinement and decreases the sim. displacement by $46\%$ for synthesis. Our experiments show that JointDiffusion with CHOIR yield superior contact accuracy and physical realism compared to SOTA methods designed for specific tasks. Project page: https://theomorales.com/CHOIR
• Abstract（参考訳）: 高精度ハンドオブジェクトインタラクション(HOI)の合成は、コンピュータビジョン、拡張現実(AR)、MR(Mixed Reality)の応用において重要である。 近年の進歩にもかかわらず、再建または生成されたHOIの精度は改善の余地がある。 いくつかのテクニックは、明示的な接触からリッチなHOIフィールドに焦点を移すことにより、密度の高い対応の精度を向上した。 それでも、完全な差別化や連続性がなく、特定のタスクに合わせている。 対照的に、我々は、HOIモデリングのための新しく、多目的で、完全に微分可能な分野であるCHOIR(Coarse Hand-Object Interaction Representation)を提示する。 CHOIRは離散符号のない距離を利用して連続的な形状とポーズの符号化を行い、多変量ガウス分布と合わせて、パラメータの少ない密接写像を表現している。 CHOIRの汎用性を実証するために,手-物体間相互作用や対象測地のみに基づくグリップ分布を学習する拡散モデルであるJointDiffusionを,洗練と合成の両面から設計する。 いずれのアプリケーションにおいても、JointDiffusionによるSOTAに対する改善が示されており、F1との接触スコアを5\%の値で向上させ、シミュレートを減少させる。 合成で46 % の変位。 実験の結果,CHOIRとの結合拡散は,特定のタスクに設計したSOTA法と比較して,接触精度と物理リアリズムに優れていた。 プロジェクトページ: https://theomorales.com/CHOIR

関連論文リスト

• Dynamic Reconstruction of Hand-Object Interaction with Distributed Force-aware Contact Representation [52.36691633451968]
  ViTaM-Dは動的手動物体相互作用再構成のための視覚触覚フレームワークである。 DF-Fieldは分散力認識型接触表現モデルである。 剛性および変形性のある物体再構成におけるViTaM-Dの優れた性能について検討した。
  論文  参考訳（メタデータ） (2024-11-14T16:29:45Z)
• DreamHOI: Subject-Driven Generation of 3D Human-Object Interactions with Diffusion Priors [4.697267141773321]
  人-物体相互作用(HOI)のゼロショット合成法であるDreamHOIを提案する。 我々は、何十億もの画像キャプチャーペアで訓練されたテキストと画像の拡散モデルを利用して、リアルなHOIを生成する。 提案手法は広範囲な実験を通じて検証し,現実的なHOIを生成する上での有効性を実証する。
  論文  参考訳（メタデータ） (2024-09-12T17:59:49Z)
• Comprehensive Generative Replay for Task-Incremental Segmentation with Concurrent Appearance and Semantic Forgetting [49.87694319431288]
  一般的なセグメンテーションモデルは、異なる画像ソースからの様々なオブジェクトを含む様々なタスクに対して、ますます好まれている。 画像とマスクのペアを合成することで外観と意味の知識を復元する包括的生成(CGR)フレームワークを提案する。 漸進的タスク(心身、基礎、前立腺のセグメンテーション)の実験は、同時出現と意味的忘れを緩和する上で、明らかな優位性を示している。
  論文  参考訳（メタデータ） (2024-06-28T10:05:58Z)
• GEARS: Local Geometry-aware Hand-object Interaction Synthesis [38.75942505771009]
  本研究では, 相互作用領域近傍の局所物体形状を推定するための, 結合中心型センサを提案する。 学習の複雑さを軽減するための重要なステップとして、グローバルフレームからテンプレートハンドフレームにポイントを変換し、共有モジュールを使用して各関節のセンサ特徴を処理する。 これに続いて、異なる次元の関節間の相関を捉えることを目的とした知覚時間変換ネットワークが提供される。
  論文  参考訳（メタデータ） (2024-04-02T09:18:52Z)
• HandBooster: Boosting 3D Hand-Mesh Reconstruction by Conditional Synthesis and Sampling of Hand-Object Interactions [68.28684509445529]
  HandBoosterは、データの多様性を向上し、3Dハンド・ミーシュ・リコンストラクションのパフォーマンスを向上する新しいアプローチである。 まず,多様な手やポーズ,ビュー,背景を持つリアルな画像を生成するために,拡散モデルを誘導する多目的コンテンツ認識条件を構築した。 そこで我々は,我々の類似性を考慮した分布サンプリング戦略に基づく新しい条件作成手法を設計し,トレーニングセットとは異なる,斬新で現実的なインタラクションのポーズを意図的に見つける。
  論文  参考訳（メタデータ） (2024-03-27T13:56:08Z)
• RGM: A Robust Generalizable Matching Model [49.60975442871967]
  RGM(Robust Generalist Matching)と呼ばれる疎密マッチングのための深部モデルを提案する。 合成トレーニングサンプルと実世界のシナリオのギャップを狭めるために、我々は、疎対応基盤真理を持つ新しい大規模データセットを構築した。 さまざまな密集したスパースなデータセットを混ぜ合わせることができ、トレーニングの多様性を大幅に改善しています。
  論文  参考訳（メタデータ） (2023-10-18T07:30:08Z)
• Smooth, exact rotational symmetrization for deep learning on point clouds [0.0]
  汎用のポイントクラウドモデルはより多様であるが、しばしば回転対称性を無視する。 本稿では,他のすべての要件を保ちながら任意のモデルに回転同値を付加する一般対称性化法を提案する。 このアイデアは,本質的同変ではないが,分子や固体のベンチマークデータセット上での最先端性能を実現するPoint Edge Transformer (PET) アーキテクチャを導入することで実証する。
  論文  参考訳（メタデータ） (2023-05-30T15:26:43Z)
• Hierarchical Integration Diffusion Model for Realistic Image Deblurring [71.76410266003917]
  拡散モデル (DM) は画像劣化に導入され, 有望な性能を示した。 本稿では,階層型統合拡散モデル(HI-Diff)を提案する。 人工的および実世界のぼかしデータセットの実験は、HI-Diffが最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2023-05-22T12:18:20Z)
• Mutual Graph Learning for Camouflaged Object Detection [31.422775969808434]
  主な課題は、前景の物体と背景の環境との固有の類似性によって、深いモデルによって抽出された特徴が区別できないことである。 我々は,正規格子からグラフ領域への従来の相互学習の考え方を一般化する,新しい相互グラフ学習モデルを設計する。 すべてのタスク間インタラクションをモデリングするために共有関数を使用するほとんどの相互学習アプローチとは対照的に、mglは異なる補完関係を扱うための型付き関数を備えている。
  論文  参考訳（メタデータ） (2021-04-03T10:14:39Z)
• DecAug: Augmenting HOI Detection via Decomposition [54.65572599920679]
  現在のアルゴリズムでは、データセット内のトレーニングサンプルやカテゴリの不均衡が不足している。 本稿では,HOI検出のためのDECAugと呼ばれる効率的かつ効率的なデータ拡張手法を提案する。 実験の結果,V-COCOおよびHICODETデータセットの3.3mAPと1.6mAPの改善が得られた。
  論文  参考訳（メタデータ） (2020-10-02T13:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。