論文の概要: InterHandGen: Two-Hand Interaction Generation via Cascaded Reverse Diffusion

• arxiv url: http://arxiv.org/abs/2403.17422v1
• Date: Tue, 26 Mar 2024 06:35:55 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-27 16:26:20.321614
• Title: InterHandGen: Two-Hand Interaction Generation via Cascaded Reverse Diffusion
• Title（参考訳）: InterHandGen:カスケード逆拡散による双方向インタラクション生成
• Authors: Jihyun Lee, Shunsuke Saito, Giljoo Nam, Minhyuk Sung, Tae-Kyun Kim,
• Abstract要約: 両手インタラクションに先立って生成を学習する新しいフレームワークであるInterHandGenを提案する。 サンプリングにアンチペネティフィケーションと合成フリーガイダンスを組み合わせることで、プラウシブルな生成を可能にする。 本手法は, 妥当性と多様性の観点から, ベースライン生成モデルよりも有意に優れていた。
• 参考スコア（独自算出の注目度）: 53.90516061351706
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present InterHandGen, a novel framework that learns the generative prior of two-hand interaction. Sampling from our model yields plausible and diverse two-hand shapes in close interaction with or without an object. Our prior can be incorporated into any optimization or learning methods to reduce ambiguity in an ill-posed setup. Our key observation is that directly modeling the joint distribution of multiple instances imposes high learning complexity due to its combinatorial nature. Thus, we propose to decompose the modeling of joint distribution into the modeling of factored unconditional and conditional single instance distribution. In particular, we introduce a diffusion model that learns the single-hand distribution unconditional and conditional to another hand via conditioning dropout. For sampling, we combine anti-penetration and classifier-free guidance to enable plausible generation. Furthermore, we establish the rigorous evaluation protocol of two-hand synthesis, where our method significantly outperforms baseline generative models in terms of plausibility and diversity. We also demonstrate that our diffusion prior can boost the performance of two-hand reconstruction from monocular in-the-wild images, achieving new state-of-the-art accuracy.
• Abstract（参考訳）: 両手インタラクションに先立って生成を学習する新しいフレームワークであるInterHandGenを提案する。 我々のモデルからサンプリングすると、オブジェクトとの密接な相互作用において、可塑性で多様な2手形状が得られる。 私たちの前者は、不適切な設定であいまいさを減らすため、任意の最適化や学習方法に組み込むことができます。 我々のキーとなる観察は、複数のインスタンスの結合分布を直接モデル化することは、その組み合わせの性質により、学習の複雑さを増すことである。 そこで本稿では, 連立分布のモデル化を非条件分布と条件付き単一インスタンス分布のモデル化に分解する。 特に,条件付きドロップアウトにより,片手分布を無条件かつ条件付きで学習する拡散モデルを導入する。 サンプリングにアンチ・ペネティフィケーションとクラシファイアフリー・ガイダンスを組み合わせることで、プラプシブル・ジェネレーションを実現する。 さらに,両手合成の厳密な評価プロトコルを確立し,本手法は妥当性と多様性の観点からベースライン生成モデルを大幅に上回っている。 また,この拡散により,単眼画像からの両手再構成の性能が向上し,新しい最先端の精度が達成できることを示す。

関連論文リスト

• Constrained Diffusion Models via Dual Training [80.03953599062365]
  拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。 所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Controlling the Fidelity and Diversity of Deep Generative Models via Pseudo Density [70.14884528360199]
  本稿では, GAN や拡散モデルなどのバイアス深層生成モデルへのアプローチを導入し, 忠実度の向上や多様性の向上を図ったデータ生成手法を提案する。 提案手法では, 擬似密度という, 個人サンプルの新たな測定基準を用いて, トレーニングとデータ生成の分布を操作する。
  論文  参考訳（メタデータ） (2024-07-11T16:46:04Z)
• Transfer Learning for Diffusion Models [43.10840361752551]
  拡散モデルは高品質な合成サンプルを一貫して生成する。 コレクションコストや関連するリスクのため、現実のアプリケーションでは実用的ではありません。 本稿では,従来の微調整法や正規化法とは異なる新しいアプローチであるTransfer Guided Diffusion Process (TGDP)を紹介する。
  論文  参考訳（メタデータ） (2024-05-27T06:48:58Z)
• Training Class-Imbalanced Diffusion Model Via Overlap Optimization [55.96820607533968]
  実世界のデータセットで訓練された拡散モデルは、尾クラスの忠実度が劣ることが多い。 拡散モデルを含む深い生成モデルは、豊富な訓練画像を持つクラスに偏りがある。 本研究では,異なるクラスに対する合成画像の分布の重複を最小限に抑えるために,コントラスト学習に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-02-16T16:47:21Z)
• Variance-Preserving-Based Interpolation Diffusion Models for Speech Enhancement [53.2171981279647]
  本稿では,VP-および分散拡散(VE)に基づく拡散法の両方をカプセル化するフレームワークを提案する。 本研究では,拡散モデルで発生する一般的な困難を解析し,性能の向上とモデルトレーニングの容易化を図る。 我々は,提案手法の有効性を示すために,公開ベンチマークを用いたいくつかの手法によるモデルの評価を行った。
  論文  参考訳（メタデータ） (2023-06-14T14:22:22Z)
• Exploring Compositional Visual Generation with Latent Classifier Guidance [19.48538300223431]
  我々は、潜在表現生成の非線形ナビゲーションを容易にするために、潜時拡散モデルと補助潜時分類器を訓練する。 潜在分類器ガイダンスにより達成された条件付き生成は、トレーニング中の条件付きログ確率の低い境界を確実に最大化することを示す。 遅延分類器誘導に基づくこのパラダイムは、事前学習された生成モデルに非依存であり、実画像と合成画像の逐次的操作と画像生成の両面での競合結果を示す。
  論文  参考訳（メタデータ） (2023-04-25T03:02:58Z)
• Learning Data Representations with Joint Diffusion Models [20.25147743706431]
  データの合成と分類を可能にする統合機械学習モデルは、多くの場合、それらのタスク間の不均一なパフォーマンスを提供するか、トレーニングが不安定である。 それらの目的間のパラメータ化を共用した安定な連立エンドツーエンドトレーニングを可能にする分類器を用いて,バニラ拡散モデルを拡張した。 結果として得られた共同拡散モデルは、評価された全てのベンチマークにおいて、分類と生成品質の両方の観点から、最近の最先端のハイブリッド手法よりも優れている。
  論文  参考訳（メタデータ） (2023-01-31T13:29:19Z)
• Learning Under Adversarial and Interventional Shifts [36.183840774167756]
  分散シフトの集合に対してロバストなモデルを設計するための新しい定式化 RISe を提案する。 分散的に堅牢な最適化フレームワークを使用して、教師付きおよび強化学習設定の両方で結果の目標を最適化する。
  論文  参考訳（メタデータ） (2021-03-29T20:10:51Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。