論文の概要: GeneOH Diffusion: Towards Generalizable Hand-Object Interaction
Denoising via Denoising Diffusion
- arxiv url: http://arxiv.org/abs/2402.14810v1
- Date: Thu, 22 Feb 2024 18:59:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-23 13:55:18.304727
- Title: GeneOH Diffusion: Towards Generalizable Hand-Object Interaction
Denoising via Denoising Diffusion
- Title(参考訳): ジーンOH拡散 : 一般化可能な手動物体間相互作用の解法
- Authors: Xueyi Liu, Li Yi
- Abstract要約: 誤った相互作用シーケンスが与えられた場合、その目的は、不正確な手の動きを洗練して、知覚的に現実的なシーケンスのための相互作用アーティファクトを取り除くことである。
この課題には、不自然な手ポーズや不正確な手オブジェクト関係を含む複雑な相互作用ノイズが含まれる。
我々は2つの重要な設計を取り入れた新しいアプローチであるGeneOH Diffusionを通じて、これらの課題に取り組む。
- 参考スコア(独自算出の注目度): 27.252526086004956
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In this work, we tackle the challenging problem of denoising hand-object
interactions (HOI). Given an erroneous interaction sequence, the objective is
to refine the incorrect hand trajectory to remove interaction artifacts for a
perceptually realistic sequence. This challenge involves intricate interaction
noise, including unnatural hand poses and incorrect hand-object relations,
alongside the necessity for robust generalization to new interactions and
diverse noise patterns. We tackle those challenges through a novel approach,
GeneOH Diffusion, incorporating two key designs: an innovative contact-centric
HOI representation named GeneOH and a new domain-generalizable denoising
scheme. The contact-centric representation GeneOH informatively parameterizes
the HOI process, facilitating enhanced generalization across various HOI
scenarios. The new denoising scheme consists of a canonical denoising model
trained to project noisy data samples from a whitened noise space to a clean
data manifold and a "denoising via diffusion" strategy which can handle input
trajectories with various noise patterns by first diffusing them to align with
the whitened noise space and cleaning via the canonical denoiser. Extensive
experiments on four benchmarks with significant domain variations demonstrate
the superior effectiveness of our method. GeneOH Diffusion also shows promise
for various downstream applications. Project website:
https://meowuu7.github.io/GeneOH-Diffusion/.
- Abstract(参考訳): 本研究では,手動物体間相互作用(HOI)の難解化問題に取り組む。
誤った相互作用シークエンスが与えられた場合、その目的は、知覚的に現実的なシークエンスの相互作用アーティファクトを取り除くために間違った手の動きを洗練することである。
この課題には、不自然な手ポーズや不適切な手オブジェクト関係を含む複雑な相互作用ノイズと、新しい相互作用や多様なノイズパターンへの堅牢な一般化の必要性が含まれる。
我々は、GeneOHと呼ばれる革新的なコンタクト中心のHOI表現と、新しいドメイン一般化可能なデノベーションスキームという、2つの重要な設計を取り入れて、これらの課題に取り組む。
接触中心の表現 GeneOH はHOI過程を情報的にパラメータ化し、様々なHOIシナリオの一般化を促進する。
ニューデノイジング方式は,白色雑音空間からクリーンデータ多様体へノイズデータサンプルを投影するように訓練された正準デノイジングモデルと,白色雑音空間と一致させ,標準デノイザーを介してクリーニングすることにより,様々な雑音パターンの入力トラジェクタを処理する「拡散によるデノイジング」戦略とからなる。
有意なドメイン変動を有する4つのベンチマークに関する広範囲な実験により,本手法の有効性が示された。
GeneOH Diffusionは、さまざまなダウンストリームアプリケーションも約束する。
プロジェクトWebサイト: https://meowuu7.github.io/GeneOH-Diffusion/。
関連論文リスト
- NoiseDiffusion: Correcting Noise for Image Interpolation with Diffusion Models beyond Spherical Linear Interpolation [86.7260950382448]
画像の妥当性を補正する新しい手法としてノイズ拡散法を提案する。
NoiseDiffusionはノイズの多い画像空間内で動作し、これらのノイズの多い画像に生画像を注入することで、情報損失の課題に対処する。
論文 参考訳(メタデータ) (2024-03-13T12:32:25Z) - Listening to the Noise: Blind Denoising with Gibbs Diffusion [4.708971295781062]
雑音分布の族に先立って信号のマッピングを訓練した条件拡散モデルからサンプリングステップを交互に行うギブスアルゴリズムを開発した。
我々の理論的分析は潜在的な落とし穴を強調し、診断利用をガイドし、ギブス定常分布の誤差を定量化する。
本研究では,1)未知の振幅とスペクトル指数を持つ有色雑音を含む自然画像の視覚的復調,2)宇宙論の問題について述べる。
論文 参考訳(メタデータ) (2024-02-29T18:50:11Z) - Causal Discovery under Identifiable Heteroscedastic Noise Model [50.23769985430187]
因果DAG学習は、最近精度と効率の両面で有望な性能を達成した。
本稿では,変数間のノイズ分散の変動を考慮したDAG学習のための新しい定式化を提案する。
次に、最適化の難しさに対処する効果的な2相反復DAG学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-12-20T08:51:58Z) - One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion
Schedule Flaws and Enhancing Low-Frequency Controls [77.42510898755037]
One More Step (OMS) は、推論中に単純だが効果的なステップを付加したコンパクトネットワークである。
OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。
トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。
論文 参考訳(メタデータ) (2023-11-27T12:02:42Z) - SVNR: Spatially-variant Noise Removal with Denoising Diffusion [43.2405873681083]
本稿では,より現実的で空間的変動のある雑音モデルを想定した,微分拡散の新たな定式化について述べる。
実験では,強い拡散モデルベースラインに対するアプローチの利点と,最先端の単一画像復号法に対するアプローチの利点を実証する。
論文 参考訳(メタデータ) (2023-06-28T09:32:00Z) - Dynamic Dual-Output Diffusion Models [100.32273175423146]
反復分解に基づく生成は、他の生成モデルのクラスに匹敵する品質を示すことが示されている。
この方法の大きな欠点は、競合する結果を生み出すために数百のイテレーションが必要であることである。
近年の研究では、より少ないイテレーションでより高速に生成できるソリューションが提案されているが、画像の品質は徐々に低下している。
論文 参考訳(メタデータ) (2022-03-08T11:20:40Z) - On Procedural Adversarial Noise Attack And Defense [2.5388455804357952]
逆の例では、ニューラルネットワークが入力画像に小さな修正を加えて予測エラーを発生させる。
本稿では,手続き型雑音関数に基づく2つのユニバーサル対向摂動(UAP)生成手法を提案する。
セマンティック表現を変更することなく、我々の手法によって生成された敵の例は攻撃に対して優れた性能を示す。
論文 参考訳(メタデータ) (2021-08-10T02:47:01Z) - Dual Adversarial Network: Toward Real-world Noise Removal and Noise
Generation [52.75909685172843]
実世界の画像ノイズ除去は、コンピュータビジョンにおける長年の課題である。
本稿では,ノイズ除去およびノイズ発生タスクに対処する新しい統合フレームワークを提案する。
本手法はクリーンノイズ画像対の連成分布を学習する。
論文 参考訳(メタデータ) (2020-07-12T09:16:06Z) - Learning Model-Blind Temporal Denoisers without Ground Truths [46.778450578529814]
合成データで訓練されたデノイザーは、未知のノイズの多様性に対処できないことが多い。
従来の画像ベース手法は、ビデオデノイザに直接適用した場合、ノイズが過度に収まる。
本稿では,これらの課題に対処する上で有効な,ビデオ・デノベーション・ネットワークの汎用フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-07T07:19:48Z) - Variational Denoising Network: Toward Blind Noise Modeling and Removal [59.36166491196973]
ブラインド画像のデノイングはコンピュータビジョンにおいて重要な問題であるが、非常に難しい問題である。
本稿では,ノイズ推定と画像デノーミングを併用した新しい変分推論手法を提案する。
論文 参考訳(メタデータ) (2019-08-29T15:54:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。