論文の概要: GeneOH Diffusion: Towards Generalizable Hand-Object Interaction
Denoising via Denoising Diffusion
- arxiv url: http://arxiv.org/abs/2402.14810v1
- Date: Thu, 22 Feb 2024 18:59:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-23 13:55:18.304727
- Title: GeneOH Diffusion: Towards Generalizable Hand-Object Interaction
Denoising via Denoising Diffusion
- Title（参考訳）: ジーンOH拡散 : 一般化可能な手動物体間相互作用の解法
- Authors: Xueyi Liu, Li Yi
- Abstract要約: 誤った相互作用シーケンスが与えられた場合、その目的は、不正確な手の動きを洗練して、知覚的に現実的なシーケンスのための相互作用アーティファクトを取り除くことである。
この課題には、不自然な手ポーズや不正確な手オブジェクト関係を含む複雑な相互作用ノイズが含まれる。
我々は2つの重要な設計を取り入れた新しいアプローチであるGeneOH Diffusionを通じて、これらの課題に取り組む。
- 参考スコア（独自算出の注目度）: 27.252526086004956
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: In this work, we tackle the challenging problem of denoising hand-object
interactions (HOI). Given an erroneous interaction sequence, the objective is
to refine the incorrect hand trajectory to remove interaction artifacts for a
perceptually realistic sequence. This challenge involves intricate interaction
noise, including unnatural hand poses and incorrect hand-object relations,
alongside the necessity for robust generalization to new interactions and
diverse noise patterns. We tackle those challenges through a novel approach,
GeneOH Diffusion, incorporating two key designs: an innovative contact-centric
HOI representation named GeneOH and a new domain-generalizable denoising
scheme. The contact-centric representation GeneOH informatively parameterizes
the HOI process, facilitating enhanced generalization across various HOI
scenarios. The new denoising scheme consists of a canonical denoising model
trained to project noisy data samples from a whitened noise space to a clean
data manifold and a "denoising via diffusion" strategy which can handle input
trajectories with various noise patterns by first diffusing them to align with
the whitened noise space and cleaning via the canonical denoiser. Extensive
experiments on four benchmarks with significant domain variations demonstrate
the superior effectiveness of our method. GeneOH Diffusion also shows promise
for various downstream applications. Project website:
https://meowuu7.github.io/GeneOH-Diffusion/.
- Abstract（参考訳）: 本研究では,手動物体間相互作用(HOI)の難解化問題に取り組む。
誤った相互作用シークエンスが与えられた場合、その目的は、知覚的に現実的なシークエンスの相互作用アーティファクトを取り除くために間違った手の動きを洗練することである。
この課題には、不自然な手ポーズや不適切な手オブジェクト関係を含む複雑な相互作用ノイズと、新しい相互作用や多様なノイズパターンへの堅牢な一般化の必要性が含まれる。
我々は、GeneOHと呼ばれる革新的なコンタクト中心のHOI表現と、新しいドメイン一般化可能なデノベーションスキームという、2つの重要な設計を取り入れて、これらの課題に取り組む。
接触中心の表現 GeneOH はHOI過程を情報的にパラメータ化し、様々なHOIシナリオの一般化を促進する。
ニューデノイジング方式は,白色雑音空間からクリーンデータ多様体へノイズデータサンプルを投影するように訓練された正準デノイジングモデルと,白色雑音空間と一致させ,標準デノイザーを介してクリーニングすることにより,様々な雑音パターンの入力トラジェクタを処理する「拡散によるデノイジング」戦略とからなる。
有意なドメイン変動を有する4つのベンチマークに関する広範囲な実験により,本手法の有効性が示された。
GeneOH Diffusionは、さまざまなダウンストリームアプリケーションも約束する。
プロジェクトWebサイト: https://meowuu7.github.io/GeneOH-Diffusion/。
関連論文リスト
- Conditional GAN for Enhancing Diffusion Models in Efficient and Authentic Global Gesture Generation from Audios [10.57695963534794]
VAEに基づく手法には、局所的なジッタとグローバルな不安定性の問題が伴う。
本稿では,音声制御信号を捕捉し,拡散段差と発声段差の多モーダル denoising 分布を暗黙的に一致させる条件付き GAN を提案する。
論文 参考訳（メタデータ） (2024-10-27T07:25:11Z) - Denoising as Adaptation: Noise-Space Domain Adaptation for Image Restoration [64.84134880709625]
拡散モデルを用いて,雑音空間を介して領域適応を行うことが可能であることを示す。
特に、補助的な条件入力が多段階の復調過程にどのように影響するかというユニークな性質を活用することにより、有意義な拡散損失を導出する。
拡散モデルにおけるチャネルシャッフル層や残留スワッピング型コントラスト学習などの重要な戦略を提案する。
論文 参考訳（メタデータ） (2024-06-26T17:40:30Z) - NoiseDiffusion: Correcting Noise for Image Interpolation with Diffusion Models beyond Spherical Linear Interpolation [86.7260950382448]
画像の妥当性を補正する新しい手法としてノイズ拡散法を提案する。
NoiseDiffusionはノイズの多い画像空間内で動作し、これらのノイズの多い画像に生画像を注入することで、情報損失の課題に対処する。
論文 参考訳（メタデータ） (2024-03-13T12:32:25Z) - Listening to the Noise: Blind Denoising with Gibbs Diffusion [4.310554658046964]
雑音分布の族に先立って信号のマッピングを訓練した条件拡散モデルからサンプリングステップを交互に行うギブスアルゴリズムを開発した。
我々の理論的分析は潜在的な落とし穴を強調し、診断利用をガイドし、ギブス定常分布の誤差を定量化する。
本研究では,1)未知の振幅とスペクトル指数を持つ有色雑音を含む自然画像の視覚的復調,2)宇宙論の問題について述べる。
論文 参考訳（メタデータ） (2024-02-29T18:50:11Z) - One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion
Schedule Flaws and Enhancing Low-Frequency Controls [77.42510898755037]
One More Step (OMS) は、推論中に単純だが効果的なステップを付加したコンパクトネットワークである。
OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。
トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。
論文 参考訳（メタデータ） (2023-11-27T12:02:42Z) - Seismic Data Interpolation via Denoising Diffusion Implicit Models with Coherence-corrected Resampling [7.755439545030289]
U-Netのようなディープラーニングモデルは、トレーニングとテストの欠落パターンが一致しない場合、しばしばパフォーマンスが低下する。
マルチモーダル拡散モデルに基づく新しいフレームワークを提案する。
推論フェーズでは,サンプリングステップの数を減らし,暗黙的拡散モデルを導入する。
露呈された痕跡と欠落した痕跡との一貫性と連続性を高めるために,我々は2つの戦略を提案する。
論文 参考訳（メタデータ） (2023-07-09T16:37:47Z) - Dynamic Dual-Output Diffusion Models [100.32273175423146]
反復分解に基づく生成は、他の生成モデルのクラスに匹敵する品質を示すことが示されている。
この方法の大きな欠点は、競合する結果を生み出すために数百のイテレーションが必要であることである。
近年の研究では、より少ないイテレーションでより高速に生成できるソリューションが提案されているが、画像の品質は徐々に低下している。
論文 参考訳（メタデータ） (2022-03-08T11:20:40Z) - On Procedural Adversarial Noise Attack And Defense [2.5388455804357952]
逆の例では、ニューラルネットワークが入力画像に小さな修正を加えて予測エラーを発生させる。
本稿では,手続き型雑音関数に基づく2つのユニバーサル対向摂動(UAP)生成手法を提案する。
セマンティック表現を変更することなく、我々の手法によって生成された敵の例は攻撃に対して優れた性能を示す。
論文 参考訳（メタデータ） (2021-08-10T02:47:01Z) - Dual Adversarial Network: Toward Real-world Noise Removal and Noise
Generation [52.75909685172843]
実世界の画像ノイズ除去は、コンピュータビジョンにおける長年の課題である。
本稿では,ノイズ除去およびノイズ発生タスクに対処する新しい統合フレームワークを提案する。
本手法はクリーンノイズ画像対の連成分布を学習する。
論文 参考訳（メタデータ） (2020-07-12T09:16:06Z) - Learning Model-Blind Temporal Denoisers without Ground Truths [46.778450578529814]
合成データで訓練されたデノイザーは、未知のノイズの多様性に対処できないことが多い。
従来の画像ベース手法は、ビデオデノイザに直接適用した場合、ノイズが過度に収まる。
本稿では,これらの課題に対処する上で有効な,ビデオ・デノベーション・ネットワークの汎用フレームワークを提案する。
論文 参考訳（メタデータ） (2020-07-07T07:19:48Z) - Variational Denoising Network: Toward Blind Noise Modeling and Removal [59.36166491196973]
ブラインド画像のデノイングはコンピュータビジョンにおいて重要な問題であるが、非常に難しい問題である。
本稿では,ノイズ推定と画像デノーミングを併用した新しい変分推論手法を提案する。
論文 参考訳（メタデータ） (2019-08-29T15:54:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。