論文の概要: R2-Diff: Denoising by diffusion as a refinement of retrieved motion for
image-based motion prediction
- arxiv url: http://arxiv.org/abs/2306.09483v1
- Date: Thu, 15 Jun 2023 20:27:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-19 15:59:01.281434
- Title: R2-Diff: Denoising by diffusion as a refinement of retrieved motion for
image-based motion prediction
- Title(参考訳): R2-Diff:画像に基づく動き予測のための検索動作の洗練としての拡散によるデノーミング
- Authors: Takeru Oba and Norimichi Ukita
- Abstract要約: 画像に基づく動き予測において、拡散モデルは、画像コンテキストに基づいてランダムノイズを段階的に denoising することによって、文脈的に適切な動きを予測する。
R2-Diffでは、画像類似性に基づいてデータセットから取得した動きをランダムノイズの代わりに拡散モデルに入力する。
R2-Diffは、ロボット操作における最近の最先端モデルと比較して、適切な動作を正確に予測し、高いタスク成功率を達成する。
- 参考スコア(独自算出の注目度): 8.104557130048407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Image-based motion prediction is one of the essential techniques for robot
manipulation. Among the various prediction models, we focus on diffusion models
because they have achieved state-of-the-art performance in various
applications. In image-based motion prediction, diffusion models stochastically
predict contextually appropriate motion by gradually denoising random Gaussian
noise based on the image context. While diffusion models are able to predict
various motions by changing the random noise, they sometimes fail to predict a
contextually appropriate motion based on the image because the random noise is
sampled independently of the image context. To solve this problem, we propose
R2-Diff. In R2-Diff, a motion retrieved from a dataset based on image
similarity is fed into a diffusion model instead of random noise. Then, the
retrieved motion is refined through the denoising process of the diffusion
model. Since the retrieved motion is almost appropriate to the context, it
becomes easier to predict contextually appropriate motion. However, traditional
diffusion models are not optimized to refine the retrieved motion. Therefore,
we propose the method of tuning the hyperparameters based on the distance of
the nearest neighbor motion among the dataset to optimize the diffusion model
for refinement. Furthermore, we propose an image-based retrieval method to
retrieve the nearest neighbor motion in inference. Our proposed retrieval
efficiently computes the similarity based on the image features along the
motion trajectory. We demonstrate that R2-Diff accurately predicts appropriate
motions and achieves high task success rates compared to recent
state-of-the-art models in robot manipulation.
- Abstract(参考訳): 画像に基づく動き予測はロボット操作に不可欠な技術の一つである。
様々な予測モデルの中で,様々なアプリケーションで最先端の性能を達成したため,拡散モデルに着目する。
画像に基づく動き予測において、拡散モデルは、画像コンテキストに基づいてランダムなガウス雑音を徐々に denoising することにより、文脈的に適切な動きを確率的に予測する。
拡散モデルはランダムノイズを変化させることで様々な動きを予測できるが、画像コンテキストとは独立にランダムノイズをサンプリングするため、画像に基づいて文脈的に適切な動きを予測できない場合もある。
この問題を解決するためにR2-Diffを提案する。
R2-Diffでは、画像類似性に基づいてデータセットから取得した動きをランダムノイズの代わりに拡散モデルに入力する。
そして、拡散モデルの復調過程を通じて、検索した動きを洗練する。
検索された動きは文脈にほぼ適するため、文脈的に適切な動きを予測するのが容易になる。
しかし、従来の拡散モデルは、取得した動きを洗練するために最適化されていない。
そこで本研究では,データセット間の近接移動距離に基づいてハイパーパラメータをチューニングし,拡散モデルを最適化する手法を提案する。
さらに,最も近い近傍動きを推論で検索する画像ベース検索手法を提案する。
提案手法は,運動軌跡に沿った画像特徴に基づく類似度を効率的に計算する。
我々は,ロボット操作における最近の最先端モデルと比較して,R2-Diffが適切な動作を正確に予測し,高いタスク成功率を達成することを示した。
関連論文リスト
- RoHM: Robust Human Motion Reconstruction via Diffusion [61.16257692011714]
RoHMは、モノクロRGB(-D)ビデオから頑健な3次元人間の動きを復元するためのアプローチである。
ノイズと閉鎖された入力データに条件付けし、一貫した大域座標で完全な可塑性運動を再構成した。
本手法は,テスト時に高速でありながら,定性的かつ定量的に最先端の手法より優れる。
論文 参考訳(メタデータ) (2024-01-16T18:57:50Z) - Diffusion Models With Learned Adaptive Noise [13.688761754326356]
画像間で異なる速度でガウス雑音を適用する学習拡散過程を提案する。
MuLAN は CIFAR-10 と ImageNet の密度推定の最先端を新たに設定する。
論文 参考訳(メタデータ) (2023-12-20T18:00:16Z) - Exploiting Diffusion Prior for Generalizable Pixel-Level Semantic
Prediction [93.35493328885372]
我々は、画素レベルのセマンティック予測タスクの先行として、事前訓練されたT2Iモデルを導入する。
我々は一連の実験を通して拡散過程を再構成し、入力されたRGB画像と出力予測分布との決定論的マッピングを確立する。
限られたドメインのトレーニングデータにもかかわらず、この手法は任意の画像に対して忠実に推定し、既存の最先端のアルゴリズムを超越する。
論文 参考訳(メタデータ) (2023-11-30T18:59:44Z) - Improving Denoising Diffusion Models via Simultaneous Estimation of
Image and Noise [15.702941058218196]
本稿では,逆拡散過程によって生成される画像の速度と品質の向上を目的とした2つの重要なコントリビューションを紹介する。
最初のコントリビューションは、画像と雑音の間の四分円弧上の角度で拡散過程を再パラメータ化することである。
2つ目のコントリビューションは、私たちのネットワークを使ってイメージ(mathbfx_0$)とノイズ(mathbfepsilon$)を直接見積もることです。
論文 参考訳(メタデータ) (2023-10-26T05:43:07Z) - Denoising Diffusion Bridge Models [54.87947768074036]
拡散モデルは、プロセスを使用してデータにノイズをマッピングする強力な生成モデルである。
画像編集のような多くのアプリケーションでは、モデル入力はランダムノイズではない分布から来る。
本研究では, DDBM(Denoising Diffusion Bridge Models)を提案する。
論文 参考訳(メタデータ) (2023-09-29T03:24:24Z) - ExposureDiffusion: Learning to Expose for Low-light Image Enhancement [87.08496758469835]
この研究は、拡散モデルと物理ベースの露光モデルとをシームレスに統合することで、この問題に対処する。
提案手法は,バニラ拡散モデルと比較して性能が大幅に向上し,推論時間を短縮する。
提案するフレームワークは、実際のペア付きデータセット、SOTAノイズモデル、および異なるバックボーンネットワークの両方で動作する。
論文 参考訳(メタデータ) (2023-07-15T04:48:35Z) - Real-World Denoising via Diffusion Model [14.722529440511446]
実世界のイメージデノイングは、自然の環境で撮影されたノイズの多い画像からクリーンなイメージを復元することを目的としている。
拡散モデルは画像生成の分野で非常に有望な結果を得た。
本稿では,実世界の画像のデノナイズに使用可能な,新しい一般デノナイズ拡散モデルを提案する。
論文 参考訳(メタデータ) (2023-05-08T04:48:03Z) - Modiff: Action-Conditioned 3D Motion Generation with Denoising Diffusion
Probabilistic Models [58.357180353368896]
本稿では,現実的で多様な3D骨格に基づく運動生成問題に対処するために,拡散確率モデル(DDPM)の利点を生かした条件付きパラダイムを提案する。
我々はDDPMを用いてカテゴリ的動作で条件付けられた動作列の可変数を合成する先駆的な試みである。
論文 参考訳(メタデータ) (2023-01-10T13:15:42Z) - Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。
シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。
本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
論文 参考訳(メタデータ) (2022-11-24T07:30:27Z) - Human Joint Kinematics Diffusion-Refinement for Stochastic Motion
Prediction [22.354538952573158]
MotionDiffは、人間の関節のキネマティクスを加熱粒子として扱う拡散確率モデルである。
MotionDiffは、多種多様な可塑性運動を生成する空間時間変換器ベースの拡散ネットワークと、出力をさらに洗練するためのグラフ畳み込みネットワークの2つの部分で構成されている。
論文 参考訳(メタデータ) (2022-10-12T07:38:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。