論文の概要: ReCorD: Reasoning and Correcting Diffusion for HOI Generation
- arxiv url: http://arxiv.org/abs/2407.17911v1
- Date: Thu, 25 Jul 2024 10:06:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-26 14:28:24.760773
- Title: ReCorD: Reasoning and Correcting Diffusion for HOI Generation
- Title（参考訳）: ReCorD:HOI生成のための推論と修正拡散
- Authors: Jian-Yu Jiang-Lin, Kang-Yang Huang, Ling Lo, Yi-Ning Huang, Terence Lin, Jhih-Ciang Wu, Hong-Han Shuai, Wen-Huang Cheng,
- Abstract要約: これらの課題に対処するために、Reasoning and Correcting Diffusion (ReCorD)を導入します。
我々のモデルは、生成プロセスを洗練させるために、潜在拡散モデルとビジュアル言語モデルを結合する。
我々は3つのベンチマークで包括的な実験を行い、テキスト・画像生成タスクの大幅な進歩を実証した。
- 参考スコア（独自算出の注目度）: 26.625822483049426
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion models revolutionize image generation by leveraging natural language to guide the creation of multimedia content. Despite significant advancements in such generative models, challenges persist in depicting detailed human-object interactions, especially regarding pose and object placement accuracy. We introduce a training-free method named Reasoning and Correcting Diffusion (ReCorD) to address these challenges. Our model couples Latent Diffusion Models with Visual Language Models to refine the generation process, ensuring precise depictions of HOIs. We propose an interaction-aware reasoning module to improve the interpretation of the interaction, along with an interaction correcting module to refine the output image for more precise HOI generation delicately. Through a meticulous process of pose selection and object positioning, ReCorD achieves superior fidelity in generated images while efficiently reducing computational requirements. We conduct comprehensive experiments on three benchmarks to demonstrate the significant progress in solving text-to-image generation tasks, showcasing ReCorD's ability to render complex interactions accurately by outperforming existing methods in HOI classification score, as well as FID and Verb CLIP-Score. Project website is available at https://alberthkyhky.github.io/ReCorD/ .
- Abstract（参考訳）: 拡散モデルは、自然言語を利用してマルチメディアコンテンツの作成をガイドすることで、画像生成に革命をもたらす。
このような生成モデルに大きな進歩があったにも拘わらず、特にポーズや物体の配置の正確さに関して、詳細な人間と物体の相互作用を描写することの課題は続いている。
これらの課題に対処するために,Reasoning and Correcting Diffusion (ReCorD) というトレーニングフリー手法を導入する。
我々のモデルは、潜在拡散モデルと視覚言語モデルを結合して生成プロセスを洗練し、HOIの正確な描写を確実にする。
本稿では,インタラクションの解釈を改善するためのインタラクション対応推論モジュールと,より精密なHOI生成のために出力画像を洗練するためのインタラクション修正モジュールを提案する。
ReCorDは、ポーズ選択とオブジェクト位置決めの綿密なプロセスを通じて、効率的な計算要求を低減しつつ、生成された画像の忠実度を向上する。
我々は,テキスト・画像生成タスクの大幅な進歩を示すために,HOI分類スコアの既存手法,FID,Verb CLIP-Scoreを上回り,複雑なインタラクションを正確にレンダリングするReCorDの能力を示すために,3つのベンチマークで包括的な実験を行った。
プロジェクトのWebサイトはhttps://alberthkyhky.github.io/ReCorD/ で公開されている。
関連論文リスト
- MMAR: Towards Lossless Multi-Modal Auto-Regressive Probabilistic Modeling [64.09238330331195]
本稿では,MMAR(Multi-Modal Auto-Regressive)確率モデルフレームワークを提案する。
離散化の手法とは異なり、MMARは情報損失を避けるために連続的に評価された画像トークンを取り入れる。
MMARは他のジョイントマルチモーダルモデルよりもはるかに優れた性能を示す。
論文 参考訳（メタデータ） (2024-10-14T17:57:18Z) - DreamMover: Leveraging the Prior of Diffusion Models for Image Interpolation with Large Motion [35.60459492849359]
本研究では,大きな動きを持つ画像対から中間画像を生成する問題について検討する。
大きな動きのため、中間的な意味情報は入力画像に欠落する可能性がある。
3つの主要コンポーネントを持つ新しいイメージフレームワークであるDreamMoverを提案する。
論文 参考訳（メタデータ） (2024-09-15T04:09:12Z) - Iterative Object Count Optimization for Text-to-image Diffusion Models [59.03672816121209]
画像とテキストのペアから学ぶ現在のモデルは、本質的にカウントに苦慮している。
本稿では,物体のポテンシャルを集計する計数モデルから得られた計数損失に基づいて生成画像の最適化を提案する。
様々なオブジェクトの生成を評価し,精度を大幅に向上させた。
論文 参考訳（メタデータ） (2024-08-21T15:51:46Z) - Towards Better Text-to-Image Generation Alignment via Attention Modulation [16.020834525343997]
本研究では,拡散モデルに対する注意の変調による学習自由な位相ワイズ機構である属性焦点機構を提案する。
クロスアテンションモジュールには、オブジェクト指向マスキングスキームと位相ワイドダイナミックウェイトコントロール機構が組み込まれている。
様々なアライメントシナリオにおける実験結果から,我々のモデルは最小の計算コストでより優れた画像テキストアライメントを実現することができた。
論文 参考訳（メタデータ） (2024-04-22T06:18:37Z) - RL for Consistency Models: Faster Reward Guided Text-to-Image Generation [15.238373471473645]
強化学習(RL)を用いた微調整一貫性モデルのためのフレームワークを提案する。
RLCM(Reinforcement Learning for Consistency Model)と呼ばれる我々のフレームワークは、一貫性モデルの反復推論プロセスをRLプロシージャとしてフレーム化します。
RL微調整拡散モデルと比較して、RCCMの列車は大幅に高速で、報奨目標に基づいて測定された生成の質を向上し、2段階の推論ステップで高品質な画像を生成することにより推論手順を高速化する。
論文 参考訳（メタデータ） (2024-03-25T15:40:22Z) - DivCon: Divide and Conquer for Progressive Text-to-Image Generation [0.0]
拡散駆動型テキスト・ツー・イメージ(T2I)生成は顕著な進歩を遂げた。
レイアウトは、大きな言語モデルとレイアウトベースの拡散モデルを橋渡しするためのインターメジウムとして使用される。
本稿では,T2I生成タスクを単純なサブタスクに分解する分割対コンカレント手法を提案する。
論文 参考訳（メタデータ） (2024-03-11T03:24:44Z) - Steered Diffusion: A Generalized Framework for Plug-and-Play Conditional
Image Synthesis [62.07413805483241]
Steered Diffusionは、無条件生成のために訓練された拡散モデルを用いたゼロショット条件画像生成のためのフレームワークである。
塗装,着色,テキスト誘導セマンティック編集,画像超解像などのタスクに対して,ステアリング拡散を用いた実験を行った。
論文 参考訳（メタデータ） (2023-09-30T02:03:22Z) - RenAIssance: A Survey into AI Text-to-Image Generation in the Era of
Large Model [93.8067369210696]
テキスト・ツー・イメージ生成(テキスト・トゥ・イメージ・ジェネレーション、英: Text-to-image Generation、TTI)とは、テキスト入力を処理し、テキスト記述に基づいて高忠実度画像を生成するモデルである。
拡散モデル (diffusion model) は、繰り返しステップによるノイズの体系的導入を通じて画像の生成に使用される顕著な生成モデルである。
大規模モデルの時代、モデルサイズを拡大し、大規模言語モデルとの統合により、TTIモデルの性能がさらに向上した。
論文 参考訳（メタデータ） (2023-09-02T03:27:20Z) - Composing Ensembles of Pre-trained Models via Iterative Consensus [95.10641301155232]
本稿では,異なる事前学習モデルのアンサンブルを構成するための統一的なフレームワークを提案する。
事前学習したモデルを「ジェネレータ」あるいは「スコーラ」として使用し、クローズドループ反復コンセンサス最適化により構成する。
スコアラーのアンサンブルによって達成されたコンセンサスは、シングルスコアラーのフィードバックよりも優れていることを示す。
論文 参考訳（メタデータ） (2022-10-20T18:46:31Z) - DynaST: Dynamic Sparse Transformer for Exemplar-Guided Image Generation [56.514462874501675]
本稿では,動的スパースアテンションに基づくトランスフォーマーモデルを提案する。
このアプローチの核心は、ある位置がフォーカスすべき最適なトークン数の変化をカバーすることに特化した、新しいダイナミックアテンションユニットです。
3つの応用、ポーズ誘導型人物画像生成、エッジベース顔合成、歪みのない画像スタイル転送の実験により、DynaSTは局所的な詳細において優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2022-07-13T11:12:03Z) - Incorporating Reinforced Adversarial Learning in Autoregressive Image
Generation [39.55651747758391]
本稿では,自己回帰モデルに対するポリシー勾配最適化に基づく強化適応学習(RAL)を提案する。
RALはまた、VQ-VAEフレームワークの異なるモジュール間のコラボレーションを強化する。
提案手法は,64$times$64画像解像度でCelebaの最先端結果を実現する。
論文 参考訳（メタデータ） (2020-07-20T08:10:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。