論文の概要: USP: Unified Self-Supervised Pretraining for Image Generation and Understanding

• arxiv url: http://arxiv.org/abs/2503.06132v1
• Date: Sat, 08 Mar 2025 09:01:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 20:09:44.196009
• Title: USP: Unified Self-Supervised Pretraining for Image Generation and Understanding
• Title（参考訳）: USP: イメージ生成と理解のための自己監督型トレーニングの統合
• Authors: Xiangxiang Chu, Renda Li, Yong Wang,
• Abstract要約: Unified Self-supervised Pretraining (USP) は、変分オートエンコーダ(VAE)潜時空間におけるマスク付き潜時モデリングにより拡散モデルを初期化するフレームワークである。 USPは、拡散モデルの収束速度と生成品質を大幅に改善しながら、理解タスクにおいて同等のパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 15.717333276867462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have highlighted the interplay between diffusion models and representation learning. Intermediate representations from diffusion models can be leveraged for downstream visual tasks, while self-supervised vision models can enhance the convergence and generation quality of diffusion models. However, transferring pretrained weights from vision models to diffusion models is challenging due to input mismatches and the use of latent spaces. To address these challenges, we propose Unified Self-supervised Pretraining (USP), a framework that initializes diffusion models via masked latent modeling in a Variational Autoencoder (VAE) latent space. USP achieves comparable performance in understanding tasks while significantly improving the convergence speed and generation quality of diffusion models. Our code will be publicly available at https://github.com/cxxgtxy/USP.
• Abstract（参考訳）: 近年,拡散モデルと表現学習の相互作用が注目されている。 拡散モデルからの中間表現は下流の視覚タスクに利用でき、自己監督型視覚モデルは拡散モデルの収束と生成品質を高めることができる。 しかし、入力ミスマッチや潜在空間の使用により、事前訓練された重量を視覚モデルから拡散モデルに転送することは困難である。 これらの課題に対処するために,変分オートエンコーダ (VAE) 潜時空間におけるマスク付き潜時モデリングにより拡散モデルを初期化するフレームワークである統一自己監督事前学習 (USP) を提案する。 USPは、拡散モデルの収束速度と生成品質を大幅に改善しながら、理解タスクにおいて同等のパフォーマンスを達成する。 私たちのコードはhttps://github.com/cxxgtxy/USP.comで公開されます。

関連論文リスト

• Dual Diffusion for Unified Image Generation and Understanding [32.7554623473768]
  マルチモーダル理解と生成のための大規模かつ完全なエンドツーエンド拡散モデルを提案する。 我々は、画像とテキストの条件付き確率を同時にトレーニングするクロスモーダル最大推定フレームワークを活用する。 我々のモデルは、最近の統合画像理解・生成モデルと比較して、競争性能が向上した。
  論文  参考訳（メタデータ） (2024-12-31T05:49:00Z)
• ACDiT: Interpolating Autoregressive Conditional Modeling and Diffusion Transformer [95.80384464922147]
  連続的な視覚生成には、フルシーケンスの拡散に基づくアプローチが必要である。 本稿では,自己回帰的ブロックワイド条件拡散変換器ACDiTを提案する。 本稿では,拡散目標を訓練しながら,視覚理解タスクにACDiTをシームレスに使用できることを実証する。
  論文  参考訳（メタデータ） (2024-12-10T18:13:20Z)
• DEEM: Diffusion Models Serve as the Eyes of Large Language Models for Image Perception [66.88792390480343]
  本稿では,拡散モデルの生成的フィードバックを利用して画像エンコーダのセマンティックな分布を整合させる,シンプルだが効果的なアプローチであるDEEMを提案する。 DEEMは、トレーニング可能なパラメータが少なく、事前学習データが少なく、ベースモデルのサイズが小さいことを利用して、モデル幻覚を軽減するために、強化された堅牢性と優れた能力を示す。
  論文  参考訳（メタデータ） (2024-05-24T05:46:04Z)
• What Matters When Repurposing Diffusion Models for General Dense Perception Tasks? [49.84679952948808]
  最近の研究は、高密度知覚タスクのためのT2I拡散モデルを簡単に調整することで有望な結果を示す。 拡散前処理における伝達効率と性能に影響を及ぼす重要な要因を徹底的に検討する。 我々の研究は、濃密な視覚認知タスクに特化した効果的な決定論的ワンステップ微調整パラダイムであるGenPerceptの開発において頂点に達した。
  論文  参考訳（メタデータ） (2024-03-10T04:23:24Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• Bridging Generative and Discriminative Models for Unified Visual Perception with Diffusion Priors [56.82596340418697]
  本稿では,豊富な生成前駆体を含む事前学習型安定拡散(SD)モデルと,階層的表現を統合可能な統一型ヘッド(Uヘッド)と,識別前駆体を提供する適応型専門家からなる,シンプルで効果的なフレームワークを提案する。 包括的調査では、異なる時間ステップで潜伏変数に隠された知覚の粒度や様々なU-netステージなど、バーマスの潜在的な特性が明らかになった。 有望な結果は,有望な学習者としての拡散モデルの可能性を示し,情報的かつ堅牢な視覚表現の確立にその意義を定めている。
  論文  参考訳（メタデータ） (2024-01-29T10:36:57Z)
• Adaptive Training Meets Progressive Scaling: Elevating Efficiency in Diffusion Models [52.1809084559048]
  TDCトレーニングと呼ばれる新しい2段階分割型トレーニング戦略を提案する。 タスクの類似性と難易度に基づいてタイムステップをグループ化し、高度にカスタマイズされた復調モデルを各グループに割り当て、拡散モデルの性能を向上させる。 2段階のトレーニングでは、各モデルを個別にトレーニングする必要がなくなるが、総トレーニングコストは、単一の統合されたデノナイジングモデルをトレーニングするよりもさらに低い。
  論文  参考訳（メタデータ） (2023-12-20T03:32:58Z)
• Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
  ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。 本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-14T11:19:11Z)
• Crossway Diffusion: Improving Diffusion-based Visuomotor Policy via Self-supervised Learning [42.009856923352864]
  拡散モデルは、シーケンス・モデリング方式で行動的クローニングに採用されている。 拡散に基づくビジュモータポリシー学習の簡易かつ効果的な手法であるクロスウェイ拡散を提案する。 シミュレーションおよび実世界のロボット作業におけるクロスウェイ拡散の有効性を実証した。
  論文  参考訳（メタデータ） (2023-07-04T17:59:29Z)
• A Survey of Diffusion Models in Natural Language Processing [11.233768932957771]
  拡散モデルは、ネットワークや多様体にまたがる情報や信号の拡散を捉える。 本稿は,NLPで使用される拡散モデルの異なる定式化,その強度と限界,それらの応用について論じる。
  論文  参考訳（メタデータ） (2023-05-24T03:25:32Z)
• Diffusion Models as Masked Autoencoders [52.442717717898056]
  拡散モデルに対する近年の関心を踏まえて、生成的に事前学習された視覚表現を再考する。 拡散モデルによる直接事前学習では強い表現は得られないが、マスク付き入力上での拡散モデルと公式拡散モデルをマスク付きオートエンコーダ(DiffMAE)として条件付ける。 設計選択の長所と短所について包括的な研究を行い、拡散モデルとマスク付きオートエンコーダ間の接続を構築する。
  論文  参考訳（メタデータ） (2023-04-06T17:59:56Z)
• Diffusion Models in Vision: A Survey [73.10116197883303]
  拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。 拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
  論文  参考訳（メタデータ） (2022-09-10T22:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。