論文の概要: Embedding Prediction Helps Image Generation

• arxiv url: http://arxiv.org/abs/2610.02203v1
• Date: Thu, 01 Oct 2026 17:59:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.37431
• Title: Embedding Prediction Helps Image Generation
• Title（参考訳）: 埋め込み予測は画像生成に役立つ
• Abstract要約: 拡散変圧器では、クラスラベルまたはテキストプロンプトを一度埋め込み、同一条件を除音ステップ毎に再利用する。 予測埋め込みが代わりにこの条件として機能するかどうかを問う。 Next-Embedding Predictive Autoregression (NEPA)はTransformerをトレーニングして、次の連続的な埋め込みをシーケンスで予測する。 クリーンな画像はノイズの多い画像に追従するので、その埋め込みは条件後の次の埋め込みとノイズの多い画像である。
• 参考スコア（独自算出の注目度）: 29.419862221974856
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In diffusion transformers, a class label or a text prompt is embedded once, and the same condition is reused at every denoising step. We ask whether predicted embeddings can serve as this condition instead. Next-Embedding Predictive Autoregression (NEPA) trains a Transformer to predict the next continuous embedding in a sequence. In generation, the clean image follows the noisy image, so its embeddings are the next embeddings after the condition and the noisy image. We train a NEPA model to predict them all at once with Multi-Embedding Prediction, and in Embedding Conditioned Generation, a DiT generator is conditioned on these predictions, recomputed at every denoising step, so the conditioning signal adapts to the current noisy state. Experiments on class-conditional ImageNet $256\times256$ study the condition of the generator, the design of Multi-Embedding Prediction, and the scaling of both models. The NEPA model adds a second network to every sampling step; with it, and combined with REPA, our final model, NEPA-DiT-XL, reaches an FID of 1.32 using about a third of the training compute of REPA.
• Abstract（参考訳）: 拡散変圧器では、クラスラベルまたはテキストプロンプトを一度埋め込み、同一条件を除音ステップ毎に再利用する。 予測埋め込みが代わりにこの条件として機能するかどうかを問う。 Next-Embedding Predictive Autoregression (NEPA)はTransformerをトレーニングして、次の連続的な埋め込みをシーケンスで予測する。 クリーンな画像はノイズ画像に続くので、その埋め込みは条件後の次の埋め込みとノイズ画像である。 組込み条件生成では、これらの予測に基づいてDiTジェネレータを条件付きステップ毎に再計算し、条件付け信号が現在の雑音に適応する。 クラス条件の画像Net$256\times256$の実験では、ジェネレータの状態、マルチ埋め込み予測の設計、両方のモデルのスケーリングについて研究している。 NEPAモデルはサンプリングステップ毎に第2のネットワークを追加し、REPAと組み合わせることで、REPAのトレーニング計算の約3分の1を使用して、NEPA-DiT-XLのFIDが1.32に達する。

関連論文リスト

• RepFlow: Reciprocal Supervision Improves Generation and Representation in Flow Models [19.714780051182363]
  生成モデルでは、ノイズの除去によって視覚構造を学習するが、内部状態はノイズレベルとネットワーク深さの両方で絡み合っている。 本稿では、生成器の進化する計算からそのような表現を学習し、生成をガイドするRepFlowを紹介する。
  論文  参考訳（メタデータ） (2026-09-27T04:57:19Z)
• Represent, Then Generate: Multimodal-Conditioned Time-Series Generation under Irregular Missingness [37.09931242741748]
  ターゲット生成からマルチモーダル条件表現を分離する2段階のフレームワークを提案する。 ステージ1はモードごとに1つのマスク付きオートエンコーダを訓練し、それぞれの時間変化条件をコンパクトで耐障害性のトークンシーケンスに蒸留する。 ステージIIは、これらのトークンを静的な条件で融合してターゲット信号を合成するフローマッチングジェネレータを訓練する。
  論文  参考訳（メタデータ） (2026-08-12T21:04:44Z)
• Dual-Solver: A Generalized ODE Solver for Diffusion Models with Dual Prediction [0.26856688022781555]
  学習可能なパラメータによって多段階のサンプルを一般化するDual-rを導入する。 2階局所精度を維持しながら、標準的な予測器・相関器構造を維持している。 FIDおよびCLIPスコアは、背骨全体にわたる低NFEレギュレーションで改善される。
  論文  参考訳（メタデータ） (2026-03-04T12:14:52Z)
• Speculative Jacobi-Denoising Decoding for Accelerating Autoregressive Text-to-image Generation [110.28291466364784]
  Speculative Jacobi-Denoising Decoding (SJD2) は、自動回帰モデルでパラレルトークン生成を可能にするために、デノナイズプロセスをJacobiに組み込むフレームワークである。 提案手法では,事前学習した自己回帰モデルに対して,ノイズ・摂動トークンの埋め込みを受理できる次クリーンな予測パラダイムを導入する。
  論文  参考訳（メタデータ） (2025-10-10T04:30:45Z)
• NMformer: A Transformer for Noisy Modulation Classification in Wireless Communication [19.225546116534165]
  無線通信におけるノイズレベルの異なるチャネル変調画像を予測するために,NMformerという視覚変換器(ViT)モデルを提案する。 VTはRGB画像に最も有効であるため、変調信号から星座図を生成する。 提案モデルには,2種類の予測設定(分布内と分布外)がある。
  論文  参考訳（メタデータ） (2024-10-30T21:10:12Z)
• Improving Diffusion-Based Image Synthesis with Context Prediction [49.186366441954846]
  既存の拡散モデルは、主に、劣化した画像から空間軸に沿って画素幅または特徴幅の制約で入力画像を再構成しようとする。 文脈予測を用いて拡散に基づく画像合成を改善するためのConPreDiffを提案する。 我々のConPreDiffは従来手法を一貫して上回り、ゼロショットFIDスコア6.21で、MS-COCO上で新たなSOTAテキスト・画像生成結果を達成する。
  論文  参考訳（メタデータ） (2024-01-04T01:10:56Z)
• Exploiting Diffusion Prior for Generalizable Dense Prediction [85.4563592053464]
  近年のテキスト・トゥ・イメージ(T2I)拡散モデルでは、既成の高密度予測器では予測できないことがある。 我々は,事前学習したT2Iモデルを用いたパイプラインDMPを,高密度予測タスクの先駆けとして導入する。 限られたドメインのトレーニングデータにもかかわらず、この手法は任意の画像に対して忠実に推定し、既存の最先端のアルゴリズムを超越する。
  論文  参考訳（メタデータ） (2023-11-30T18:59:44Z)
• Locally Masked Convolution for Autoregressive Models [107.4635841204146]
  LMConvは標準的な2Dコンボリューションの簡単な修正であり、任意のマスクを画像の各位置の重みに適用することができる。 我々は,パラメータを共有するが生成順序が異なる分布推定器のアンサンブルを学習し,全画像密度推定の性能を向上させる。
  論文  参考訳（メタデータ） (2020-06-22T17:59:07Z)
• Sample Complexity Bounds for 1-bit Compressive Sensing and Binary Stable Embeddings with Generative Priors [52.06292503723978]
  生成モデルを用いた圧縮センシングの進歩により, 生成モデルを用いた1ビット圧縮センシングの問題点を考察した。 まずノイズのない1ビット測定を考察し, ガウス測度に基づく近似回復のためのサンプル複雑性境界を提供する。 また,リプシッツ連続生成モデルを用いた1ビット圧縮センシングにも有効であることを示すため,評価誤差と雑音に対する再構成の堅牢性を示すBinary $epsilon$-Stable Embedding特性を実証した。
  論文  参考訳（メタデータ） (2020-02-05T09:44:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。