論文の概要: High-Resolution Image Synthesis via Next-Token Prediction

• arxiv url: http://arxiv.org/abs/2411.14808v2
• Date: Sun, 02 Mar 2025 08:53:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-04 16:12:44.750118
• Title: High-Resolution Image Synthesis via Next-Token Prediction
• Title（参考訳）: 次世代予測による高分解能画像合成
• Authors: Dengsheng Chen, Jie Hu, Tiezhu Yue, Xiaoming Wei, Enhua Wu,
• Abstract要約: 連続トークンに基づく自己回帰モデルである textbfD-JEPA$cdot$T2I を導入し、任意の解像度で高品質なフォトリアリスティック画像を最大4Kで生成する。 次世代の予測により,最先端の高精細画像合成を実現する。
• 参考スコア（独自算出の注目度）: 19.97037318862443
• License:
• Abstract: Recently, autoregressive models have demonstrated remarkable performance in class-conditional image generation. However, the application of next-token prediction to high-resolution text-to-image generation remains largely unexplored. In this paper, we introduce \textbf{D-JEPA$\cdot$T2I}, an autoregressive model based on continuous tokens that incorporates innovations in both architecture and training strategy to generate high-quality, photorealistic images at arbitrary resolutions, up to 4K. Architecturally, we adopt the denoising joint embedding predictive architecture (D-JEPA) while leveraging a multimodal visual transformer to effectively integrate textual and visual features. Additionally, we introduce flow matching loss alongside the proposed Visual Rotary Positional Embedding (VoPE) to enable continuous resolution learning. In terms of training strategy, we propose a data feedback mechanism that dynamically adjusts the sampling procedure based on statistical analysis and an online learning critic model. This encourages the model to move beyond its comfort zone, reducing redundant training on well-mastered scenarios and compelling it to address more challenging cases with suboptimal generation quality. For the first time, we achieve state-of-the-art high-resolution image synthesis via next-token prediction.
• Abstract（参考訳）: 近年, 自己回帰モデルは, クラス条件画像生成において顕著な性能を示した。 しかし、高解像度テキスト・画像生成への次トーケン予測の適用については、まだ明らかになっていない。 本稿では,アーキテクチャとトレーニング戦略の両方にイノベーションを取り入れ,任意の解像度で高品質でフォトリアリスティックな画像を最大4Kまで生成する,連続トークンに基づく自己回帰モデルである \textbf{D-JEPA$\cdot$T2I} を紹介する。 建築面では,マルチモーダル・ビジュアル・トランスフォーマーを活用して,テキストや視覚的特徴を効果的に統合しながら,D-JEPA(Denoising Joint Embedding predictive Architecture)を採用する。 さらに,提案するVisual Rotary Positional Embedding (VoPE)と並行してフローマッチング損失を導入し,連続的な解像度学習を実現する。 本稿では,統計的解析に基づいてサンプリング手順を動的に調整するデータフィードバック機構とオンライン学習評論家モデルを提案する。 これにより、モデルが快適ゾーンを越えて移動し、十分にマスターされたシナリオでの冗長なトレーニングを減らし、最適な生成品質を持つより困難なケースに対処するように促す。 次世代の予測により,最先端の高精細画像合成を実現する。

関連論文リスト

• QLIP: Text-Aligned Visual Tokenization Unifies Auto-Regressive Multimodal Understanding and Generation [101.28446308930367]
  Quantized Language-Image Pretraining (QLIP)は、最先端の再構築品質と最先端のゼロショットイメージ理解を組み合わせたものだ。 QLIPは、リコンストラクションと言語イメージアライメントの目的を備えた、二進数量子化に基づくオートエンコーダをトレーニングする。 QLIPは、理解と生成のための複合モダリティ自動回帰モデルを可能にすることを実証する。
  論文  参考訳（メタデータ） (2025-02-07T18:59:57Z)
• Visual Autoregressive Modeling for Image Super-Resolution [14.935662351654601]
  次世代の予測モデルとして, ISRフレームワークの視覚的自己回帰モデルを提案する。 大規模データを収集し、ロバストな生成先行情報を得るためのトレーニングプロセスを設計する。
  論文  参考訳（メタデータ） (2025-01-31T09:53:47Z)
• FlowAR: Scale-wise Autoregressive Image Generation Meets Flow Matching [34.112157859384645]
  本稿では,合理化スケール設計を特徴とする次世代のスケール予測手法であるFlowARを紹介する。 これにより、VARの複雑なマルチスケール残留トークン化器が不要になる。 課題であるImageNet-256ベンチマークにおけるFlowARの有効性を検証する。
  論文  参考訳（メタデータ） (2024-12-19T18:59:31Z)
• Binarized Diffusion Model for Image Super-Resolution [61.963833405167875]
  超圧縮アルゴリズムであるバイナリ化は、高度な拡散モデル(DM)を効果的に加速する可能性を提供する 既存の二項化法では性能が著しく低下する。 画像SRのための新しいバイナライズ拡散モデルBI-DiffSRを提案する。
  論文  参考訳（メタデータ） (2024-06-09T10:30:25Z)
• Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
  本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。 学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。 提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
  論文  参考訳（メタデータ） (2023-12-22T14:40:55Z)
• OT-Attack: Enhancing Adversarial Transferability of Vision-Language Models via Optimal Transport Optimization [65.57380193070574]
  視覚言語事前学習モデルは、マルチモーダル対逆例に対して脆弱である。 近年の研究では、データ拡張と画像-テキストのモーダル相互作用を活用することで、対向的な例の転送可能性を高めることが示されている。 本稿では,OT-Attack と呼ばれる最適輸送方式の敵攻撃を提案する。
  論文  参考訳（メタデータ） (2023-12-07T16:16:50Z)
• A Layer-Wise Tokens-to-Token Transformer Network for Improved Historical Document Image Enhancement [13.27528507177775]
  Tokens-to-token Vision Transformer に基づく新しい文書バイナライゼーション・エンコーダ・デコーダアーキテクチャである textbfT2T-BinFormer を提案する。 様々なDIBCOおよびH-DIBCOベンチマークの実験により、提案モデルは既存のCNNおよびViTベースの最先端手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-12-06T23:01:11Z)
• Text-driven Visual Synthesis with Latent Diffusion Prior [37.736313030226654]
  本稿では,様々な視覚合成タスクにおいて,遅延拡散モデルを用いた画像先行処理の汎用的手法を提案する。 提案手法の有効性を,テキストから3D,スタイルGAN適応,階層画像編集の3つの異なるアプリケーションで実証する。
  論文  参考訳（メタデータ） (2023-02-16T18:59:58Z)
• COTS: Collaborative Two-Stream Vision-Language Pre-Training Model for Cross-Modal Retrieval [59.15034487974549]
  画像テキスト検索のための新しいコラボレーティブな2ストリームビジョン言語事前学習モデルCOTSを提案する。 我々のCOTSは,2ストリーム方式の中で最も高い性能を達成し,推論の速度は10,800倍に向上した。 重要なことは、我々のCOTSはテキストからビデオへの検索にも適用でき、広く使われているMSR-VTTデータセットに新たな最先端技術をもたらすことである。
  論文  参考訳（メタデータ） (2022-04-15T12:34:47Z)
• Causal Contextual Prediction for Learned Image Compression [36.08393281509613]
  本稿では,逐次的復号化プロセスを利用して潜在空間における因果文脈のエントロピー予測を行うために,分離エントロピー符号化の概念を提案する。 チャネル間の潜伏を分離し、チャネル間の関係を利用して高度に情報的コンテキストを生成する因果コンテキストモデルを提案する。 また、未知点の正確な予測のためのグローバル参照ポイントを見つけることができる因果的大域的予測モデルを提案する。
  論文  参考訳（メタデータ） (2020-11-19T08:15:10Z)
• Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
  形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。 ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。 合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
  論文  参考訳（メタデータ） (2020-04-01T12:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。