論文の概要: Iris-3B: Going Beyond the Latent with Pixel-Space Diffusion Training, Conversion and Fine-Tuning
- arxiv url: http://arxiv.org/abs/2610.09450v1
- Date: Wed, 07 Oct 2026 05:07:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.721132
- Title: Iris-3B: Going Beyond the Latent with Pixel-Space Diffusion Training, Conversion and Fine-Tuning
- Title（参考訳）: Iris-3B:Pixel-Space Diffusion Training, Conversion, Fine-Tuningで潜伏中
- Abstract要約: ピクセル空間のテキスト・画像変換装置Iris-3Bをスクラッチから256～512～1024ドルのカリキュラムに事前トレーニングします。
単眼深度推定と画像復元・超解像の両家系を微調整する。
Iris-3Bは、PixelDiTのピクセルトランスフォーマー(PiT)ヘッドでプレトレーニングされたピクセル空間が、3Bパラメータにスケールし、潜在モデルと競合するテキスト-画像品質を示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Pixel-space diffusion models avoid the lossy VAE of latent models, which suggests an advantage on downstream tasks where fine-grained detail matters. We test this claim along both routes to a pixel-space backbone. We pretrain Iris-3B, a 3B-parameter pixel-space text-to-image transformer, from scratch through a $256\to512\to1024$ curriculum, after first ablating the prediction target and representation alignment at $256^2$ to decide what to scale. We also convert a pretrained latent model, FLUX.2 Klein base 4B, to pixel space. We fine-tune both families for monocular depth estimation and for image restoration/super-resolution. We find no significant improvement from using a pixel-space generative prior. Fine-tuned for depth with one matched direct-regression recipe, Iris-3B is level with the latent FLUX.2 Klein and the converted pixel FLUX.2 Klein falls behind it, and on $4\times$ DIV2K restoration neither pixel model beats a latent FLUX.2 Klein fine-tune, the converted one trailing it slightly. We document the recipes, the failure modes and the remaining confounds behind this negative result. Nevertheless, Iris-3B shows that pixel-space pretraining with the pixel-transformer (PiT) head of PixelDiT scales to 3B parameters and to text-to-image quality competitive with latent models, matching Qwen-Image on OneIG under the official evaluators at $1024^2$. We release its weights and training code in the hope that they help pave the way for further work on pixel-space generation.
- Abstract（参考訳）: 画素空間拡散モデルは、細かな詳細が重要となる下流タスクにおいて有利である、潜在モデルの失われたVAEを避ける。
私たちはこの主張を、両方のルートに沿ってピクセル空間のバックボーンでテストします。
我々は、まず予測対象と表現アライメントを256^2$で破り、スケールを決定するために、3Bパラメーターのテキスト・イメージ・トランスフォーマーであるIris-3Bを、スクラッチから256\to512\to1024$のカリキュラムに事前訓練した。
また、事前訓練された潜在モデルFLUX.2も変換する。
クラインベース4Bからピクセル空間。
単眼深度推定と画像復元・超解像の両家系を微調整する。
画素空間の生成に先立って, 顕著な改善が得られなかった。
Iris-3Bは1つのマッチした直接回帰レシピで奥行きを調整し、潜伏するFLUX.2と同レベルである。
Kleinと変換されたピクセルFLUX.2
4ドル(約4,800円)のDIV2Kは、ピクセルモデルもFLUX.2に勝てない。
クライン・ファインチューン(Klein fine-Tune)、改造されたチューンが少し後を追った。
このネガティブな結果の背後にあるレシピ、失敗モード、および残りの欠点を文書化します。
それでもIris-3Bは、PixelDiTのピクセルトランスフォーマー(PiT)ヘッドでプレトレーニングされたピクセル空間が、3Bパラメータにスケールし、潜在モデルと競合するテキストと画像の品質を示し、公式評価値1024^2$でOneIG上のQwen-Imageと一致することを示した。
われわれは、ピクセル空間生成のさらなる取り組みに役立つことを期待して、その重みとトレーニングコードをリリースした。
関連論文リスト
- PixelDense: Dense Prediction as Representation Alignment for Pixel Diffusion [61.73827573364792]
表現アライメント(REPA)は拡散トランスフォーマートレーニングを加速させる。
最近の分析では、アライメント効果の担体として、大域的な意味論ではなく空間構造が指摘されている。
我々は,DINOv2とSAM2をセマンティックプロジェクションストリームでルーティングするPixelDenseを導入し,Depth Anything v2とMetric3D v2を幾何学的プロジェクションストリームでルーティングする。
論文 参考訳（メタデータ） (2026-09-30T18:00:13Z) - PixelDiT2: Representation-Grounded Pixel Diffusion Transformers [40.53372410965721]
PixelDiT2は、ピクセル生成から表現学習を分離するために設計された、エンドツーエンドのピクセル空間拡散モデルである。
ImageNet-256x256では、PixelDiT2は600エポック後のFIDが1.46、解像度が512x512、PixelDiT2は680エポック後のFIDが1.48である。
論文 参考訳（メタデータ） (2026-09-21T17:17:39Z) - DepthART: Scaling Foundation Monocular Depth to Tiny Models [51.10174763031444]
DepthARTは、様々なシーンにまたがるデバイス上のデプロイメントのためのコンパクトなMDEモデルである。
ゼロショット一般化とメートル法精度の両方において、DepthARTが従来の小さなベースラインを一貫して上回っていることを示す。
また、GTX A6000で347/245 FPS (strict FP32)、Orin NX 8GBで2242/4482ドル、102 FPS (TF32)、Jetson Nano 4GBで15 FPS (FP32) に達したスケーラブルなモデルファミリも提供しています。
論文 参考訳（メタデータ） (2026-07-19T06:54:52Z) - TESSERA v2: Scaling Pixel-wise Earth Foundation Models [0.0]
本稿では,地球観測画素単位の基礎モデルについて,これまでで最大規模で評価したスケーリングモデルについて述べる。
395のトレーニングは1024GH200スーパーチップ上で、固定画素ワイドのバーロウツインズファミリー内で実行される。
埋め込み・データ配置のためのコンパクトな学生に画素単位のモデルを蒸留する。
論文 参考訳（メタデータ） (2026-07-04T16:52:34Z) - ZipSplat: Fewer Gaussians, Better Splats [89.08529100444004]
本稿では,ガウス配置を画素グリッドから分離するトークンベースのフィードフォワードモデルZipSplatを提案する。
クロスアテンションとセルフアテンションはこれらのトークンを洗練させ、単一のトレーニングされたモデルは、再トレーニングせずに品質-効率曲線にまたがる。
ZipSplatは、画期的なポーズや内在的ポーズなしで動作しますが、DL3DVとRealEstate10Kに新しい状態を設定します。
論文 参考訳（メタデータ） (2026-06-03T17:04:30Z) - PixelPrune: Pixel-Level Adaptive Visual Token Reduction via Predictive Coding [10.881130305325767]
PixelPruneは、予測符号化ベースの圧縮を通じてピクセルレベルの冗長性を利用する。
ピクセルロスレス圧縮と制御された損失圧縮をサポートする。
実験の結果、PixelPruneは最大4.2$times$推論のスピードアップを提供しながら、競争力のあるタスクの精度を維持していることがわかった。
論文 参考訳（メタデータ） (2026-04-01T13:33:27Z) - PixelDiT: Pixel Diffusion Transformers for Image Generation [48.456815413366535]
PixelDiTはDiffusion Transformers用の単一ステージのエンドツーエンドモデルである。
オートエンコーダの必要性を排除し、ピクセル空間内で拡散過程を直接学習する。
ImageNet 256x256で1.61 FIDを達成し、既存のピクセル生成モデルを大きく上回っている。
論文 参考訳（メタデータ） (2025-11-25T18:59:25Z) - PixNerd: Pixel Neural Field Diffusion [30.872185815524286]
本稿では、ニューラルネットワークを用いてパッチワイズデコーディングをモデル化し、単一スケール、単一ステージ、効率的、エンドツーエンドのソリューションを提案する。
PixNerdの効率的なニューラルネットワーク表現のおかげで、ImageNetで2.15 FID、ImageNetで2.56times256$、2.84 FIDを、複雑なカスケードパイプラインやVAEなしで直接達成しました。
論文 参考訳（メタデータ） (2025-07-31T06:07:20Z) - EpiGRAF: Rethinking training of 3D GANs [60.38818140637367]
本稿では,SotA画像品質の高い高解像度3Dジェネレータを,パッチワイズを単純に訓練するまったく異なる経路を辿ることによって実現可能であることを示す。
EpiGRAFと呼ばれる結果のモデルは、効率的で高解像度で純粋な3Dジェネレータである。
論文 参考訳（メタデータ） (2022-06-21T17:08:23Z) - PixelFolder: An Efficient Progressive Pixel Synthesis Network for Image
Generation [88.55256389703082]
Pixelは画像生成のための有望な研究パラダイムである。
本稿では,Pixel のような効率的な画像生成に向けたプログレッシブピクセル合成ネットワークを提案する。
Pixelは支出を大幅に減らし、2つのベンチマークデータセットで新しい最先端(SOTA)パフォーマンスを得る。
論文 参考訳（メタデータ） (2022-04-02T10:55:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。