論文の概要: From Pixels, Without Pre-training: Joint Generative and Self-Supervised Representation Learning in One Model

• arxiv url: http://arxiv.org/abs/2610.05711v1
• Date: Mon, 05 Oct 2026 02:51:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.479483
• Title: From Pixels, Without Pre-training: Joint Generative and Self-Supervised Representation Learning in One Model
• Title（参考訳）: 事前学習なしのPixelから:1つのモデルにおける共同生成型と自己監督型表現学習
• Abstract要約: ラベル付きモデルや事前学習モデルなしで自己条件付き生成が可能な,共同生成型および自己教師型表現学習を単一モデルで研究する。 本稿では,フロータイムステップと埋め込みを条件とした単一ピクセル空間エンコーダであるSCIONを提案する。 表現学習では、この条件付埋め込みがイメージ自身の表現であり、パッチトークンはデコーダを通過してイメージを予測する。
• 参考スコア（独自算出の注目度）: 32.83274424508216
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Strong image generation models are conditioned on class labels, aligned to frozen pretrained encoders, or built on separately trained autoencoders. While effective, generation then depends on supervision or pretraining: labels must be annotated, and encoders or autoencoders pretrained for the target domain. We study joint generative and self-supervised representation learning in a single model, enabling self-conditioned generation without labels or pretrained models. This is challenging because the objectives are mismatched: contrastive learning consumes clean augmented views and favors coarse, invariant semantics, while flow matching consumes noisy images and must preserve the fine detail and spatial layout that contrastive learning discards. We propose SCION (Self-conditioned Generation on Self-supervised representation), whose core is a single pixel-space encoder conditioned on the flow timestep and an embedding. For representation learning, this conditioning embedding is a learned global vector shared across images, with the encoder's [CLS] token yielding the semantic representation trained by the contrastive loss. For generative training, the conditioning embedding is the image's own [CLS] representation, while patch tokens pass through a decoder to predict the image. To sample without a reference image at inference, we jointly learn a prior over the embedding. Gradient-norm balancing and stop-gradient mechanisms enable joint optimization in one run. SCION is self-supervised and self-contained, with no labels or pretrained models. On ImageNet 256x256, with the JiT-B recipe and no representation guidance, SCION reaches 8.92 FID, surpassing class-unconditional iREPA, which aligns to pretrained DINOv2 (46.44), and RCG, which conditions on it (14.27). With JiT-L, SCION achieves 5.89 FID without guidance and 3.47 with representation guidance, outperforming RCG with the ADM recipe (6.24).
• Abstract（参考訳）: 強い画像生成モデルは、クラスラベルに条件付けされ、凍結した事前訓練されたエンコーダに合わせるか、個別に訓練されたオートエンコーダ上に構築される。 ラベルはアノテートされなければならないし、エンコーダやオートエンコーダは対象ドメインのために事前訓練される。 ラベル付きモデルや事前学習モデルなしで自己条件付き生成が可能な,共同生成型および自己教師型表現学習を単一モデルで研究する。 コントラスト学習はクリーンな拡張ビューを消費し、粗雑で不変なセマンティクスを好む一方で、フローマッチングはノイズの多いイメージを消費し、対照的な学習が捨てる細部と空間的レイアウトを保持する必要がある。 本稿では,フロータイムステップと埋め込みを条件とした単一画素空間エンコーダであるSCION(Self-conditioned Generation on Self-supervised representation)を提案する。 表現学習では、この条件付き埋め込みは画像間で共有される学習グローバルベクトルであり、エンコーダの[CLS]トークンは対照的な損失によって訓練された意味表現を生成する。 生成トレーニングでは、条件付埋め込みはイメージ独自の[CLS]表現であり、パッチトークンはデコーダを通過してイメージを予測する。 参照画像を推論せずにサンプリングするためには,埋め込みの先行を共同で学習する。 グラディエント・ノーム・バランシングとストップ・グラディエント・メカニズムは、1回のランで共同最適化を可能にする。 SCIONは自己管理および自己完結型であり、ラベルや事前訓練されたモデルはない。 ImageNet 256x256 では、JIT-B のレシピと表現指導がないため、SCION は 8.92 FID に達し、事前訓練された DINOv2 (46.44) と、それに基づく RCG (14.27) に適合するクラス非条件 iREPA を上回っている。 JiT-Lでは、SCIONはガイダンスなしで5.89 FID、表現指導で3.47を達成し、ADMレシピ(6.24)でRCGを上回っている。

関連論文リスト

• Where Does Generative Difficulty Reside? An Empirical Study of Target Representations [62.54876287800644]
  ターゲット表現は、イメージジェネレータが学ぶ必要がある分布を定義するが、しばしば交換可能なインターフェースとして扱われる。 マスク付き自己回帰整流モデルにおいて,生画素,SD-VAE潜伏剤,DINOv2,MAE表現-オートエンコーダの特徴について検討した。 その結果, 圧縮, 再構成忠実度, トークン次元, 可視的セマンティッククラスタリングは生成挙動を個別に予測できないことがわかった。
  論文  参考訳（メタデータ） (2026-08-01T12:32:31Z)
• Ask, Solve, Generate: Self-Evolving Unified Multimodal Understanding and Generation via Self-Consistency Rewards [52.42920996842378]
  視覚的理解と画像生成の両方をサポートするほとんどの統合された大型マルチモーダルモデル(LMM)は、訓練後の監督に頼っている。 本稿では,3つの内部的役割を持つ自己進化型トレーニングフレームワークを提案する。 視覚的質問を生成するプロポーラ, 回答と評価を行うソルバ, 画像を生成するジェネレータである。 画像生成のために,質問文の忠実度とサイクル一貫性キャプションを組み合わせたマルチスケール内部評価手法を設計する。
  論文  参考訳（メタデータ） (2026-06-25T17:59:57Z)
• Finetune Like You Pretrain: Boosting Zero-shot Adversarial Robustness in Vision-language Models [89.0460992131069]
  本稿では,CLIPのプレトレーニングプロセスのトレーニングレシピに従うAdvFLYPを提案する。 具体的には、AdvFLYPは、Webから収集された画像とテキストのペアに基づいて生成された敵画像とCLIPを微調整し、対照的な損失によって対応するテキストとマッチングする。 また,ロジットレベルの正規化条件と特徴レベルの正規化条件は,それぞれ堅牢性とクリーンな精度に有益であることを示す。
  論文  参考訳（メタデータ） (2026-04-13T14:54:25Z)
• End-to-End Training for Unified Tokenization and Latent Denoising [82.91537591286554]
  統一トークン化と潜伏拡散のためのオートエンコーダアーキテクチャUNITEを提案する。 UNITEは、画像トークン化器と重量共有による潜伏ジェネレータの両方として機能するジェネレータで構成されている。 トークン化とスクラッチ生成の単一段階共同訓練が実現可能であることを示す。
  論文  参考訳（メタデータ） (2026-03-23T17:59:49Z)
• MAGE: MAsked Generative Encoder to Unify Representation Learning and Image Synthesis [33.46831766206675]
  MASked Generative (MAGE)は、SOTA画像生成と自己教師付き表現学習を統合するための最初のフレームワークである。 以前の生成モデルにインスパイアされたMAGEは、入力と出力でベクトル量子化されたGANによって学習された意味トークンを使用する。 ImageNet-1Kでは、1つのMAGE ViT-Lモデルがクラス非条件画像生成のタスクで9.10 FIDを得る。
  論文  参考訳（メタデータ） (2022-11-16T18:59:02Z)
• SdAE: Self-distillated Masked Autoencoder [95.3684955370897]
  本稿では,自己蒸留マスク付きオートエンコーダネットワークSdAEを提案する。 300エポックの事前トレーニングで、バニラViT-BaseモデルはImageNet-1k分類において84.1%の微調整精度を達成する。
  論文  参考訳（メタデータ） (2022-07-31T15:07:25Z)
• Masked Unsupervised Self-training for Zero-shot Image Classification [98.23094305347709]
  Masked Unsupervised Self-Training (MUST)は、疑似ラベルと生画像という2つの異なる、補完的な監督源を活用する新しいアプローチである。 MUSTはCLIPを大きなマージンで改善し、教師なしと教師なしの分類のパフォーマンスギャップを狭める。
  論文  参考訳（メタデータ） (2022-06-07T02:03:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。