論文の概要: Generative Representation Learning for Scalable Latent Tokenization

• arxiv url: http://arxiv.org/abs/2610.20533v1
• Date: Wed, 14 Oct 2026 17:29:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.281234
• Title: Generative Representation Learning for Scalable Latent Tokenization
• Title（参考訳）: スケーラブルな潜在トークン化のための生成表現学習
• Abstract要約: 本稿では,ジェネレーティブ・モデリングのためのトークン化手法として,自己指導型表現学習を提案する。 本研究の目的は,学習した生成モデルから条件付き予測間の情報差を捉えて推定するデータのポイントワイドな相互情報を分解することにより,表現損失を監督することである。 本稿では,DINOやLeJEPAといった一般的な手法が失敗するケースにおいて,表現学習における生成的アプローチは次元的崩壊や特徴抑制を回避していることを示す。
• 参考スコア（独自算出の注目度）: 58.01939017375245
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce an approach for self-supervised representation learning designed to be used as a tokenizer for generative modeling. Our objective supervises a representation loss by factorizing the pointwise mutual information of the data, which we estimate by taking information differences between conditional predictions from a learned generative model. We justify our algorithm theoretically and empirically, demonstrating that our generative approach to representation learning avoids dimensional collapse and feature suppression in cases where commonly used methods like DINO and LeJEPA fail. Moreover, we show our representation learning technique is scalable; expending more compute leads to predictably better latent tokenization. For the first time, we perform a careful analysis of the combined flop efficiency of tokenizer and generative model and demonstrate that our approach is a compute-optimal improvement over direct diffusion for pixel-space generation, obtaining an FID-50K of 2.18 with JiT-L. Applied to ImageNet and the text-to-image dataset GPIC, we show tokenizer encoder scaling laws for diffusability, where extrapolating our approach achieves representations in 7x fewer FLOPs than DINOv2 on ImageNet and 8x fewer FLOPs than WebSSL on GPIC.
• Abstract（参考訳）: 本稿では,ジェネレーティブ・モデリングのためのトークン化手法として,自己指導型表現学習を提案する。 本研究の目的は,学習した生成モデルから条件付き予測間の情報差を捉えて推定するデータのポイントワイドな相互情報を分解することにより,表現損失を監督することである。 我々は、DINOやLeJEPAのような一般的な手法が失敗する場合に、表現学習における生成的アプローチが次元的崩壊や特徴抑制を回避することを実証し、理論的かつ実証的にアルゴリズムを正当化する。 さらに,我々の表現学習技術はスケーラブルであることを示す。 まず,トークン化器と生成モデルを組み合わせたフロップ効率を慎重に解析し,この手法が画素空間生成の直接拡散に対する計算最適改善であり,JIT-Lで2.18FID-50Kを得ることを示した。 ImageNetのDINOv2とGPICのWebSSLの8倍のFLOPの表現を実現した。

関連論文リスト

• Where Does Generative Difficulty Reside? An Empirical Study of Target Representations [62.54876287800644]
  ターゲット表現は、イメージジェネレータが学ぶ必要がある分布を定義するが、しばしば交換可能なインターフェースとして扱われる。 マスク付き自己回帰整流モデルにおいて,生画素,SD-VAE潜伏剤,DINOv2,MAE表現-オートエンコーダの特徴について検討した。 その結果, 圧縮, 再構成忠実度, トークン次元, 可視的セマンティッククラスタリングは生成挙動を個別に予測できないことがわかった。
  論文  参考訳（メタデータ） (2026-08-01T12:32:31Z)
• ICAS: Detecting Training Data from Autoregressive Image Generative Models [38.1625974271413]
  トレーニングデータ検出は、モデルトレーニングにおける不正なデータ使用を識別するための重要なタスクとして登場した。 我々はこの領域に会員推定を適用した最初の研究を行う。 我々の手法は、様々なデータ変換の下で強い堅牢性と一般化を示す。
  論文  参考訳（メタデータ） (2025-07-07T14:50:42Z)
• On Discriminative Probabilistic Modeling for Self-Supervised Representation Learning [85.75164588939185]
  本研究では,(マルチモーダル)自己教師型表現学習のデータ予測タスクにおいて,連続領域における識別確率モデルについて検討する。 我々は、自己教師付き表現学習における現在のInfoNCEに基づくコントラスト損失の制限を明らかにするために一般化誤差解析を行う。 MISが要求する条件付き確率密度の和を近似する新しい非パラメトリック手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T18:02:46Z)
• MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
  自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。 所望のプロパティを統一する単段および単段のMOCAを提案する。 我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
  論文  参考訳（メタデータ） (2023-07-18T15:46:20Z)
• Less is More: Rethinking Few-Shot Learning and Recurrent Neural Nets [2.824895388993495]
  情報理論AEPに基づく信頼性学習の理論的保証を提供する。 次に、高効率なリカレントニューラルネット(RNN)フレームワークに焦点を当て、少数ショット学習のための縮小エントロピーアルゴリズムを提案する。 実験結果から,学習モデルのサンプル効率,一般化,時間的複雑さを向上する可能性が示唆された。
  論文  参考訳（メタデータ） (2022-09-28T17:33:11Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)
• The Deep Generative Decoder: MAP estimation of representations improves modeling of single-cell RNA data [0.0]
  モデルパラメータと表現を直接最大後部推定(MAP)により計算する単純な生成モデルを提案する。 このアプローチの利点は、その単純さと、同等のVAEよりもはるかに小さな次元の表現を提供する能力である。
  論文  参考訳（メタデータ） (2021-10-13T12:17:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。