論文の概要: Tokenize Image as a Set

• arxiv url: http://arxiv.org/abs/2503.16425v1
• Date: Thu, 20 Mar 2025 17:59:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-21 16:31:39.036944
• Title: Tokenize Image as a Set
• Title（参考訳）: 画像の集合としてのトークン化
• Authors: Zigang Geng, Mengde Xu, Han Hu, Shuyang Gu,
• Abstract要約: 本稿では,局所的意味複雑性に基づく符号化能力の動的割り当てを行うために,非順序付きトークン集合表現を導入する。 離散集合をモデル化することの課題に対処するために、集合を固定長整数列に変換する双対変換機構を考案する。 提案手法のセマンティック・アウェア表現と生成品質における優位性を示す実験を行った。
• 参考スコア（独自算出の注目度）: 17.142970970610616
• License:
• Abstract: This paper proposes a fundamentally new paradigm for image generation through set-based tokenization and distribution modeling. Unlike conventional methods that serialize images into fixed-position latent codes with a uniform compression ratio, we introduce an unordered token set representation to dynamically allocate coding capacity based on regional semantic complexity. This TokenSet enhances global context aggregation and improves robustness against local perturbations. To address the critical challenge of modeling discrete sets, we devise a dual transformation mechanism that bijectively converts sets into fixed-length integer sequences with summation constraints. Further, we propose Fixed-Sum Discrete Diffusion--the first framework to simultaneously handle discrete values, fixed sequence length, and summation invariance--enabling effective set distribution modeling. Experiments demonstrate our method's superiority in semantic-aware representation and generation quality. Our innovations, spanning novel representation and modeling strategies, advance visual generation beyond traditional sequential token paradigms. Our code and models are publicly available at https://github.com/Gengzigang/TokenSet.
• Abstract（参考訳）: 本稿では,セットベーストークン化と分散モデリングによる画像生成のパラダイムを根本的に新しいパラダイムとして提案する。 画像を一様圧縮比で固定位置潜在符号にシリアライズする従来の方法とは異なり、局所的意味複雑性に基づいて符号化能力を動的に割り当てる無秩序なトークンセット表現を導入する。 このTokenSetは、グローバルなコンテキストアグリゲーションを強化し、ローカルな摂動に対する堅牢性を向上させる。 離散集合をモデル化する上で重要な課題に対処するために、集合を総和制約付き固定長整数列に変換する双対変換機構を考案する。 さらに, 離散値, 固定列長, 累積不変度を同時に扱うための第1のフレームワークであるFixed-Sum Discrete Diffusionを提案する。 提案手法のセマンティック・アウェア表現と生成品質における優位性を示す実験を行った。 私たちの革新は、斬新な表現とモデリング戦略にまたがって、伝統的なシーケンシャルなトークンパラダイムを超えて視覚生成を進めます。 私たちのコードとモデルはhttps://github.com/Gengzigang/TokenSet.comで公開されています。

関連論文リスト

• [MASK] is All You Need [28.90875822599164]
  離散状態モデルを用いてMasked Generative と Non-autoregressive Diffusion を接続する。 離散状態モデルで[MASK]を活用することで、Masked Generative と Non-autoregressive Diffusion モデルを橋渡しできる。
  論文  参考訳（メタデータ） (2024-12-09T18:59:56Z)
• Unlocking the Potential of Text-to-Image Diffusion with PAC-Bayesian Theory [33.78620829249978]
  テキスト・ツー・イメージ(T2I)拡散モデルは、高忠実で多彩で視覚的にリアルな画像を生成することによって、生成モデルに革命をもたらした。 最近の注目度に基づく手法は、オブジェクトの包摂性や言語的バインディングを改善してきたが、それでも属性のミスバインディングのような課題に直面している。 そこで,ベイズ的手法を用いて,所望のプロパティを強制するために,注意分布を優先したカスタムプライドを設計する手法を提案する。 本手法では,アテンション機構を解釈可能なコンポーネントとして扱い,微粒化制御と属性オブジェクトアライメントの改善を実現している。
  論文  参考訳（メタデータ） (2024-11-25T10:57:48Z)
• A Spitting Image: Modular Superpixel Tokenization in Vision Transformers [0.0]
  Vision Transformer (ViT) アーキテクチャは伝統的に、画像の意味的内容に依存しないトークン化のためのグリッドベースのアプローチを採用している。 本稿では,トークン化と特徴抽出を分離するモジュール型スーパーピクセルトークン化戦略を提案する。
  論文  参考訳（メタデータ） (2024-08-14T17:28:58Z)
• Real-World Compositional Generalization with Disentangled Sequence-to-Sequence Learning [81.24269148865555]
  最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。 このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。 具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
  論文  参考訳（メタデータ） (2022-12-12T15:40:30Z)
• Diffusion Visual Counterfactual Explanations [51.077318228247925]
  VCE(Visual Counterfactual Explanations)は、画像の決定を理解するための重要なツールである。 VCEの生成に対する現在のアプローチは、逆向きに堅牢なモデルに制限されており、しばしば非現実的なアーティファクトを含んでいる。 本稿では、任意のイメージネット分類器に対して、視覚拡散対実説明(DVCE)を生成することでこれを克服する。
  論文  参考訳（メタデータ） (2022-10-21T09:35:47Z)
• Structured Reordering for Modeling Latent Alignments in Sequence Transduction [86.94309120789396]
  本稿では,分離可能な置換の辺りを正確に推定する効率的な動的プログラミングアルゴリズムを提案する。 結果のSeq2seqモデルは、合成問題やNLPタスクの標準モデルよりも体系的な一般化が優れている。
  論文  参考訳（メタデータ） (2021-06-06T21:53:54Z)
• Set Based Stochastic Subsampling [85.5331107565578]
  本稿では,2段階間ニューラルサブサンプリングモデルを提案する。 画像分類,画像再構成,機能再構築,少数ショット分類など,様々なタスクにおいて,低いサブサンプリング率で関連ベースラインを上回っていることを示す。
  論文  参考訳（メタデータ） (2020-06-25T07:36:47Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Vector Quantized Contrastive Predictive Coding for Template-based Music Generation [0.0]
  本稿では,トークンを基本単位に分類できる離散列の変種を生成するフレキシブルな手法を提案する。 本稿では,これらの圧縮表現を用いてテンプレートシーケンスの変動を,Transformerアーキテクチャの適切な注意パターンを用いて生成する方法を示す。
  論文  参考訳（メタデータ） (2020-04-21T15:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。