論文の概要: Concept-Centric Token Interpretation for Vector-Quantized Generative Models

• arxiv url: http://arxiv.org/abs/2506.00698v1
• Date: Sat, 31 May 2025 20:11:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 01:42:09.2093
• Title: Concept-Centric Token Interpretation for Vector-Quantized Generative Models
• Title（参考訳）: ベクトル量子化生成モデルにおける概念中心のトークン解釈
• Authors: Tianze Yang, Yucheng Shi, Mengnan Du, Xuansheng Wu, Qiaoyu Tan, Jin Sun, Ninghao Liu,
• Abstract要約: 概念指向Token Explanation(CORTEX)はベクトル量子生成モデル(VQGM)を解釈するための新しいアプローチである 本フレームワークでは,(1)個々の画像中のトークンの重要度を解析するサンプルレベル説明法,(2)コードブック全体を探索してグローバルなトークンを見つけるコードブックレベル説明法という2つの手法を用いている。
• 参考スコア（独自算出の注目度）: 41.39170053556796
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vector-Quantized Generative Models (VQGMs) have emerged as powerful tools for image generation. However, the key component of VQGMs -- the codebook of discrete tokens -- is still not well understood, e.g., which tokens are critical to generate an image of a certain concept? This paper introduces Concept-Oriented Token Explanation (CORTEX), a novel approach for interpreting VQGMs by identifying concept-specific token combinations. Our framework employs two methods: (1) a sample-level explanation method that analyzes token importance scores in individual images, and (2) a codebook-level explanation method that explores the entire codebook to find globally relevant tokens. Experimental results demonstrate CORTEX's efficacy in providing clear explanations of token usage in the generative process, outperforming baselines across multiple pretrained VQGMs. Besides enhancing VQGMs transparency, CORTEX is useful in applications such as targeted image editing and shortcut feature detection. Our code is available at https://github.com/YangTianze009/CORTEX.
• Abstract（参考訳）: Vector-Quantized Generative Models (VQGM) は画像生成の強力なツールとして登場した。 しかしながら、VQGMのキーコンポーネントである離散トークンのコードブックはまだよく理解されていない。 本稿では,概念固有のトークンの組み合わせを識別してVQGMを解釈する新しい手法である概念指向トークン説明法(CORTEX)を提案する。 本フレームワークでは,(1)個々の画像中のトークンの重要度を解析するサンプルレベル説明法,(2)コードブック全体を探索してグローバルなトークンを見つけるコードブックレベル説明法という2つの手法を用いている。 実験の結果,CORTEXは生成過程におけるトークン使用の明確な説明を提供することで,複数の事前訓練VQGMのベースラインよりも優れていることが示された。 VQGMの透明性の向上に加えて、CORTEXはターゲット画像編集やショートカット機能検出などのアプリケーションで有用である。 私たちのコードはhttps://github.com/YangTianze009/CORTEXで利用可能です。

関連論文リスト

• Improving Autoregressive Image Generation through Coarse-to-Fine Token Prediction [4.900334213807624]
  自己回帰モデリングをより困難にすることなく、大規模なコードブックのメリットを享受する方法を示す。 本フレームワークは,(1)各トークンの粗いラベルを逐次予測する自己回帰モデル,(2)粗いラベルに条件付けられた全てのトークンの細粒度ラベルを同時に予測する補助モデル,の2段階からなる。
  論文  参考訳（メタデータ） (2025-03-20T14:41:29Z)
• GaussianToken: An Effective Image Tokenizer with 2D Gaussian Splatting [64.84383010238908]
  本稿では,2次元ガウススプラッティングを解法とする効果的な画像トークン化手法を提案する。 一般に、我々のフレームワークは、2次元ガウス分布の局所的な影響を離散空間に統合する。 CIFAR, Mini-Net, ImageNet-1K 上での競合的再構成性能は,我々のフレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2025-01-26T17:56:11Z)
• Image Understanding Makes for A Good Tokenizer for Image Generation [62.875788091204626]
  我々は,トークンシーケンスにイメージを投影する効果的なトークン化器に依存する,トークンベースのIGフレームワークを提案する。 我々は、強力なIU機能を持つトークン化装置が、さまざまなメトリクス、データセット、タスク、提案ネットワークで優れたIG性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-11-07T03:55:23Z)
• SGC-VQGAN: Towards Complex Scene Representation via Semantic Guided Clustering Codebook [9.993066868670283]
  本稿では,SGC-VQGANをセマンティックオンラインクラスタリング法で導入し,一貫性セマンティックラーニングによるトークンセマンティクスを強化する。 提案手法は時間空間的に一貫したセマンティック・コードブックを構築し,コードブックの崩壊問題と不均衡なトークン・セマンティクスに対処する。
  論文  参考訳（メタデータ） (2024-09-09T23:12:43Z)
• Token-level Correlation-guided Compression for Efficient Multimodal Document Understanding [54.532578213126065]
  ほとんどの文書理解手法は、サブイメージ内の全てのトークンを保存し、それらを等しく扱う。 これにより、異なる情報性が無視され、画像トークンの数が大幅に増加する。 トークン処理を最適化するためのパラメータフリーかつプラグアンドプレイ手法であるトークンレベルの相関誘導圧縮を提案する。
  論文  参考訳（メタデータ） (2024-07-19T16:11:15Z)
• Subobject-level Image Tokenization [60.80949852899857]
  パッチベースの画像トークン化は、視覚世界の形態を無視する。 サブワードトークン化にヒントを得て,サブオブジェクトレベルの適応トークンセグメンテーションを導入する。 サブオブジェクトのトークン化は、より少ない視覚トークンを使用しながら、より高速な収束とより優れた一般化を可能にすることを示す。
  論文  参考訳（メタデータ） (2024-02-22T06:47:44Z)
• CLIP-ReID: Exploiting Vision-Language Model for Image Re-Identification without Concrete Text Labels [28.42405456691034]
  本稿では,画像再識別作業における視覚的表現の改善を目的とした2段階戦略を提案する。 鍵となるアイデアは、各IDの学習可能なテキストトークンセットを通じて、CLIPのクロスモーダル記述能力をフル活用することだ。 提案手法の有効性は、人や車両のReIDタスクのための複数のデータセット上で検証される。
  論文  参考訳（メタデータ） (2022-11-25T09:41:57Z)
• Improving Visual Quality of Image Synthesis by A Token-based Generator with Transformers [51.581926074686535]
  本稿では,このタスクを視覚的トークン生成問題とみなして,画像合成の新たな視点を示す。 提案したTokenGANは、広く使われている画像合成ベンチマークで最先端の結果を得た。
  論文  参考訳（メタデータ） (2021-11-05T12:57:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。