論文の概要: TokBench: Evaluating Your Visual Tokenizer before Visual Generation

• arxiv url: http://arxiv.org/abs/2505.18142v2
• Date: Mon, 26 May 2025 13:30:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 14:32:55.751179
• Title: TokBench: Evaluating Your Visual Tokenizer before Visual Generation
• Title（参考訳）: TokBench: ビジュアルジェネレータをビジュアルジェネレーション前に評価する
• Authors: Junfeng Wu, Dongliang Luo, Weizhi Zhao, Zhihao Xie, Yuanhao Wang, Junyi Li, Xudong Xie, Yuliang Liu, Xiang Bai,
• Abstract要約: さまざまな画像トークンやVAEに対して,テキストと顔の復元品質をさまざまな尺度で分析する。 以上の結果から, 現代の視覚トークン化器は, 特に小規模では, 細粒度保存に苦慮していることが明らかとなった。
• 参考スコア（独自算出の注目度）: 75.38270351179018
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we reveal the limitations of visual tokenizers and VAEs in preserving fine-grained features, and propose a benchmark to evaluate reconstruction performance for two challenging visual contents: text and face. Visual tokenizers and VAEs have significantly advanced visual generation and multimodal modeling by providing more efficient compressed or quantized image representations. However, while helping production models reduce computational burdens, the information loss from image compression fundamentally limits the upper bound of visual generation quality. To evaluate this upper bound, we focus on assessing reconstructed text and facial features since they typically: 1) exist at smaller scales, 2) contain dense and rich textures, 3) are prone to collapse, and 4) are highly sensitive to human vision. We first collect and curate a diverse set of clear text and face images from existing datasets. Unlike approaches using VLM models, we employ established OCR and face recognition models for evaluation, ensuring accuracy while maintaining an exceptionally lightweight assessment process <span style="font-weight: bold; color: rgb(214, 21, 21);">requiring just 2GB memory and 4 minutes</span> to complete. Using our benchmark, we analyze text and face reconstruction quality across various scales for different image tokenizers and VAEs. Our results show modern visual tokenizers still struggle to preserve fine-grained features, especially at smaller scales. We further extend this evaluation framework to video, conducting comprehensive analysis of video tokenizers. Additionally, we demonstrate that traditional metrics fail to accurately reflect reconstruction performance for faces and text, while our proposed metrics serve as an effective complement.
• Abstract（参考訳）: 本研究では,細かな特徴の保存における視覚トークン化とVAEの限界を明らかにするとともに,テキストと顔の2つの難解な視覚コンテンツに対する再構成性能を評価するためのベンチマークを提案する。 ビジュアルトークン化器とVAEは、より効率的な圧縮または量子化された画像表現を提供することにより、視覚生成とマルチモーダルモデリングを著しく進歩させた。 しかし, 画像圧縮による情報損失は, 生産モデルの計算負担を軽減する一方で, 視覚生成品質の上限を根本的に制限する。 この上限値を評価するために、典型的には、再構成されたテキストと顔の特徴を評価することに注力する。 1)小規模に存在する。 2)濃厚で豊かなテクスチャを含む。 3)崩壊しがちで、 4) 人間の視覚に非常に敏感である。 まず、既存のデータセットから、さまざまな明確なテキストと顔画像を収集し、キュレートします。 VLMモデルと異なり、我々は確立されたOCRと顔認識モデルを用いて評価を行い、非常に軽量な評価プロセスである<span style="font-weight: bold; color: rgb(214, 21);>2GBメモリと4分</span>しか必要とせず、精度を確保している。 ベンチマークを用いて、さまざまな画像トークンやVAEに対して、さまざまなスケールでテキストと顔の復元品質を解析する。 以上の結果から, 現代の視覚トークン化器は, 特に小規模では, 細粒度保存に苦慮していることが明らかとなった。 さらに、この評価フレームワークをビデオに拡張し、ビデオトークンの包括的分析を行う。 さらに、従来のメトリクスが顔やテキストの再現性能を正確に反映しないことを示す一方、提案メトリクスは効果的な補完となる。

関連論文リスト

• Perceive, Understand and Restore: Real-World Image Super-Resolution with Autoregressive Multimodal Generative Models [33.76031793753807]
  我々は、自己回帰型マルチモーダルモデルLumina-mGPTを堅牢なReal-ISRモデル、すなわちPUREに適応する。 PUREは入力された低画質の画像を認識して理解し、高品質の画像を復元する。 実験により、PUREはリアルな細部を生成しながら、画像の内容を保存していることが示された。
  論文  参考訳（メタデータ） (2025-03-14T04:33:59Z)
• "Principal Components" Enable A New Language of Images [79.45806370905775]
  証明可能なPCAのような構造を潜在トークン空間に組み込む新しい視覚トークン化フレームワークを導入する。 提案手法は、最先端の再構築性能を実現し、人間の視覚システムとの整合性を向上する。
  論文  参考訳（メタデータ） (2025-03-11T17:59:41Z)
• Frequency Autoregressive Image Generation with Continuous Tokens [31.833852108014312]
  本稿では、周波数プログレッシブ自己回帰(textbfFAR)パラダイムを導入し、連続トークン化器を用いてFARをインスタンス化する。 我々は、ImageNetデータセットの総合的な実験を通して、FARの有効性を実証する。
  論文  参考訳（メタデータ） (2025-03-07T10:34:04Z)
• KITTEN: A Knowledge-Intensive Evaluation of Image Generation on Visual Entities [93.74881034001312]
  テキスト・画像生成モデルにおける実体の忠実度に関する系統的研究を行う。 我々はランドマークの建物、航空機、植物、動物など、幅広い現実世界の視覚的実体を生成する能力に焦点をあてる。 その結果、最も高度なテキスト・画像モデルでさえ、正確な視覚的詳細を持つエンティティを生成できないことが判明した。
  論文  参考訳（メタデータ） (2024-10-15T17:50:37Z)
• Towards Retrieval-Augmented Architectures for Image Captioning [81.11529834508424]
  本研究は,外部kNNメモリを用いた画像キャプションモデルの構築に向けた新しい手法を提案する。 具体的には、視覚的類似性に基づく知識検索コンポーネントを組み込んだ2つのモデル変種を提案する。 我々はCOCOデータセットとnocapsデータセットに対する我々のアプローチを実験的に検証し、明示的な外部メモリを組み込むことでキャプションの品質を著しく向上させることができることを示した。
  論文  参考訳（メタデータ） (2024-05-21T18:02:07Z)
• Dynamic Visual Semantic Sub-Embeddings and Fast Re-Ranking [0.5242869847419834]
  情報エントロピーを低減するために動的ビジュアルセマンティックサブエンベッドディングフレームワーク(DVSE)を提案する。 生成した候補埋め込みに様々な意味的変動を捉えるよう促すため,混合分布を構築した。 3つのベンチマークデータセット上の4つの画像特徴エンコーダと2つのテキスト特徴エンコーダを用いて,既存のセットベース手法と比較した。
  論文  参考訳（メタデータ） (2023-09-15T04:39:11Z)
• Training-free Diffusion Model Adaptation for Variable-Sized Text-to-Image Synthesis [45.19847146506007]
  拡散モデル(DM)は近年,テキスト・画像合成における最先端性能に注目されている。 本稿では,視覚的忠実度を維持しながら多彩性を扱うためにテキスト・画像拡散モデルを適用することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-06-14T17:23:07Z)
• Re-Imagen: Retrieval-Augmented Text-to-Image Generator [58.60472701831404]
  検索用テキスト・ツー・イメージ・ジェネレータ(再画像) 検索用テキスト・ツー・イメージ・ジェネレータ(再画像)
  論文  参考訳（メタデータ） (2022-09-29T00:57:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。