論文の概要: SemHiTok: A Unified Image Tokenizer via Semantic-Guided Hierarchical Codebook for Multimodal Understanding and Generation

• arxiv url: http://arxiv.org/abs/2503.06764v2
• Date: Wed, 19 Mar 2025 05:24:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:21:01.011457
• Title: SemHiTok: A Unified Image Tokenizer via Semantic-Guided Hierarchical Codebook for Multimodal Understanding and Generation
• Title（参考訳）: SemHiTok:マルチモーダル理解と生成のためのセマンティックガイド付き階層型コードブックによる統一イメージトケナイザ
• Authors: Zisheng Chen, Chunwei Wang, Xiuwei Chen, Hang Xu, Jianhua Han, Xiandan Liang,
• Abstract要約: SemHiTokは、Semantic-Guided Hierarchical Codebookを介して統合された画像トークンである。 SemHiTokは、他の統一トークン化器と比較して256X256解像度で優れたrFIDスコアが得られることを示す。
• 参考スコア（独自算出の注目度）: 32.853205155830366
• License:
• Abstract: We present SemHiTok, a unified image Tokenizer via Semantic-Guided Hierarchical codebook that provides consistent discrete feature representations for multimodal understanding and generation tasks. Recently, unified multimodal large models (MLLMs) for understanding and generation have sparked exploration within research community. Previous works attempt to train a unified image tokenizer by combining loss functions for semantic feature reconstruction and pixel reconstruction. However, due to the differing levels of features prioritized by multimodal understanding and generation tasks, joint training methods face significant challenges in achieving a good trade-off. SemHiTok addresses this challenge through Semantic-Guided Hierarchical codebook which builds texture sub-codebooks on pre-trained semantic codebook. This design decouples the training of semantic reconstruction and pixel reconstruction and equips the tokenizer with low-level texture feature extraction capability without degradation of high-level semantic feature extraction ability. Our experiments demonstrate that SemHiTok achieves excellent rFID score at 256X256resolution compared to other unified tokenizers, and exhibits competitive performance on multimodal understanding and generation tasks.
• Abstract（参考訳）: 本稿では,SemHiTokについて述べる。Semantic-Guided Hierarchical Codebookを通じて,マルチモーダル理解および生成タスクのための一貫した特徴表現を提供する統一イメージTokenizerである。 近年,マルチモーダル大モデル (MLLM) の理解と生成のための統合化が,研究コミュニティ内での探索のきっかけとなっている。 従来の作業では、意味的特徴再構成と画素再構成のための損失関数を組み合わせることで、統一された画像トークン化器を訓練しようとしていた。 しかし、マルチモーダル理解と生成タスクによって優先順位付けされる特徴のレベルが異なるため、協調訓練手法は良好なトレードオフを達成する上で大きな課題に直面している。 SemHiTokは、事前トレーニングされたセマンティックコードブック上にテクスチャサブコードブックを構築するSemantic-Guided Hierarchical Codebookを通じて、この問題に対処する。 この設計は意味的再構成と画素再構成の訓練を分離し、ハイレベルな意味的特徴抽出能力を低下させることなく、低レベルなテクスチャ特徴抽出能力を備えたトークン化器を備える。 実験により,SemHiTokは他の統一トークン化器と比較して256X256解像度で優れたrFIDスコアを達成し,マルチモーダル理解および生成タスクにおける競合性能を示した。

関連論文リスト

• QLIP: Text-Aligned Visual Tokenization Unifies Auto-Regressive Multimodal Understanding and Generation [101.28446308930367]
  Quantized Language-Image Pretraining (QLIP)は、最先端の再構築品質と最先端のゼロショットイメージ理解を組み合わせたものだ。 QLIPは、リコンストラクションと言語イメージアライメントの目的を備えた、二進数量子化に基づくオートエンコーダをトレーニングする。 QLIPは、理解と生成のための複合モダリティ自動回帰モデルを可能にすることを実証する。
  論文  参考訳（メタデータ） (2025-02-07T18:59:57Z)
• Incorporating Feature Pyramid Tokenization and Open Vocabulary Semantic Segmentation [8.659766913542938]
  我々は、すべての粒度の理解のために、統合された知覚的および意味的トークン圧縮について研究する。 本稿では,学習可能なコードブックによる多面的特徴のクラスタ化と多面的特徴の表現を目的とした特徴ピラミッドトークン化(PAT)を提案する。 実験の結果,PATはVLM特徴ピラミッドの意味的直感を増強することがわかった。
  論文  参考訳（メタデータ） (2024-12-18T18:43:21Z)
• SynerGen-VL: Towards Synergistic Image Understanding and Generation with Vision Experts and Token Folding [66.74446220401296]
  画像の理解と生成の両方が可能なシンプルだが強力なエンコーダのないMLLMであるSynerGen-VLを提案する。 トークンの折り畳み機構と,高分解能画像理解を効果的に支援するビジョンエキスパートベースのプログレッシブアライメント事前学習戦略を導入する。 コードとモデルはリリースされます。
  論文  参考訳（メタデータ） (2024-12-12T18:59:26Z)
• Factorized Visual Tokenization and Generation [37.56136469262736]
  本稿では,大規模なコードブックを複数の独立したサブコードブックに分解することで,VQベースのトークン化を活性化する新しい手法であるFacterized Quantization(FQ)を紹介する。 このファクター化は、大規模なコードブックのルックアップの複雑さを低減し、より効率的でスケーラブルなビジュアルトークン化を可能にします。 実験により,提案したFQGANモデルにより,視覚トークンの再現品質が大幅に向上し,最先端の性能が達成された。
  論文  参考訳（メタデータ） (2024-11-25T18:59:53Z)
• SGC-VQGAN: Towards Complex Scene Representation via Semantic Guided Clustering Codebook [9.993066868670283]
  本稿では,SGC-VQGANをセマンティックオンラインクラスタリング法で導入し,一貫性セマンティックラーニングによるトークンセマンティクスを強化する。 提案手法は時間空間的に一貫したセマンティック・コードブックを構築し,コードブックの崩壊問題と不均衡なトークン・セマンティクスに対処する。
  論文  参考訳（メタデータ） (2024-09-09T23:12:43Z)
• Comprehensive Generative Replay for Task-Incremental Segmentation with Concurrent Appearance and Semantic Forgetting [49.87694319431288]
  一般的なセグメンテーションモデルは、異なる画像ソースからの様々なオブジェクトを含む様々なタスクに対して、ますます好まれている。 画像とマスクのペアを合成することで外観と意味の知識を復元する包括的生成(CGR)フレームワークを提案する。 漸進的タスク(心身、基礎、前立腺のセグメンテーション)の実験は、同時出現と意味的忘れを緩和する上で、明らかな優位性を示している。
  論文  参考訳（メタデータ） (2024-06-28T10:05:58Z)
• Not All Image Regions Matter: Masked Vector Quantization for Autoregressive Image Generation [78.13793505707952]
  既存の自己回帰モデルは、まず画像再構成のための潜伏空間のコードブックを学習し、学習したコードブックに基づいて自己回帰的に画像生成を完了する2段階生成パラダイムに従っている。 そこで本研究では,Masked Quantization VAE (MQ-VAE) Stackモデルを用いた2段階フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T02:15:53Z)
• High-Quality Pluralistic Image Completion via Code Shared VQGAN [51.7805154545948]
  高速な推論速度で高品質と多様性を両立させることができる多元画像補完のための新しい枠組みを提案する。 我々のフレームワークは、セマンティックにリッチな離散的なコードを効率的かつ堅牢に学習することができ、画像再構成の品質が大幅に向上する。
  論文  参考訳（メタデータ） (2022-04-05T01:47:35Z)
• Generative Hierarchical Features from Synthesizing Images [65.66756821069124]
  画像合成の学習は、広範囲のアプリケーションにまたがって一般化可能な顕著な階層的な視覚的特徴をもたらす可能性があることを示す。 生成的階層的特徴(Generative Hierarchical Feature, GH-Feat)と呼ばれるエンコーダが生成する視覚的特徴は、生成的タスクと識別的タスクの両方に強い伝達性を有する。
  論文  参考訳（メタデータ） (2020-07-20T18:04:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。