論文の概要: SweetTokenizer: Semantic-Aware Spatial-Temporal Tokenizer for Compact Visual Discretization

• arxiv url: http://arxiv.org/abs/2412.10443v2
• Date: Tue, 17 Dec 2024 03:55:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 12:50:05.660731
• Title: SweetTokenizer: Semantic-Aware Spatial-Temporal Tokenizer for Compact Visual Discretization
• Title（参考訳）: SweetTokenizer:コンパクトな視覚離散化のための意味認識型時空間トケナイザ
• Authors: Zhentao Tan, Ben Xue, Jian Jia, Junhao Wang, Wencai Ye, Shaoyun Shi, Mingjie Sun, Wenjin Wu, Quan Chen, Peng Jiang,
• Abstract要約: SweetTokenizer (SweetTokenizer) は、視覚データに対するコンパクトで効果的な離散化手法である。 我々の目標は、VQ-VAEパラダイムの再現性を維持しつつ、トークンの圧縮比を高めることである。
• 参考スコア（独自算出の注目度）: 20.109136454526233
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents the \textbf{S}emantic-a\textbf{W}ar\textbf{E} spatial-t\textbf{E}mporal \textbf{T}okenizer (SweetTokenizer), a compact yet effective discretization approach for vision data. Our goal is to boost tokenizers' compression ratio while maintaining reconstruction fidelity in the VQ-VAE paradigm. Firstly, to obtain compact latent representations, we decouple images or videos into spatial-temporal dimensions, translating visual information into learnable querying spatial and temporal tokens through a \textbf{C}ross-attention \textbf{Q}uery \textbf{A}uto\textbf{E}ncoder (CQAE). Secondly, to complement visual information during compression, we quantize these tokens via a specialized codebook derived from off-the-shelf LLM embeddings to leverage the rich semantics from language modality. Finally, to enhance training stability and convergence, we also introduce a curriculum learning strategy, which proves critical for effective discrete visual representation learning. SweetTokenizer achieves comparable video reconstruction fidelity with only \textbf{25\%} of the tokens used in previous state-of-the-art video tokenizers, and boost video generation results by \textbf{32.9\%} w.r.t gFVD. When using the same token number, we significantly improves video and image reconstruction results by \textbf{57.1\%} w.r.t rFVD on UCF-101 and \textbf{37.2\%} w.r.t rFID on ImageNet-1K. Additionally, the compressed tokens are imbued with semantic information, enabling few-shot recognition capabilities powered by LLMs in downstream applications.
• Abstract（参考訳）: 本稿では,視覚データに対するコンパクトで効果的な離散化手法であるtextbf{S}emantic-a\textbf{W}ar\textbf{E} space-t\textbf{E}mporal \textbf{T}okenizer (SweetTokenizer)を提案する。 我々の目標は、VQ-VAEパラダイムの再現性を維持しつつ、トークンの圧縮比を高めることである。 まず,画像やビデオを空間的次元に分割し,空間的および時間的トークンを学習可能な問合せに変換する。 第二に、圧縮中の視覚情報を補完するために、既製のLLM埋め込みから派生した特殊なコードブックを用いてこれらのトークンを定量化し、言語モダリティからリッチなセマンティクスを活用する。 最後に、学習の安定性と収束性を高めるために、効果的な離散的な視覚的表現学習にとって重要なカリキュラム学習戦略を導入する。 SweetTokenizer は、以前の最先端のビデオトークン化ツールで使用されるトークンの \textbf{25\%} のみを用いて、同等のビデオ再構成フィデリティを達成し、gFVD の \textbf{32.9\%} w.r.t gFVD によるビデオ生成結果を向上する。 同じトークン番号を使用すると、UCF-101上の \textbf{57.1\%} w.r.t rFVD と ImageNet-1K上の \textbf{37.2\%} w.r.t rFID により、ビデオと画像の再構成結果を大幅に改善する。 さらに、圧縮されたトークンにはセマンティック情報が埋め込まれ、下流アプリケーションでLLMによって駆動される少数のショット認識機能を実現する。

関連論文リスト

• Token Dynamics: Towards Efficient and Dynamic Video Token Representation for Video Large Language Models [50.214593234229255]
  極端に短いトークンの削減という新しいタスクを導入し、最小限のトークン数で広範囲なビデオシーケンスを表現することを目的としている。 空間的時間的コヒーレンスを保ちながらトークン数を動的に削減する新しいビデオ表現フレームワークであるToken Dynamicsを提案する。 実験では、トークンの数を0.07%に減らし、小さなパフォーマンス低下は1.13%に過ぎなかった。
  論文  参考訳（メタデータ） (2025-03-21T09:46:31Z)
• HiTVideo: Hierarchical Tokenizers for Enhancing Text-to-Video Generation with Autoregressive Large Language Models [63.65066762436074]
  HiTVideoは、テキストからビデオ生成タスクにおける既存のビデオトークンの潜在的な制限を解決することを目的としている。 マルチレイヤの離散トークンフレームワークを備えた3D因果VAEを使用し、ビデオコンテンツを階層的に構造化されたコードブックにエンコードする。
  論文  参考訳（メタデータ） (2025-03-14T15:36:39Z)
• Token-Efficient Long Video Understanding for Multimodal LLMs [101.70681093383365]
  STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。 我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
  論文  参考訳（メタデータ） (2025-03-06T06:17:38Z)
• DAST: Context-Aware Compression in LLMs via Dynamic Allocation of Soft Tokens [20.044306399439265]
  LLM(Large Language Models)は、長いコンテキスト入力を扱う際に、計算の非効率性と冗長な処理に直面する。 我々は,LLMの文脈関連性に関する本質的な理解を活用して圧縮を誘導する簡易かつ効果的な手法であるDAST(Dynamic Allocation of Soft Tokens)を提案する。 複数のベンチマークでの実験結果から、DASTが最先端の手法を超越していることが示されている。
  論文  参考訳（メタデータ） (2025-02-17T06:55:13Z)
• SparseVLM: Visual Token Sparsification for Efficient Vision-Language Model Inference [45.11612407862277]
  視覚言語モデル(VLM)では、視覚トークンは通常かなりの計算オーバーヘッドを消費する。 本稿では、余分なパラメータや微調整コストを伴わずに、SparseVLMと呼ばれる効率的なトレーニングフリートークン最適化機構を提案する。 実験結果から,SparseVLMは画像理解タスクや映像理解タスクにおいて,様々なVLMの効率を向上することが示された。
  論文  参考訳（メタデータ） (2024-10-06T09:18:04Z)
• VideoLLM-MoD: Efficient Video-Language Streaming with Mixture-of-Depths Vision Computation [66.00245701441547]
  我々は、視覚トークンの数を減らさずに、冗長な視覚トークンを「スキップ層」として活用することで、視覚計算を減らし、新しいアプローチを導入する。 提案手法であるVideoLLM-MoDは深度混合LLMにインスパイアされ,長期・ストリーミングビデオにおける多数の視覚トークンの課題に対処する。
  論文  参考訳（メタデータ） (2024-08-29T17:21:58Z)
• OmniTokenizer: A Joint Image-Video Tokenizer for Visual Generation [95.29102596532854]
  トケナイザーは複雑な視覚データをコンパクトな潜在空間にマッピングする翻訳機として機能する。 本稿では,共同画像とビデオトークン化のためのトランスフォーマーベースのトークンライザであるOmniTokenizerについて述べる。
  論文  参考訳（メタデータ） (2024-06-13T17:59:26Z)
• Understanding the Effect of using Semantically Meaningful Tokens for Visual Representation Learning [41.81009725976217]
  視覚言語事前学習フレームワーク内のトランスフォーマーエンコーダに対して意味論的に意味のある視覚トークンを提供する。 テキスト・ツー・イメージ検索タスクと画像・テキスト検索タスク間で学習された表現品質のViTに対する顕著な改善を示す。
  論文  参考訳（メタデータ） (2024-05-26T01:46:22Z)
• Semantic Equitable Clustering: A Simple and Effective Strategy for Clustering Vision Tokens [57.37893387775829]
  textbfSemantic textbfEquitable textbfClustering (SEC) という,高速かつバランスの取れたクラスタリング手法を導入する。 SECは、グローバルなセマンティックな関連性に基づいてトークンを効率的かつ直接的な方法でクラスタ化する。 視覚言語コネクタとして機能する汎用視覚バックボーンであるSECViTを提案する。
  論文  参考訳（メタデータ） (2024-05-22T04:49:00Z)
• Vision Transformer with Sparse Scan Prior [57.37893387775829]
  人間の眼のスパース走査機構に触発され,textbfScan textbfSelf-textbfAttention 機構を提案する。 このメカニズムはトークンごとに一連のAnchor of Interestをプリ定義し、局所的な注意を使ってこれらのアンカー周辺の空間情報を効率的にモデル化する。 rmS3rmA$で構築すると、 textbfSparse textbfScan textbfVisionを導入します。
  論文  参考訳（メタデータ） (2024-05-22T04:34:36Z)
• Tokenize Anything via Prompting [65.93061853439512]
  我々は,任意のものを同時にセグメンテーションし,認識し,キャプションすることができる統一的,迅速なモデルを提案する。 我々は、50億のパラメータを持つ事前学習されたCLIPモデルから、巨大なセグメンテーションマスク、eg、SA-1Bマスク、セマンティックプリミティブを持つ一般化可能なモデルをトレーニングする。 我々は,このモデルが汎用領域コンテキストを符号化できる汎用領域レベルの画像トークン化器であると考えている。
  論文  参考訳（メタデータ） (2023-12-14T17:01:02Z)
• AiluRus: A Scalable ViT Framework for Dense Prediction [95.1313839257891]
  視覚変換器 (ViT) は、その優れた性能のため、視覚タスクの一般的なアーキテクチャとして登場した。 本稿では,画像の異なる領域に対して,その重要度に応じて適応分解能を適用することを提案する。 提案手法を3つの異なるデータセット上で評価し,有望な性能を観察する。
  論文  参考訳（メタデータ） (2023-11-02T12:48:43Z)
• LatentWarp: Consistent Diffusion Latents for Zero-Shot Video-to-Video Translation [21.815083817914843]
  我々はtextitLatentWarp というゼロショット動画翻訳フレームワークを提案する。 我々のアプローチは単純で、クエリトークンの時間的一貫性を制約するために、潜伏した空間にワープ操作を組み込む。 textitLatentWarpの時間的コヒーレンスによるビデオ間翻訳における優位性を示す実験結果を得た。
  論文  参考訳（メタデータ） (2023-11-01T08:02:57Z)
• Context Compression for Auto-regressive Transformers with Sentinel Tokens [37.07722536907739]
  本稿では,特定のトークンの中間活性化をコンパクトに段階的に圧縮できるプラグイン・アンド・プレイ方式を提案する。 ドメイン内言語モデリングとゼロショットオープンエンド文書生成の両方の実験は、我々のアプローチの利点を実証している。
  論文  参考訳（メタデータ） (2023-10-12T09:18:19Z)
• CenterCLIP: Token Clustering for Efficient Text-Video Retrieval [67.21528544724546]
  CLIPでは、ビデオ内の連続するフレームの冗長性のために、離散的な視覚トークンシーケンスを生成する重要な視覚トークン化プロセスが、多くの均一なトークンを生成する。 これにより、計算コストが大幅に増加し、Webアプリケーションにおけるビデオ検索モデルの展開が妨げられる。 本稿では,最も代表的なトークンを抽出し,非意味トークンをドロップするマルチセグメントトークンクラスタリングアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2022-05-02T12:02:09Z)
• MUNet: Motion Uncertainty-aware Semi-supervised Video Object Segmentation [31.100954335785026]
  本稿では,映像オブジェクトの半教師付きセグメンテーションのための動作不確実性認識フレームワーク(MUNet)を提案する。 動作特徴と意味的特徴を効果的に融合する動き認識型空間アテンションモジュールを提案する。 トレーニングにDAVIS17のみを使用する$76.5%の$mathcalJとmathcalF$は、低データプロトコル下でのtextitSOTAメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-11-29T16:01:28Z)
• VIMPAC: Video Pre-Training via Masked Token Prediction and Contrastive Learning [82.09856883441044]
  ビデオ理解は、内部接続をモデル化するグローバルコンテンツを認識することに依存している。 空間領域と時間領域の両方で隣接するビデオトークンをマスクするブロックワイズ戦略を提案する。 また、グローバルコンテンツをさらにキャプチャするために、拡張不要なコントラスト学習手法も追加する。
  論文  参考訳（メタデータ） (2021-06-21T16:48:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。