論文の概要: Image and Video Tokenization with Binary Spherical Quantization

• arxiv url: http://arxiv.org/abs/2406.07548v1
• Date: Tue, 11 Jun 2024 17:59:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 14:26:16.183973
• Title: Image and Video Tokenization with Binary Spherical Quantization
• Title（参考訳）: 2次元球面量子化による画像とビデオのトークン化
• Authors: Yue Zhao, Yuanjun Xiong, Philipp Krähenbühl,
• Abstract要約: バイナリ球面量子化(BSQ)を用いたトランスフォーマベース画像およびビデオトークン化器を提案する。 BSQは、高次元の視覚的埋め込みを低次元の超球面に投影し、二値量子化を適用する。 我々のトークンライザは、可変長動画を入力としてサポートするために、単純なブロックワイズ因果マスキングを備えたトランスフォーマーエンコーダとデコーダを使用する。
• 参考スコア（独自算出の注目度）: 36.850958591333836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a new transformer-based image and video tokenizer with Binary Spherical Quantization (BSQ). BSQ projects the high-dimensional visual embedding to a lower-dimensional hypersphere and then applies binary quantization. BSQ is (1) parameter-efficient without an explicit codebook, (2) scalable to arbitrary token dimensions, and (3) compact: compressing visual data by up to 100$\times$ with minimal distortion. Our tokenizer uses a transformer encoder and decoder with simple block-wise causal masking to support variable-length videos as input. The resulting BSQ-ViT achieves state-of-the-art visual reconstruction quality on image and video reconstruction benchmarks with 2.4$\times$ throughput compared to the best prior methods. Furthermore, by learning an autoregressive prior for adaptive arithmetic coding, BSQ-ViT achieves comparable results on video compression with state-of-the-art video compression standards. BSQ-ViT also enables masked language models to achieve competitive image synthesis quality to GAN- and diffusion-based methods.
• Abstract（参考訳）: 本稿では,バイナリ球面量子化(BSQ)を用いたトランスフォーマベース画像およびビデオトークン化手法を提案する。 BSQは、高次元の視覚的埋め込みを低次元の超球面に投影し、二値量子化を適用する。 BSQは(1)明示的なコードブックなしでパラメータ効率が良く、(2)任意のトークン次元にスケーラブルで、(3)圧縮:100$\times$までのビジュアルデータを最小歪みで圧縮する。 我々のトークンライザは、可変長動画を入力としてサポートするために、単純なブロックワイズ因果マスキングを備えたトランスフォーマーエンコーダとデコーダを使用する。 結果として得られたBSQ-ViTは、最高の先行手法と比較して2.4$\times$スループットで、画像およびビデオ再構成ベンチマークの最先端の視覚再構成品質を達成する。 さらに、適応型算術符号化のための自己回帰事前学習により、BSQ-ViTは、最先端のビデオ圧縮標準によるビデオ圧縮において、同等の結果を得る。 BSQ-ViTはまた、GANおよび拡散法と競合する画像合成品質を実現するために、マスク付き言語モデルを可能にする。

関連論文リスト

• High-Efficiency Neural Video Compression via Hierarchical Predictive Learning [27.41398149573729]
  強化されたDeep Hierarchical Video Compression(DHVC 2.0)は、優れた圧縮性能と目覚ましい複雑さの効率を導入する。 階層的な予測符号化を使用して、各ビデオフレームをマルチスケール表現に変換する。 トランスミッションフレンドリーなプログレッシブデコーディングをサポートしており、パケットロスの存在下では特にネットワーク化されたビデオアプリケーションに有利である。
  論文  参考訳（メタデータ） (2024-10-03T15:40:58Z)
• When Video Coding Meets Multimodal Large Language Models: A Unified Paradigm for Video Coding [112.44822009714461]
  CMVC(Cross-Modality Video Coding)は、ビデオ符号化における多モード表現とビデオ生成モデルを探索する先駆的な手法である。 復号化の際には、以前に符号化されたコンポーネントとビデオ生成モデルを利用して複数の復号モードを生成する。 TT2Vは効果的な意味再構成を実現し,IT2Vは競争力のある知覚整合性を示した。
  論文  参考訳（メタデータ） (2024-08-15T11:36:18Z)
• Content-aware Masked Image Modeling Transformer for Stereo Image Compression [15.819672238043786]
  本稿では,CAMSICというステレオ画像圧縮フレームワークを提案する。 CAMSICは各画像を潜在表現に変換し、強力なデコーダフリートランスフォーマーエントロピーモデルを用いる。 実験により,本フレームワークは2つのステレオ画像データセット上で,最先端の速度歪み性能を実現することが示された。
  論文  参考訳（メタデータ） (2024-03-13T13:12:57Z)
• Video Coding Using Learned Latent GAN Compression [1.6058099298620423]
  ビデオの表現と圧縮にはStyleGANなどのGANの生成能力を活用する。 各フレームはStyleGANの潜在空間で反転され、そこから最適な圧縮が学習される。
  論文  参考訳（メタデータ） (2022-07-09T19:07:43Z)
• Reducing Redundancy in the Bottleneck Representation of the Autoencoders [98.78384185493624]
  オートエンコーダは教師なしニューラルネットワークの一種であり、様々なタスクを解くのに使用できる。 本稿では,ボトルネック表現における特徴冗長性を明示的に罰する手法を提案する。 我々は,3つの異なるデータセットを用いた次元削減,MNISTデータセットを用いた画像圧縮,ファッションMNISTを用いた画像デノナイズという,さまざまなタスクにまたがってアプローチを検証した。
  論文  参考訳（メタデータ） (2022-02-09T18:48:02Z)
• A New Image Codec Paradigm for Human and Machine Uses [53.48873918537017]
  本研究では,人間用と機械用の両方にスケーラブルな画像パラダイムを提案する。 高レベルのインスタンスセグメンテーションマップと低レベルの信号特徴をニューラルネットワークで抽出する。 画像は16ビットのグレースケールプロファイルと信号特徴を持つ一般的な画質のイメージ再構成を実現するために設計および訓練される。
  論文  参考訳（メタデータ） (2021-12-19T06:17:38Z)
• Transformer-based Image Compression [18.976159633970177]
  Transformer-based Image Compression (TIC) アプローチは、標準変分オートエンコーダ(VAE)アーキテクチャをメインおよびハイパーエンコーダデコーダのペアで再利用する。 TICは、Deep Convolutional Neural Network(CNN)ベースの学習画像符号化(lic)メソッドや、最近承認されたVersatile Video Coding(VVC)標準のハンドクラフトルールベースの内部プロファイルなど、最先端のアプローチと競合する。
  論文  参考訳（メタデータ） (2021-11-12T13:13:20Z)
• Learned Multi-Resolution Variable-Rate Image Compression with Octave-based Residual Blocks [15.308823742699039]
  一般化オクターブ畳み込み(GoConv)と一般化オクターブ畳み込み(GoTConv)を用いた新しい可変レート画像圧縮フレームワークを提案する。 単一モデルが異なるビットレートで動作し、複数レートの画像特徴を学習できるようにするため、新しい目的関数が導入される。 実験結果から,H.265/HEVCベースのBPGや最先端の学習に基づく可変レート法などの標準コーデックよりも高い性能を示した。
  論文  参考訳（メタデータ） (2020-12-31T06:26:56Z)
• Modeling Lost Information in Lossy Image Compression [72.69327382643549]
  ロスシー画像圧縮は、デジタル画像の最もよく使われる演算子の1つである。 Invertible Lossy Compression (ILC) と呼ばれる新しい非可逆的フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-22T04:04:56Z)
• An Emerging Coding Paradigm VCM: A Scalable Coding Approach Beyond Feature and Signal [99.49099501559652]
  Video Coding for Machine (VCM)は、視覚的特徴圧縮と古典的なビデオ符号化のギャップを埋めることを目的としている。 我々は,学習した動きパターンのガイダンスを用いて,映像フレームを再構成するために条件付き深層生成ネットワークを用いる。 予測モデルを介してスパース動作パターンを抽出することを学ぶことにより、特徴表現をエレガントに活用し、符号化されたフレームの外観を生成する。
  論文  参考訳（メタデータ） (2020-01-09T14:18:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。