Fugu-MT 論文翻訳(概要): Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals?

論文の概要: Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals?

arxiv url: http://arxiv.org/abs/2610.37662v1
Date: Tue, 27 Oct 2026 17:59:22 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-28 21:04:31.744525
Title: Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals?
Title（参考訳）: 視覚信号の無意味な無意味な表現として, 音素を識別することは可能か?
Abstract要約: 本稿では,視覚特徴の相補的,固定次元的なビューを対称な並列コードブックで定量化するFactized Vector Quantizationを紹介する。離散表現モデルでは,UniARとEmu3-Chatをそれぞれ22.8%,59.2%上回った。
参考スコア（独自算出の注目度）: 48.52998278328392
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Discrete visual tokens represent vision in a discrete form analogous to language, offering a native interface for multimodal modeling under a shared next-token prediction objective. However, quantization error is widely assumed to cause unavoidable semantic loss, fundamentally limiting the semantic fidelity of discrete visual tokens and positioning continuous visual representations as an intrinsic upper bound. Using multimodal understanding as a proxy for semantic fidelity, we revisit this assumption and find quantization error unreliable, as discrete representations with substantially larger errors can achieve better understanding. Instead, the effective bit budget of discrete indices emerges as a key determinant of downstream performance. However, existing quantizers eventually saturate as additional codebooks contribute progressively less semantic information. As one approach to alleviating this saturation, we introduce Factorized Vector Quantization, which quantizes complementary, fixed-dimensional views of the visual feature with symmetric parallel codebooks. It continues to improve at larger bit budgets, ultimately matching continuous visual representations in multimodal understanding. Trained on industrial-scale multimodal data, our model achieves state-of-the-art performance among discrete-representation models, outperforming UniAR and Emu3-Chat by 22.8% and 59.2%, respectively, on a nine-metric average. To our knowledge, it is also the first discrete-representation model competitive with strong continuous-representation models such as Qwen3-VL, including on fine-grained OCR tasks. We further identify the key principles and a practical recipe enabling this competitiveness. These results and insights support the potential of discrete visual representations to underpin large-scale native multimodal foundation models. Code and models are available at https://github.com/hustvl/FVQ
Abstract（参考訳）: 離散的な視覚トークンは、言語と類似した視覚を表現し、共有された次世代の予測目的の下でマルチモーダルモデリングのためのネイティブインターフェースを提供する。しかし、量子化誤差は避けられない意味的損失を引き起こし、離散的な視覚的トークンの意味的忠実さを根本的に制限し、連続的な視覚的表現を本質的な上界として位置づける、と広く考えられている。意味的忠実性のプロキシとしてマルチモーダル理解を用いることで、この仮定を再検討し、より大きな誤差を持つ離散表現がより良い理解を達成できるため、量子化誤差を信頼できないと判断する。代わりに、離散インデックスの効果的なビット予算が、下流のパフォーマンスの重要な決定要因として現れる。しかし、既存の量子化器は、追加のコードブックが徐々に少ない意味情報に寄与するので、最終的に飽和する。この飽和を緩和する1つのアプローチとして、左右対称の並列コードブックで視覚特徴の相補的、固定次元のビューを定量化するFactized Vector Quantizationを導入する。より大きなビット予算で改善を続け、最終的にはマルチモーダル理解における連続的な視覚的表現と一致する。産業規模のマルチモーダルデータに基づいて,UniAR と Emu3-Chat をそれぞれ22.8%,Emu3-Chat を59.2% で上回り,離散表現モデル間の最先端性能を実現した。我々の知る限り、これはQwen3-VLのような強力な連続表現モデルと競合する最初の離散表現モデルであり、微粒なOCRタスクも含む。さらに、この競争力を実現するための重要な原則と実践的なレシピを特定します。これらの結果と洞察は、大規模ネイティブなマルチモーダル基盤モデルを支えるために、離散的な視覚表現の可能性を支持する。コードとモデルはhttps://github.com/hustvl/FVQで入手できる。

論文の概要: Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals?

関連論文リスト