論文の概要: Studying Image Tokenizers as Visual Languages in Unified Multimodal Models
- arxiv url: http://arxiv.org/abs/2609.09143v1
- Date: Tue, 08 Sep 2026 17:57:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 20:10:06.764354
- Title: Studying Image Tokenizers as Visual Languages in Unified Multimodal Models
- Title（参考訳）: 統一マルチモーダルモデルにおける視覚言語としてのイメージトケナイザの検討
- Abstract要約: 画像トークン化器は、統合マルチモーダルモデルの視覚言語の''を定義するが、一般的には孤立したメトリクスを通して研究される。
制御された純粋自己回帰テストベッドを構築し、マルチモーダル事前トレーニング中にタスク固有の検証損失を追跡する。
これらの損失がどのようにスケールし、下流のパフォーマンスと関係するかを調べ、マルチモーダル学習性の研究に使用する。
- 参考スコア（独自算出の注目度）: 36.458663694183244
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Image tokenizers define the ``visual language'' of unified multimodal models, yet are commonly studied through isolated metrics or generation-/understanding-only evaluations. These evaluations do not fully capture how visual tokens behave when modeled jointly with text. We build a controlled pure-autoregressive testbed and track task-specific validation losses during multimodal continual pretraining across text, image, text-to-image (T2I), and image-to-text (I2T) prediction. We examine how these losses scale and relate to downstream performance, then use them to study multimodal learnability---how well image and text tokens are jointly modeled---and tokenizer design. We find that (1) losses should be analyzed by task, since they exhibit distinct scaling behavior and rank tokenizers differently. (2) The loss--performance relationship depends on the predicted token space: for a fixed tokenizer, T2I and I2T losses correlate with generation quality, but across tokenizers, the T2I loss--performance relationship shifts with the image-token space, whereas I2T loss, computed over a shared text vocabulary, provides a more consistent signal. I2T loss also correlates with both generation and visual understanding performance after supervised finetuning. Using losses as a lens, we show that (3) better reconstruction does not necessarily yield lower task-specific losses or stronger downstream performance, and that (4) image tokenizer choice can affect text modeling under joint optimization. As case studies, we revisit three tokenizer design axes---the discriminator, semantic supervision, and vocabulary size---to examine their effects on joint modeling and downstream performance. Together, our testbed offers a complementary perspective on image tokenizers as visual languages, highlighting their interplay with text in joint multimodal training.
- Abstract（参考訳）: Image tokenizersは、統合マルチモーダルモデルの‘視覚言語’を定義するが、一般的には独立したメトリクスや生成/理解のみの評価を通じて研究される。
これらの評価は、テキストと共同でモデル化されたときに視覚的トークンがどのように振る舞うかを完全には捉えない。
我々は、テキスト、画像、テキスト・トゥ・イメージ(T2I)、画像・トゥ・テキスト(I2T)予測を横断するマルチモーダル・プレトレーニング中に、純粋自己回帰テストベッドを制御し、タスク固有の検証損失を追跡する。
これらの損失がどのようにスケールし、下流のパフォーマンスに関係しているかを調べ、それをマルチモーダル学習可能性の研究に利用します。
1) 異なるスケーリング行動やランクトークン化を行うため,(1) 損失はタスクによって分析されるべきである。
2) 固定トークン化器, T2I, I2Tの損失は生成品質と相関するが, トークン化器間では, T2Iの損失-性能関係は画像トークン化空間にシフトする一方, I2Tの損失は共有テキスト語彙で計算され, より一貫した信号を提供する。
I2T損失は、教師付き微調整後の生成および視覚的理解性能とも相関する。
レンズとして損失を利用すると、(3)より優れた再構築がタスク固有の損失を減らしたり、より強力なダウンストリーム性能をもたらすわけではないことが示され、(4)画像トークン化器の選択が共同最適化の下でのテキストモデリングに影響を及ぼすことが示されている。
ケーススタディでは, 識別器, 意味指導, 語彙サイズという3つのトークン化器の設計軸を再検討し, 共同モデリングと下流性能に与える影響について検討する。
我々のテストベッドは、視覚言語としてのイメージトークン化ツールを補完する視点を提供し、共同マルチモーダルトレーニングにおけるテキストとの相互作用を強調している。
関連論文リスト
- Unified Text-Image Generation with Weakness-Targeted Post-Training [57.956648078400775]
テキストと画像を共同で生成する統一マルチモーダル生成アーキテクチャは、最近、テキスト・ツー・イメージ(T2I)合成の有望な方向として登場した。
この研究は、モデルがテキスト推論から視覚合成へ自律的に遷移する、完全に統一されたテキスト画像生成を実現するためのポストトレーニングを探求する。
論文 参考訳（メタデータ） (2026-01-07T19:19:44Z) - TokBench: Evaluating Your Visual Tokenizer before Visual Generation [75.38270351179018]
さまざまな画像トークンやVAEに対して,テキストと顔の復元品質をさまざまな尺度で分析する。
以上の結果から, 現代の視覚トークン化器は, 特に小規模では, 細粒度保存に苦慮していることが明らかとなった。
論文 参考訳（メタデータ） (2025-05-23T17:52:16Z) - Translatotron-V(ison): An End-to-End Model for In-Image Machine Translation [81.45400849638347]
In-image Machine Translation (IIMT) は、ソース言語のテキストを含む画像をターゲット言語の翻訳を含む画像に変換することを目的としている。
本稿では,4つのモジュールからなるエンドツーエンドIIMTモデルを提案する。
本モデルでは,70.9%のパラメータしか持たないカスケードモデルと比較して競争性能が向上し,画素レベルのエンド・ツー・エンドIIMTモデルよりも大幅に優れていた。
論文 参考訳（メタデータ） (2024-07-03T08:15:39Z) - CatLIP: CLIP-level Visual Recognition Accuracy with 2.7x Faster Pre-training on Web-scale Image-Text Data [40.88256210436378]
本稿では,Web スケールの画像テキストデータに基づく視覚モデルの弱教師付き事前学習を提案する。
提案手法は,画像テキストデータに基づく事前学習を分類タスクとして再編成する。
Webスケールのデータに対する対照的な学習に比べて、トレーニング速度の2.7倍の加速を実現している。
論文 参考訳（メタデータ） (2024-04-24T05:13:28Z) - FINEMATCH: Aspect-based Fine-grained Image and Text Mismatch Detection and Correction [66.98008357232428]
我々は新しいアスペクトベースのきめ細かいテキストと画像マッチングベンチマークであるFineMatchを提案する。
FineMatchはテキストと画像のミスマッチの検出と修正に焦点を当てている。
FineMatchで訓練されたモデルは、きめ細かいテキストや画像のミスマッチを検出する能力の向上を示す。
論文 参考訳（メタデータ） (2024-04-23T03:42:14Z) - Dynamic Visual Semantic Sub-Embeddings and Fast Re-Ranking [0.5242869847419834]
情報エントロピーを低減するために動的ビジュアルセマンティックサブエンベッドディングフレームワーク(DVSE)を提案する。
生成した候補埋め込みに様々な意味的変動を捉えるよう促すため,混合分布を構築した。
3つのベンチマークデータセット上の4つの画像特徴エンコーダと2つのテキスト特徴エンコーダを用いて,既存のセットベース手法と比較した。
論文 参考訳（メタデータ） (2023-09-15T04:39:11Z) - Noisy-Correspondence Learning for Text-to-Image Person Re-identification [50.07634676709067]
本稿では,雑音対応においても頑健な視覚関係を学習するための新しいロバスト二重埋め込み法(RDE)を提案する。
提案手法は,3つのデータセット上での合成ノイズ対応と非合成ノイズ対応を両立させる。
論文 参考訳（メタデータ） (2023-08-19T05:34:13Z) - Planting a SEED of Vision in Large Language Model [73.17530130368053]
このSEEDは,大規模言語モデル(LLM)とSEEとDrawを同時に実現する,精巧な画像トークンである。
このバージョンのSEEDは、64のV100 GPUと5Mのパブリックな画像テキストペアを使用して、5.7日間でトレーニングされた。
論文 参考訳（メタデータ） (2023-07-16T13:41:39Z) - Contrastive Learning of Visual-Semantic Embeddings [4.7464518249313805]
本稿では,正規化されたクロスエントロピーに基づく2つの損失関数を提案する。
本研究は,画像・テキスト・テキスト・画像検索タスクにおける既存のビジュアル・セマンティックな埋め込み手法と比較する。
論文 参考訳（メタデータ） (2021-10-17T17:28:04Z) - Deep Multimodal Image-Text Embeddings for Automatic Cross-Media
Retrieval [0.0]
視覚と言語表現を同時に学習するための,エンドツーエンドの深層マルチモーダル畳み込み再帰ネットワークを提案する。
このモデルは、どのペアがマッチ(正)か、どれがミスマッチ(負)かをヒンジベースの三重項ランキングを用いて学習する。
論文 参考訳（メタデータ） (2020-02-23T23:58:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。