論文の概要: Vision as a Dialect: Unifying Visual Understanding and Generation via Text-Aligned Representations

• arxiv url: http://arxiv.org/abs/2506.18898v1
• Date: Mon, 23 Jun 2025 17:59:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:37.119888
• Title: Vision as a Dialect: Unifying Visual Understanding and Generation via Text-Aligned Representations
• Title（参考訳）: 方言としての視覚:テキスト対応表現による視覚理解と生成の統合
• Authors: Jiaming Han, Hao Chen, Yang Zhao, Hanyu Wang, Qi Zhao, Ziyan Yang, Hao He, Xiangyu Yue, Lu Jiang,
• Abstract要約: 本稿では,共有意味表現における視覚的理解と生成を統一する枠組みを提案する。 中心となるのはText-Aligned Tokenizer (TA-Tok) で、これは大きな言語モデル(LLM)の語彙から投影されたテキスト整列コードブックを用いて画像を個別のトークンに変換する。 ベンチマークによる実験では、Tarは既存のマルチモーダルLLMメソッドと一致し、より高速な収束とトレーニング効率の向上を実現している。
• 参考スコア（独自算出の注目度）: 33.11867433769496
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a multimodal framework that attempts to unify visual understanding and generation within a shared discrete semantic representation. At its core is the Text-Aligned Tokenizer (TA-Tok), which converts images into discrete tokens using a text-aligned codebook projected from a large language model's (LLM) vocabulary. By integrating vision and text into a unified space with an expanded vocabulary, our multimodal LLM, Tar, enables cross-modal input and output through a shared interface, without the need for modality-specific designs. Additionally, we propose scale-adaptive encoding and decoding to balance efficiency and visual detail, along with a generative de-tokenizer to produce high-fidelity visual outputs. To address diverse decoding needs, we utilize two complementary de-tokenizers: a fast autoregressive model and a diffusion-based model. To enhance modality fusion, we investigate advanced pre-training tasks, demonstrating improvements in both visual understanding and generation. Experiments across benchmarks show that Tar matches or surpasses existing multimodal LLM methods, achieving faster convergence and greater training efficiency. Code, models, and data are available at https://tar.csuhan.com
• Abstract（参考訳）: 本稿では,共有された個別の意味表現の中で視覚的理解と生成を統一しようとするマルチモーダルフレームワークを提案する。 中心となるのはText-Aligned Tokenizer (TA-Tok) で、これは大きな言語モデル(LLM)の語彙から投影されたテキスト整列コードブックを用いて画像を個別のトークンに変換する。 視覚とテキストを拡張語彙で統一された空間に組み込むことで、モダリティ固有の設計を必要とせずに、多モードのLLMであるTarは、共有インターフェースを介して、クロスモーダルな入力と出力を可能にします。 さらに,高忠実度な視覚出力を生成するための生成デトケナイザとともに,効率と視覚的ディテールのバランスをとるためのスケール適応符号化とデコードを提案する。 多様な復号化ニーズに対応するために,高速自己回帰モデルと拡散モデルという2つの相補的復号化手法を用いる。 モーダリティ・フュージョンを強化するために,先進的な事前学習タスクについて検討し,視覚的理解と生成の両面での改善を実証した。 ベンチマークによる実験では、Tarは既存のマルチモーダルLLMメソッドと一致し、より高速な収束とトレーニング効率の向上を実現している。 コード、モデル、データはhttps://tar.csuhan.comで入手できる。

関連論文リスト

• Aligning Vision to Language: Text-Free Multimodal Knowledge Graph Construction for Enhanced LLMs Reasoning [10.761218096540976]
  LLM(Large Language Models)におけるマルチモーダル推論は、不完全な知識と幻覚に苦しむ。 本稿では,マルチモーダルな知識グラフを構築するための新しいアプローチであるVaLiK(Vision-Align-to-Language Integrated Knowledge Graph)を提案する。
  論文  参考訳（メタデータ） (2025-03-17T09:31:14Z)
• ControlMLLM: Training-Free Visual Prompt Learning for Multimodal Large Language Models [73.34709921061928]
  マルチモーダル大言語モデル(MLLM)に視覚的プロンプトを注入する学習自由手法を提案する。 我々は,エネルギー関数に基づいて学習可能な潜伏変数を最適化し,注目マップにおける参照領域の強度を高める。 提案手法は,参照能力のMLLMへの統合に有望な方向を与え,ボックス,マスク,スクリブル,ポイントによる参照を支援する。
  論文  参考訳（メタデータ） (2024-07-31T11:40:29Z)
• UniCode: Learning a Unified Codebook for Multimodal Large Language Models [33.48624855154342]
  マルチモーダル大言語モデル(MLLM)の領域内での新しいアプローチである textbfUniCode を提案する。 UniCodeは、視覚、テキスト、潜在的に他の種類の信号を効率的にトークン化する統一されたコードブックを学習する。 トレーニング中にパラメータが大幅に少なく、データが少ないにもかかわらず、Unicodeは視覚的再構成と生成の有望な能力を示している。
  論文  参考訳（メタデータ） (2024-03-14T03:29:58Z)
• Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
  非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。 結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。 この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
  論文  参考訳（メタデータ） (2023-09-09T03:01:38Z)
• Revisiting Multimodal Representation in Contrastive Learning: From Patch and Token Embeddings to Finite Discrete Tokens [76.40196364163663]
  本稿では,CLIPのような学習型視覚言語事前学習手法を提案する。 提案手法は,より包括的な表現を学習し,意味のある相互対応を捉えることができることを示す。
  論文  参考訳（メタデータ） (2023-03-27T00:58:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。