論文の概要: UniCode: Learning a Unified Codebook for Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2403.09072v1
• Date: Thu, 14 Mar 2024 03:29:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-15 21:57:10.117679
• Title: UniCode: Learning a Unified Codebook for Multimodal Large Language Models
• Title（参考訳）: UniCode: マルチモーダルな大規模言語モデルのための統一コードブックを学ぶ
• Authors: Sipeng Zheng, Bohan Zhou, Yicheng Feng, Ye Wang, Zongqing Lu,
• Abstract要約: マルチモーダル大言語モデル(MLLM)の領域内での新しいアプローチである textbfUniCode を提案する。 UniCodeは、視覚、テキスト、潜在的に他の種類の信号を効率的にトークン化する統一されたコードブックを学習する。 トレーニング中にパラメータが大幅に少なく、データが少ないにもかかわらず、Unicodeは視覚的再構成と生成の有望な能力を示している。
• 参考スコア（独自算出の注目度）: 33.48624855154342
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose \textbf{UniCode}, a novel approach within the domain of multimodal large language models (MLLMs) that learns a unified codebook to efficiently tokenize visual, text, and potentially other types of signals. This innovation addresses a critical limitation in existing MLLMs: their reliance on a text-only codebook, which restricts MLLM's ability to generate images and texts in a multimodal context. Towards this end, we propose a language-driven iterative training paradigm, coupled with an in-context pre-training task we term ``image decompression'', enabling our model to interpret compressed visual data and generate high-quality images.The unified codebook empowers our model to extend visual instruction tuning to non-linguistic generation tasks. Moreover, UniCode is adaptable to diverse stacked quantization approaches in order to compress visual signals into a more compact token representation. Despite using significantly fewer parameters and less data during training, Unicode demonstrates promising capabilities in visual reconstruction and generation. It also achieves performances comparable to leading MLLMs across a spectrum of VQA benchmarks.
• Abstract（参考訳）: 本稿では,マルチモーダル大規模言語モデル(MLLM)の領域内で,視覚的,テキスト的,潜在的に他の種類の信号を効率的にトークン化するための統一コードブックを学習する,新しいアプローチである \textbf{UniCode} を提案する。 MLLMはテキストのみのコードブックに依存しており、マルチモーダルコンテキストで画像やテキストを生成する能力を制限する。 そこで,本稿では,言語駆動型反復学習パラダイムと,<image decompression''というコンテキスト内事前学習タスクを併用して,圧縮された視覚データを解釈し,高品質な画像を生成するためのモデルを提案する。 さらに、UniCodeは、視覚信号をよりコンパクトなトークン表現に圧縮するために、様々な積み重ね量子化アプローチに適応できる。 トレーニング中にパラメータが大幅に少なく、データが少ないにもかかわらず、Unicodeは視覚的再構成と生成の有望な能力を示している。 また、VQAベンチマークでリードするMLLMに匹敵するパフォーマンスも達成している。

関連論文リスト

• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• Enhancing Vision-Language Model with Unmasked Token Alignment [37.12838142681491]
  本稿では,既存のCLIPモデルを利用して視覚言語表現をさらに強化する手法であるUnmasked Token Alignment (UTA)を紹介する。 UTAは、ViTモデルとCLIPテキストエンコーダを自動的に整列する凍結されたCLIPビジョンエンコーダから、未マッピングの視覚トークンを対応する画像トークンに整列させることで、ViT(Vit)を訓練する。
  論文  参考訳（メタデータ） (2024-05-29T11:48:17Z)
• LG-VQ: Language-Guided Codebook Learning [36.422599206253324]
  ベクトル量子化(VQ)は高解像度かつ高忠実な画像合成において重要な技術である。 本稿ではLG-VQと呼ばれる新しい言語誘導型コードブック学習フレームワークを提案する。 提案手法は、再構成および様々なマルチモーダル下流タスクにおいて優れた性能を実現する。
  論文  参考訳（メタデータ） (2024-05-23T06:04:40Z)
• Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
  マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。 本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-03-05T13:45:46Z)
• Kosmos-G: Generating Images in Context with Multimodal Large Language Models [117.0259361818715]
  現在の被写体駆動画像生成法では、テストタイムチューニングが必要であり、インターリーブされたマルチイメージとテキスト入力を受け付けない。 本稿では,マルチモーダル大規模言語モデルの高度なマルチモーダル認識機能を活用するモデルであるKosmos-Gを提案する。 Kosmos-Gは、インターリーブされたマルチイメージとテキスト入力によるゼロショットの主観的生成の印象的な能力を示す。
  論文  参考訳（メタデータ） (2023-10-04T17:28:44Z)
• Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
  非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。 結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。 この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
  論文  参考訳（メタデータ） (2023-09-09T03:01:38Z)
• Position-Enhanced Visual Instruction Tuning for Multimodal Large Language Models [50.07056960586183]
  MLLM(Multimodal Large Language Models)の機能を拡張するために, PVIT( Position-enhanced Visual Instruction Tuning)を提案する。 この統合により、MLLMの画像のより詳細な理解が促進される。 本稿では,提案モデルの優位性を示す定量的実験と定性解析の両方について述べる。
  論文  参考訳（メタデータ） (2023-08-25T15:33:47Z)
• Generating Images with Multimodal Language Models [78.6660334861137]
  本稿では,凍結したテキストのみの大規模言語モデルを,事前学習した画像エンコーダとデコーダモデルで融合する手法を提案する。 本モデルでは,画像検索,新しい画像生成,マルチモーダル対話など,多モーダルな機能群を示す。
  論文  参考訳（メタデータ） (2023-05-26T19:22:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。