論文の概要: Beyond Text: Frozen Large Language Models in Visual Signal Comprehension

• arxiv url: http://arxiv.org/abs/2403.07874v1
• Date: Tue, 12 Mar 2024 17:59:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 19:50:35.093179
• Title: Beyond Text: Frozen Large Language Models in Visual Signal Comprehension
• Title（参考訳）: beyond text: 視覚信号理解における凍結された大規模言語モデル
• Authors: Lei Zhu, Fangyun Wei, Yanye Lu
• Abstract要約: Vision-to-Language Tokenizer(V2T Tokenizer)は、エンコーダデコーダ、LLM語彙、CLIPモデルを組み合わせて、画像を「外国語」に変換する。 我々は、画像認識、画像キャプション、視覚的質問応答などの理解タスクを含む、厳密な実験を行い、また、塗り絵、アウトペイント、デブロアリング、シフト復元などの画像装飾タスクを実施。
• 参考スコア（独自算出の注目度）: 34.398976855955404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we investigate the potential of a large language model (LLM) to directly comprehend visual signals without the necessity of fine-tuning on multi-modal datasets. The foundational concept of our method views an image as a linguistic entity, and translates it to a set of discrete words derived from the LLM's vocabulary. To achieve this, we present the Vision-to-Language Tokenizer, abbreviated as V2T Tokenizer, which transforms an image into a ``foreign language'' with the combined aid of an encoder-decoder, the LLM vocabulary, and a CLIP model. With this innovative image encoding, the LLM gains the ability not only for visual comprehension but also for image denoising and restoration in an auto-regressive fashion-crucially, without any fine-tuning. We undertake rigorous experiments to validate our method, encompassing understanding tasks like image recognition, image captioning, and visual question answering, as well as image denoising tasks like inpainting, outpainting, deblurring, and shift restoration. Code and models are available at https://github.com/zh460045050/V2L-Tokenizer.
• Abstract（参考訳）: 本研究では,マルチモーダルデータセットの微調整を必要とせず,視覚信号を直接理解する大規模言語モデル(LLM)の可能性を検討する。 本手法の基本概念は,イメージを言語的実体とみなし,LLMの語彙から派生した独立した単語の集合に翻訳する。 これを実現するために、エンコーダデコーダ、LLM語彙、CLIPモデルの併用により、画像が「外部言語」に変換されるV2Tトケナイザ(V2T Tokenizer)を提案する。 この革新的な画像エンコーディングにより、llmは視覚的な理解だけでなく、精巧に調整することなく、自己回帰的な方法で画像のノイズ除去と復元も可能となる。 提案手法を検証するための厳密な実験を行い,画像認識,画像キャプション,視覚的質問応答などの理解タスクに加えて,塗りつぶし,塗りつぶし,ぼろぼろ,シフト復元といった画像の切り離しタスクも実施した。 コードとモデルはhttps://github.com/zh460045050/V2L-Tokenizerで入手できる。

関連論文リスト

• ClawMachine: Fetching Visual Tokens as An Entity for Referring and Grounding [67.63933036920012]
  プロキシエンコーディングやジオメトリエンコーディングを含む既存のメソッドには、オブジェクトの位置をエンコードするための追加構文が含まれている。 この研究はClawMachineを紹介し、視覚トークンを直接使用してエンティティに通知する新しい方法論を提供する。 ClawMachineはビジュアル参照とグラウンドを自動回帰形式に統合し、デコーダのみのアーキテクチャで学習する。
  論文  参考訳（メタデータ） (2024-06-17T08:39:16Z)
• Language Model Beats Diffusion -- Tokenizer is Key to Visual Generation [122.63617171522316]
  大規模言語モデル(LLM)は、言語における生成タスクの主要なモデルである。 本稿では,ビデオと画像の両方に対して簡潔かつ表現力のあるトークンを生成するために設計されたビデオトークンライザMAGVIT-v2を紹介する。
  論文  参考訳（メタデータ） (2023-10-09T14:10:29Z)
• Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
  非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。 結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。 この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
  論文  参考訳（メタデータ） (2023-09-09T03:01:38Z)
• SPAE: Semantic Pyramid AutoEncoder for Multimodal Generation with Frozen LLMs [124.29233620842462]
  画像やビデオなどの非言語的モダリティを含む理解タスクと生成タスクを,凍結したLLMで実現するためのSPAEを導入する。 結果として得られる語彙トークンは、意味的意味と視覚的再構成に必要な細部の両方をキャプチャする。 提案手法は,凍結したLCMが画像理解タスクの最先端性能を25%以上越えながら,画像コンテンツを生成できるようにする試みとして,初めて成功した試みである。
  論文  参考訳（メタデータ） (2023-06-30T17:59:07Z)
• Visually-Situated Natural Language Understanding with Contrastive Reading Model and Frozen Large Language Models [24.456117679941816]
  Contrastive Reading Model (Cream)は、Large Language Models (LLM)の言語画像理解能力を高めるために設計された、新しいニューラルネットワークである。 我々のアプローチは、視覚と言語理解のギャップを埋め、より洗練されたドキュメントインテリジェンスアシスタントの開発の道を開く。
  論文  参考訳（メタデータ） (2023-05-24T11:59:13Z)
• Leveraging per Image-Token Consistency for Vision-Language Pre-training [52.825150269820696]
  クロスモーダルマスク言語モデリング(CMLM)は視覚言語事前学習には不十分である。 視覚言語事前学習のためのEPIC(Leveraging Per Image-Token Consistency)を提案する。 提案手法は, 事前学習法と容易に組み合わせることができる。
  論文  参考訳（メタデータ） (2022-11-20T12:10:53Z)
• VLMAE: Vision-Language Masked Autoencoder [21.97700040013084]
  視覚言語事前学習のための視覚言語マスク付きオートエンコーダフレームワーク(VLMAE)を提案する。 VLMAEは視覚的生成学習を採用しており、モデルが細粒度で偏りのない特徴を取得するのを容易にする。
  論文  参考訳（メタデータ） (2022-08-19T14:39:18Z)
• Align before Fuse: Vision and Language Representation Learning with Momentum Distillation [52.40490994871753]
  本稿では,ALBEF (BEfore Fusing) の表現に対して,モーダルな注意を通したコントラスト的損失を導入する。 本研究では,運動量モデルで生成した擬似ターゲットから学習する自己学習法である運動量蒸留を提案する。 ALBEFは、複数の下流視覚言語タスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-07-16T00:19:22Z)
• Learning Visual Representations with Caption Annotations [19.24013129952071]
  本稿では,視覚的表現をイメージ・キャプション・ペア上で学習するプロキシ・タスクを提案する。 ICMLMは視覚的手がかりに頼って字幕中のマスキング語を予測する。 実験の結果,画像キャプションを利用してグローバルな意味情報を視覚表現に注入できることが確認された。
  論文  参考訳（メタデータ） (2020-08-04T08:04:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。