論文の概要: Do better language models have crisper vision?

• arxiv url: http://arxiv.org/abs/2410.07173v1
• Date: Wed, 9 Oct 2024 17:59:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-31 21:46:48.786335
• Title: Do better language models have crisper vision?
• Title（参考訳）: より良い言語モデルには明快なビジョンがあるか?
• Authors: Jona Ruthardt, Gertjan J. Burghouts, Serge Belongie, Yuki M. Asano,
• Abstract要約: テキストのみのLarge Language Models (LLMs)は、ビジュアル世界をどのように把握するか? 本稿では,ビジュアルワールドに適合する言語モデルを実現するキープロパティを分離するためのVisual Text Representation Benchmark (ViTeRB)を提案する。 これらの知見に基づいて,超軽量CLIP様モデルであるShareLockを提案する。
• 参考スコア（独自算出の注目度）: 23.884532179063733
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How well do text-only Large Language Models (LLMs) grasp the visual world? As LLMs are increasingly used in computer vision, addressing this question becomes both fundamental and pertinent. However, existing studies have primarily focused on limited scenarios, such as their ability to generate visual content or cluster multimodal data. To this end, we propose the Visual Text Representation Benchmark (ViTeRB) to isolate key properties that make language models well-aligned with the visual world. With this, we identify large-scale decoder-based LLMs as ideal candidates for representing text in vision-centric contexts, counter to the current practice of utilizing text encoders. Building on these findings, we propose ShareLock, an ultra-lightweight CLIP-like model. By leveraging precomputable frozen features from strong vision and language models, ShareLock achieves an impressive 51% accuracy on ImageNet despite utilizing just 563k image-caption pairs. Moreover, training requires only 1 GPU hour (or 10 hours including the precomputation of features) - orders of magnitude less than prior methods. Code will be released.
• Abstract（参考訳）: テキストのみのLarge Language Models (LLM)は、ビジュアル世界をどのように把握するか? LLMはコンピュータビジョンでますます使われているため、この問題に対処することは基本的かつ関連するものとなる。 しかし、既存の研究は主に、視覚コンテンツやクラスタマルチモーダルデータを生成する能力など、限られたシナリオに焦点を当てている。 そこで本稿では,視覚世界と言語モデルを整合させるキープロパティを分離するためのVisual Text Representation Benchmark (ViTeRB)を提案する。 これにより、大規模デコーダベースのLCMを視覚中心の文脈でテキストを表現するための理想的な候補とみなし、テキストエンコーダを利用する現在の実践に対抗できる。 これらの知見に基づいて,超軽量CLIP様モデルであるShareLockを提案する。 強力なビジョンと言語モデルから事前計算可能なフリーズ機能を活用することで、ShareLockは563kのイメージキャプチャペアしか利用していないにも関わらず、ImageNet上で印象的な51%の精度を実現している。 さらに、トレーニングには1GPU時間(または機能の事前計算を含む10時間)しか必要としない。 コードはリリースされる。

関連論文リスト

• Improving Visual Commonsense in Language Models via Multiple Image Generation [41.565399860320966]
  既存の大規模言語モデル(LLM)は、主にテキストデータのみを使用して訓練されている。 視覚言語モデルは視覚的に指向するタスクに優れており、基本的なコモンセンス推論のような視覚的でないタスクでは失敗することが多い。 この分散は、基本的なテキストベースの言語推論と堅牢な視覚的理解の統合という、重要な課題を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-06-19T15:17:10Z)
• CODIS: Benchmarking Context-Dependent Visual Comprehension for Multimodal Large Language Models [58.95889895912716]
  我々は、自由形式のテキストで提供されるコンテキストを用いて視覚的理解を高めるモデルの有効性を評価するために、CODISと名付けられた新しいベンチマークを導入する。 以上の結果から,MLLMは必ずしも人体性能に劣っていることが示唆された。 このことは、MLLMが視覚を文脈依存的に理解する能力を高めることの必要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-21T08:21:12Z)
• Unified Language-Vision Pretraining in LLM with Dynamic Discrete Visual Tokenization [52.935150075484074]
  非言語的なイメージを外国語のような個別のトークン列に変換するために、よく設計されたビジュアルトークン化器を導入する。 結果として得られる視覚トークンは、単語に相応しいハイレベルな意味論を含み、画像から変化する動的シーケンス長もサポートする。 この統合によりLaVITは、マルチモーダルコンテンツの理解と生成を同時に行うための印象的な汎用インターフェースとして機能する。
  論文  参考訳（メタデータ） (2023-09-09T03:01:38Z)
• mBLIP: Efficient Bootstrapping of Multilingual Vision-LLMs [50.17767479660832]
  視覚言語モデル(Vision-LLMs)は、事前訓練された画像エンコーダを(凍結した)大型言語モデル(LLMs)とポストホック条件LLMsに整合させ、画像入力を理解する。 我々は,マルチ言語LLMを利用した最初のビジョン-LLMであるmBLIPを,コンシューマレベルのハードウェア上で計算的に効率よく提供する。
  論文  参考訳（メタデータ） (2023-07-13T17:51:58Z)
• UniFine: A Unified and Fine-grained Approach for Zero-shot Vision-Language Understanding [84.83494254263138]
  ゼロショット視覚言語学習のための微細な情報を利用する統一的なフレームワークを提案する。 我々のフレームワークは従来のVQAのゼロショット法よりも優れており、SNLI-VEとVCRの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2023-07-03T09:03:12Z)
• VisionLLM: Large Language Model is also an Open-Ended Decoder for Vision-Centric Tasks [81.32968995346775]
  VisionLLMは視覚中心のタスクのためのフレームワークで、柔軟に定義され、言語命令を使って管理できる。 検出固有モデルと同等の精度で,COCO上で60%以上のmAPを達成できる。
  論文  参考訳（メタデータ） (2023-05-18T17:59:42Z)
• Is Multimodal Vision Supervision Beneficial to Language? [2.216702991322677]
  ビジョン(イメージとビデオ)事前トレーニングは、マルチモーダルタスクで最先端の結果を得た最近の一般的なパラダイムである。 我々は,これらのモデルのスタンドアロンテキストエンコーダの言語表現性能と,視覚監督を通して学習したテキストエンコーダの言語表現性能を比較した。
  論文  参考訳（メタデータ） (2023-02-10T02:22:44Z)
• Visually-Augmented Language Modeling [137.36789885105642]
  本稿では,言語モデリングのための関連画像を含むテキストトークンを視覚的に拡張する,VaLMという新しい事前学習フレームワークを提案する。 視覚的に拡張されたコンテキストでは、VaLMは視覚知識融合層を使用してマルチモーダル基底言語モデリングを可能にする。 視覚情報を必要とする多モーダル・コモンセンス推論タスクについて,提案モデルの評価を行った。
  論文  参考訳（メタデータ） (2022-05-20T13:41:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。