論文の概要: Towards Language Models That Can See: Computer Vision Through the LENS
of Natural Language
- arxiv url: http://arxiv.org/abs/2306.16410v1
- Date: Wed, 28 Jun 2023 17:57:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-29 13:17:31.606538
- Title: Towards Language Models That Can See: Computer Vision Through the LENS
of Natural Language
- Title(参考訳): 見える言語モデルに向けて:自然言語レンズによるコンピュータビジョン
- Authors: William Berrios, Gautam Mittal, Tristan Thrush, Douwe Kiela, Amanpreet
Singh
- Abstract要約: 大規模言語モデル(LLM)のパワーを活用して,コンピュータビジョン問題に対処するためのモジュール型アプローチであるLENSを提案する。
我々のシステムは言語モデルを用いて、独立かつ高度に記述された視覚モジュールの集合からの出力を推論する。
我々は、ゼロショットや少数ショットのオブジェクト認識のような純粋コンピュータビジョン設定に対するアプローチと、視覚と言語の問題について評価する。
- 参考スコア(独自算出の注目度): 38.37066741766843
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose LENS, a modular approach for tackling computer vision problems by
leveraging the power of large language models (LLMs). Our system uses a
language model to reason over outputs from a set of independent and highly
descriptive vision modules that provide exhaustive information about an image.
We evaluate the approach on pure computer vision settings such as zero- and
few-shot object recognition, as well as on vision and language problems. LENS
can be applied to any off-the-shelf LLM and we find that the LLMs with LENS
perform highly competitively with much bigger and much more sophisticated
systems, without any multimodal training whatsoever. We open-source our code at
https://github.com/ContextualAI/lens and provide an interactive demo.
- Abstract(参考訳): 大規模言語モデル(LLM)のパワーを活用することで,コンピュータビジョン問題に対処するためのモジュール型アプローチであるLENSを提案する。
本システムでは、画像に関する徹底的な情報を提供する独立かつ記述性の高い視覚モジュール群からの出力を推論するために言語モデルを用いる。
我々は,ゼロショットや少数ショットの物体認識などの純粋コンピュータビジョンの設定や,視覚や言語の問題に対するアプローチを評価する。
LENS は市販の LLM にも適用可能であり,LENS を用いた LLM は,より大規模で高度なシステムで高い競争力を発揮する。
私たちはコードをhttps://github.com/contextualai/lensでオープンソースにし、インタラクティブなデモを提供します。
関連論文リスト
- Exploring Unseen Environments with Robots using Large Language and Vision Models through a Procedurally Generated 3D Scene Representation [0.979851640406258]
本研究は,人間の認知を模倣して物体目標ナビゲーション問題を解決することに焦点を当てる。
対象の探索に慣れない環境を探索できる包括的フレームワークを提案する。
LLMを使ってハイレベルなサブゴールを生成する場合の課題は、ロボットの周囲の環境を効率的に表現することである。
論文 参考訳(メタデータ) (2024-03-30T10:54:59Z) - Draw-and-Understand: Leveraging Visual Prompts to Enable MLLMs to Comprehend What You Want [58.091825321168514]
我々は、Draw-and-Understandプロジェクト、新しいモデル、マルチドメインデータセット、ビジュアルプロンプトのための挑戦的なベンチマークを紹介する。
具体的には、視覚エンコーダ、視覚プロンプトエンコーダ、LLMを接続する、エンド・ツー・エンドのマルチモーダル大規模言語モデル(MLLM)を提案する。
MLLMの視覚的プロンプト研究を進めるために,MDVP-DataとMDVP-Benchを紹介する。
論文 参考訳(メタデータ) (2024-03-29T16:26:20Z) - Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。
本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
論文 参考訳(メタデータ) (2024-03-05T13:45:46Z) - InternVL: Scaling up Vision Foundation Models and Aligning for Generic
Visual-Linguistic Tasks [92.03764152132315]
我々は、視覚基盤モデルを60億のパラメータにスケールアップする大規模視覚言語基盤モデル(InternVL)を設計する。
このモデルは、32の汎用視覚言語ベンチマークにおいて、最先端のパフォーマンスを広く適用し、達成することができる。
強力な視覚能力を備え、ViT-22Bの代替となる。
論文 参考訳(メタデータ) (2023-12-21T18:59:31Z) - VCoder: Versatile Vision Encoders for Multimodal Large Language Models [46.95488342139727]
MLLM(Multimodal Large Language Models)は近年,視覚言語タスクにおける優れたパフォーマンスを実現している。
しかし、ある画像内のエンティティを識別またはカウントするよう促された場合、既存のMLLMシステムは失敗する。
We propose using Versatile vision enCoders (VCoder) as perception eyes for Multimodal LLMs。
論文 参考訳(メタデータ) (2023-12-21T18:49:47Z) - VisionLLM: Large Language Model is also an Open-Ended Decoder for
Vision-Centric Tasks [81.32968995346775]
VisionLLMは視覚中心のタスクのためのフレームワークで、柔軟に定義され、言語命令を使って管理できる。
検出固有モデルと同等の精度で,COCO上で60%以上のmAPを達成できる。
論文 参考訳(メタデータ) (2023-05-18T17:59:42Z) - mPLUG-Owl: Modularization Empowers Large Language Models with Multimodality [95.76661165594884]
mPLUG-Owlは、大規模言語モデル(LLM)にマルチモーダル能力を持たせる訓練パラダイムである。
トレーニングパラダイムは、LLMの助けを借りて視覚知識を学ぶ、画像とテキストの整列のための2段階の手法を含む。
実験の結果,本モデルは既存のマルチモーダルモデルよりも優れていた。
論文 参考訳(メタデータ) (2023-04-27T13:27:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。