論文の概要: Monkey: Image Resolution and Text Label Are Important Things for Large
Multi-modal Models
- arxiv url: http://arxiv.org/abs/2311.06607v1
- Date: Sat, 11 Nov 2023 16:37:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 17:42:27.667042
- Title: Monkey: Image Resolution and Text Label Are Important Things for Large
Multi-modal Models
- Title(参考訳): monkey: 画像解像度とテキストラベルは、大規模マルチモーダルモデルにとって重要だ
- Authors: Zhang Li, Biao Yang, Qiang Liu, Zhiyin Ma, Shuo Zhang, Jingxu Yang,
Yabo Sun, Yuliang Liu, Xiang Bai
- Abstract要約: 大規模マルチモーダルモデルは、一般的な視覚言語タスクを理解するのに素晴らしい能力を示している。
ここでは、Monkeyを提案することで問題に対処する。
コントリビューションは2つある: 1) 最初から事前訓練を行わずに、既存のビジョンエンコーダ上に構築できる。
- 参考スコア(独自算出の注目度): 57.59547909784445
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large Multimodal Models have demonstrated impressive capabilities in
understanding general vision-language tasks. However, due to the limitation of
supported input resolution (e.g., 448 x 448) as well as the inexhaustive
description of the training image-text pair, these models often encounter
challenges when dealing with intricate scene understandings and narratives.
Here we address the problem by proposing the Monkey. Our contributions are
two-fold: 1) without pretraining from the start, our method can be built upon
an existing vision encoder (e.g., vit-BigHuge) to effectively improve the input
resolution capacity up to 896 x 1344 pixels; 2) we propose a multi-level
description generation method, which automatically provides rich information
that can guide model to learn contextual association between scenes and
objects. Our extensive testing across more than 16 distinct datasets reveals
that Monkey achieves consistently competitive performance over the existing
LMMs on fundamental tasks, such as Image Captioning, General Visual Question
Answering (VQA), and Document-oriented VQA. Models, interactive demo, and the
source code are provided at the following
https://github.com/Yuliang-Liu/Monkey.
- Abstract(参考訳): 大規模なマルチモーダルモデルは、一般的な視覚言語タスクを理解する素晴らしい能力を示している。
しかし、サポート対象の入力解像度(例えば448 x 448)の制限と、トレーニングされた画像テキストペアの説明不足のため、これらのモデルは複雑なシーン理解や物語を扱う際の課題に直面することが多い。
ここでは猿を提案することでこの問題に対処します。
私たちの貢献は2つあります。
1) 初期から事前学習することなく,既存の視覚エンコーダ(例えばvit-bighuge)上に構築することで,最大896 x 1344ピクセルの入力解像度を効果的に向上させることができる。
2)シーンとオブジェクト間の文脈関係を学習するために,モデルをガイドできるリッチな情報を自動的に提供する多レベル記述生成手法を提案する。
16以上の異なるデータセットにわたる広範なテストの結果、Monkeyは画像キャプチャ、一般的なビジュアル質問回答(VQA)、ドキュメント指向のVQAといった基本的なタスクにおいて、既存のLMMよりも一貫して競争力のあるパフォーマンスを実現しています。
モデル、インタラクティブなデモ、ソースコードは以下の https://github.com/Yuliang-Liu/Monkey で提供されている。
関連論文リスト
- PSALM: Pixelwise SegmentAtion with Large Multi-Modal Model [49.80313655590392]
PSALMは、セグメント化タスクの課題に対処するため、LMM(Large Multi-modal Model)の強力な拡張である。
マスクデコーダとよく設計された入力スキーマを組み込んで,さまざまなセグメンテーションタスクを処理する。
PSALMの柔軟な設計は、複数のデータセットとタスクのジョイントトレーニングをサポートし、パフォーマンスとタスクの一般化を改善している。
論文 参考訳(メタデータ) (2024-03-21T17:50:47Z) - CoCoT: Contrastive Chain-of-Thought Prompting for Large Multimodal
Models with Multiple Image Inputs [48.269363759989915]
この研究は、第1、画像対画像マッチング、第2、複数画像対テキストマッチングという2つの側面に焦点を当てている。
我々は, GPT-4V, Gemini, OpenFlamingo, MMICLを含む, オープンソースおよびクローズドソースの大規模モデルについて評価を行った。
論文 参考訳(メタデータ) (2024-01-05T00:26:07Z) - Jack of All Tasks, Master of Many: Designing General-purpose
Coarse-to-Fine Vision-Language Model [87.01213887685952]
VistaLLMは、粗くきめ細かな視覚言語タスクに対処する視覚システムである。
2値分割マスクをシーケンスとして表現するために、勾配対応の適応サンプリング技術を採用している。
また、新しいタスクであるAttCoSegを導入し、複数の入力画像に対してモデルの推論とグラウンド化能力を高める。
論文 参考訳(メタデータ) (2023-12-19T18:53:01Z) - PixelLM: Pixel Reasoning with Large Multimodal Model [116.04193465021712]
PixelLMはピクセルレベルの推論と理解のための効率的かつ効率的なLMMである。
コードブックトークンの隠された埋め込みからマスクを生成し、詳細なターゲット関連情報をエンコードする。
PixelLMは、さまざまなピクセルレベルの画像推論と理解タスクを網羅し、複数のベンチマークで確立されたメソッドよりも優れています。
論文 参考訳(メタデータ) (2023-12-04T03:05:59Z) - Pink: Unveiling the Power of Referential Comprehension for Multi-modal
LLMs [49.88461345825586]
本稿では,MLLMの微細な画像理解能力を高めるための新しい枠組みを提案する。
本稿では,既存のデータセットのアノテーションを活用して,命令チューニングデータセットを低コストで構築する手法を提案する。
本研究では,Qwen-VLよりも5.2%精度が向上し,Kosmos-2の精度が24.7%向上したことを示す。
論文 参考訳(メタデータ) (2023-10-01T05:53:15Z) - mPLUG-2: A Modularized Multi-modal Foundation Model Across Text, Image
and Video [89.19867891570945]
mPLUG-2は、マルチモーダル事前訓練のためのモジュール化された設計を備えた新しい統一パラダイムである。
モダリティ協力のための共通普遍加群を共有し、モダリティの絡み合いを扱うために異なるモダリティ加群を切り離す。
テキスト、画像、ビデオを含むすべてのモダリティの異なる理解タスクと生成タスクのために、異なるモジュールを選択することは柔軟です。
論文 参考訳(メタデータ) (2023-02-01T12:40:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。