論文の概要: Effectiveness Assessment of Recent Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2403.04306v5
• Date: Sat, 26 Oct 2024 03:07:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:19:00.478320
• Title: Effectiveness Assessment of Recent Large Vision-Language Models
• Title（参考訳）: 最近の大規模視線モデルの有効性評価
• Authors: Yao Jiang, Xinyu Yan, Ge-Peng Ji, Keren Fu, Meijun Sun, Huan Xiong, Deng-Ping Fan, Fahad Shahbaz Khan,
• Abstract要約: 本稿では,多言語多言語モデル(LVLM)の専門的および汎用的な課題における能力を評価する。 私たちは、自然、医療、産業という3つの異なるアプリケーションシナリオで6つの挑戦的なタスクを採用しています。 我々は,MiniGPT-v2,LLaVA-1.5,Shikraを含む最近の3つのオープンソースLVLMの視覚的認識および局所化性能について検討した。
• 参考スコア（独自算出の注目度）: 78.69439393646554
• License:
• Abstract: The advent of large vision-language models (LVLMs) represents a remarkable advance in the quest for artificial general intelligence. However, the model's effectiveness in both specialized and general tasks warrants further investigation. This paper endeavors to evaluate the competency of popular LVLMs in specialized and general tasks, respectively, aiming to offer a comprehensive understanding of these novel models. To gauge their effectiveness in specialized tasks, we employ six challenging tasks in three different application scenarios: natural, healthcare, and industrial. These six tasks include salient/camouflaged/transparent object detection, as well as polyp detection, skin lesion detection, and industrial anomaly detection. We examine the performance of three recent open-source LVLMs, including MiniGPT-v2, LLaVA-1.5, and Shikra, on both visual recognition and localization in these tasks. Moreover, we conduct empirical investigations utilizing the aforementioned LVLMs together with GPT-4V, assessing their multi-modal understanding capabilities in general tasks including object counting, absurd question answering, affordance reasoning, attribute recognition, and spatial relation reasoning. Our investigations reveal that these LVLMs demonstrate limited proficiency not only in specialized tasks but also in general tasks. We delve deep into this inadequacy and uncover several potential factors, including limited cognition in specialized tasks, object hallucination, text-to-image interference, and decreased robustness in complex problems. We hope that this study can provide useful insights for the future development of LVLMs, helping researchers improve LVLMs for both general and specialized applications.
• Abstract（参考訳）: 大規模視覚言語モデル(LVLM)の出現は、人工知能の探求において顕著な進歩を示している。 しかし、特殊タスクと一般タスクの両方におけるモデルの有効性は、さらなる調査を保証している。 本論文は,これらの新モデルを包括的に理解することを目的とした,特殊課題と汎用課題におけるLVLMの能力評価の試みである。 専門的なタスクにおけるそれらの有効性を評価するために、我々は、自然、医療、産業という3つの異なるアプリケーションシナリオで、挑戦的なタスクを6つ採用しています。 これら6つのタスクには、サリエント/カモフラージュ/透明物体検出、ポリープ検出、皮膚病変検出、工業的異常検出が含まれる。 我々は,MiniGPT-v2,LLaVA-1.5,Shikraを含む最近の3つのオープンソースLVLMの視覚的認識および局所化性能について検討した。 さらに、前述のLVLMとGPT-4Vを併用した実証的研究を行い、オブジェクトカウント、不条理応答、アベイランス推論、属性認識、空間関係推論を含む一般的なタスクにおいて、それらのマルチモーダル理解能力を評価する。 本研究により, これらのLVLMは, 特殊タスクだけでなく, 一般タスクにおいても, 限られた習熟度を示すことが明らかとなった。 我々は、この欠陥を深く掘り下げ、特殊タスクにおける認知の制限、物体幻覚、テキスト・ツー・イメージの干渉、複雑な問題における堅牢性の低下など、いくつかの潜在的な要因を明らかにする。 本研究は,LVLMの今後の発展に有用な知見を提供し,研究者がLVLMを一般用途と専門用途の両方で改善するのに役立つことを期待する。

関連論文リスト

• Intriguing Properties of Large Language and Vision Models [18.449076451976236]
  大規模言語とビジョンモデル(LLVM)は、その顕著な一般化性能のために、大きな注目と開発努力を受けている。 高度な推論タスクの達成にもかかわらず、基本的な知覚関連タスクのパフォーマンスは驚くほど低いままである。 LLVMの最も一般的なファミリー(LLaVA)を10評価ベンチマークで評価することで、この問題を調査する。
  論文  参考訳（メタデータ） (2024-10-07T05:07:01Z)
• DetoxBench: Benchmarking Large Language Models for Multitask Fraud & Abuse Detection [15.933013428603152]
  大規模言語モデル(LLM)は自然言語処理タスクにおいて顕著な能力を示した。 不正で虐待的な言語を識別・緩和する上で,LLMの性能を評価するためのベンチマークスイートを提案する。
  論文  参考訳（メタデータ） (2024-09-09T21:12:03Z)
• Beyond the Hype: A dispassionate look at vision-language models in medical scenario [3.4299097748670255]
  LVLM(Large Vision-Language Models)は、様々なタスクにまたがる顕著な能力を示す。 医学などの専門分野における性能や信頼性は依然として十分に評価されていない。 本稿では,既存のLVLMを包括的に評価する新しいベンチマークであるRadVUQAを紹介する。
  論文  参考訳（メタデータ） (2024-08-16T12:32:44Z)
• LOVA3: Learning to Visual Question Answering, Asking and Assessment [61.51687164769517]
  質問への回答、質問、評価は、世界を理解し、知識を得るのに不可欠な3つの人間の特性である。 現在のMLLM(Multimodal Large Language Models)は主に質問応答に焦点を当てており、質問や評価スキルの可能性を無視することが多い。 LOVA3は、"Learning tO Visual Question Answering, Asking and Assessment"と名付けられた革新的なフレームワークである。
  論文  参考訳（メタデータ） (2024-05-23T18:21:59Z)
• Lumen: Unleashing Versatile Vision-Centric Capabilities of Large Multimodal Models [87.47400128150032]
  本稿では,多目的視覚中心機能拡張を備えた大規模マルチモーダルモデルであるLumenという新しいLMMアーキテクチャを提案する。 ルーメンはまず、きめ細かい視覚言語の概念のアライメントを促進する。 そして、共有表現を軽量なタスクデコーダに柔軟にルーティングすることで、タスク固有のデコーダを実行する。
  論文  参考訳（メタデータ） (2024-03-12T04:13:45Z)
• Beyond the Known: Investigating LLMs Performance on Out-of-Domain Intent Detection [34.135738700682055]
  本稿では,ChatGPTで表される大規模言語モデル(LLM)を包括的に評価する。 LLMには強力なゼロショット機能と少数ショット機能があるが、フルリソースで微調整されたモデルに比べれば依然として不利である。
  論文  参考訳（メタデータ） (2024-02-27T07:02:10Z)
• A Comprehensive Evaluation of GPT-4V on Knowledge-Intensive Visual Question Answering [53.70661720114377]
  マルチモーダル・大型モデル(MLM)は視覚的理解の分野を著しく進歩させ、視覚的質問応答(VQA)の領域で顕著な能力を提供している しかし、真の課題は知識集約型VQAタスクの領域にある。 1) モデルが視覚的手がかりを理解し、一般的な知識にどのように結びつくかを評価するコモンセンス知識、2) 画像から特定の知識を推論し、提示する際のモデルのスキルをテストする微粒な世界知識。
  論文  参考訳（メタデータ） (2023-11-13T18:22:32Z)
• Metacognitive Prompting Improves Understanding in Large Language Models [12.112914393948415]
  メタ認知プロンプト(MP)は,人間の内省的推論プロセスにインスパイアされた戦略である。 我々は10の自然言語理解(NLU)データセットにまたがる4つの先行するLarge Language Model(LLM)の実験を行った。 MPは、一般的なNLUタスクとドメイン固有のNLUタスクの両方において、既存のプロンプトメソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2023-08-10T05:10:17Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [91.30946119104111]
  大規模言語モデル(LLM)は,質問に応答する能力に対して,波及しない自信を持っていることを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 また, LLM は, 回答の定式化に際し, 提案した検索結果に依存する傾向が認められた。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)
• Brain in a Vat: On Missing Pieces Towards Artificial General Intelligence in Large Language Models [83.63242931107638]
  本稿では,知的エージェントの4つの特徴について述べる。 実世界の物体との活発な関わりは、概念的表現を形成するためのより堅牢な信号をもたらすと我々は主張する。 我々は、人工知能分野における将来的な研究の方向性を概説して結論付ける。
  論文  参考訳（メタデータ） (2023-07-07T13:58:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。