論文の概要: NEMO: Can Multimodal LLMs Identify Attribute-Modified Objects?

• arxiv url: http://arxiv.org/abs/2411.17794v1
• Date: Tue, 26 Nov 2024 17:47:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:26:56.987024
• Title: NEMO: Can Multimodal LLMs Identify Attribute-Modified Objects?
• Title（参考訳）: NEMO:マルチモーダルLLMは属性修正オブジェクトを識別できるか?
• Authors: Jiaxuan Li, Junwen Mo, MinhDuc Vo, Akihiro Sugimoto, Hideki Nakayama,
• Abstract要約: 我々は,オリギナル果実とそれに対応するアトリビュート修飾果実の900枚の画像からなる新しいベンチマークNEMOを紹介する。 ベンチマークを用いて26の最近のオープンソースおよび商用モデルを評価した。 本研究は,NEMOにおける物体認識における性能差を明らかにするとともに,異なるモデル間で異なる解の選好を明らかにすることを目的とした。
• 参考スコア（独自算出の注目度）: 19.525612393979777
• License:
• Abstract: Multimodal Large Language Models (MLLMs) have made notable advances in visual understanding, yet their abilities to recognize objects modified by specific attributes remain an open question. To address this, we explore MLLMs' reasoning capabilities in object recognition, ranging from commonsense to beyond-commonsense scenarios. We introduce a novel benchmark, NEMO, which comprises 900 images of origiNal fruits and their corresponding attributE-MOdified ones; along with a set of 2,700 questions including open-, multiple-choice-, unsolvable types. We assess 26 recent open-sourced and commercial models using our benchmark. The findings highlight pronounced performance gaps in recognizing objects in NEMO and reveal distinct answer preferences across different models. Although stronger vision encoders improve performance, MLLMs still lag behind standalone vision encoders. Interestingly, scaling up the model size does not consistently yield better outcomes, as deeper analysis reveals that larger LLMs can weaken vision encoders during fine-tuning. These insights shed light on critical limitations in current MLLMs and suggest potential pathways toward developing more versatile and resilient multimodal models.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は視覚的理解において顕著な進歩を遂げているが、特定の属性によって修正されたオブジェクトを認識する能力は未解決のままである。 これを解決するために,MLLMのオブジェクト認識における推論能力について検討する。 我々は,オリギナル果実とそれに対応するアトリビュート修飾果実の900枚の画像と,オープン,マルチチョイス,未解決型を含む2700件の質問からなる新しいベンチマークNEMOを紹介する。 ベンチマークを用いて26の最近のオープンソースおよび商用モデルを評価した。 本研究は,NEMOにおける物体認識における性能差を明らかにするとともに,異なるモデル間で異なる解の選好を明らかにすることを目的とした。 より強力なヴィジュアルエンコーダは性能を向上させるが、MLLMはスタンドアロンのヴィジュアルエンコーダよりも遅れている。 興味深いことに、モデルサイズのスケールアップは、より深い分析により、微調整中により大きなLLMが視覚エンコーダを弱める可能性があることが分かるため、常により良い結果をもたらすわけではない。 これらの知見は、現在のMLLMの限界に光を当て、より汎用的で弾力性のあるマルチモーダルモデルを開発するための潜在的な経路を示唆した。

関連論文リスト

• MC-Bench: A Benchmark for Multi-Context Visual Grounding in the Era of MLLMs [61.56904387052982]
  本稿では,マルチコンテキストの視覚的グラウンド化という新しい視覚的グラウンド化タスクを提案する。 オープンなテキストプロンプトに基づいて、複数の画像にまたがる関心のインスタンスをローカライズすることを目的としている。 我々は20以上の最先端MLLMと基盤モデルをベンチマークし、潜在的にマルチコンテキストの視覚的グラウンド化機能を有する。
  論文  参考訳（メタデータ） (2024-10-16T07:52:57Z)
• Eagle: Exploring The Design Space for Multimodal LLMs with Mixture of Encoders [89.38717274524681]
  本研究では,視覚エンコーダと解像度の混合を用いたマルチモーダル大言語モデル(MLLM)の設計空間について検討する。 我々の発見は、様々な既存の戦略に共通するいくつかの基本原則を明らかにし、合理化されているが効果的な設計アプローチへと繋がる。 その結果生まれたMLLMのファミリーであるEagleは、MLLMベンチマークで他の主要なオープンソースモデルを上回っている。
  論文  参考訳（メタデータ） (2024-08-28T17:59:31Z)
• Are Bigger Encoders Always Better in Vision Large Models? [21.797332686137203]
  マルチモーダルな大言語モデル (MLLM) は、現実世界の応用において大きな可能性を示している。 現在の主流パラダイム下での視覚言語モデル(VLM)のスケーリング傾向は、広く研究されていない。 我々は,異なるエンコーダサイズと大言語モデル(LLM)サイズを用いて,MLLMの事前学習段階の実験を行う。
  論文  参考訳（メタデータ） (2024-08-01T15:05:42Z)
• Task Me Anything [72.810309406219]
  本稿では,ユーザのニーズに合わせたベンチマークを作成する。 113Kイメージ、10Kビデオ、2Kの3Dオブジェクトアセット、365以上のオブジェクトカテゴリ、655の属性、335の関係がある。 750万のイメージ/ビデオ問合せペアを生成することが可能で、知覚能力の評価に重点を置いている。
  論文  参考訳（メタデータ） (2024-06-17T17:32:42Z)
• Dense Connector for MLLMs [89.50595155217108]
  Dense Connector - 既存のMLLMを大幅に強化するプラグイン・アンド・プレイ型ヴィジュアル言語コネクタ。 この上に構築されたEfficient Dense Connectorは,視覚トークンの25%に過ぎず,LLaVA-v1.5に匹敵するパフォーマンスを実現する。 画像のみを訓練したわれわれのモデルは、ビデオ理解でも際立ったゼロショットの能力を誇示している。
  論文  参考訳（メタデータ） (2024-05-22T16:25:03Z)
• Exploring Perceptual Limitation of Multimodal Large Language Models [57.567868157293994]
  我々は、いくつかの最先端MLLMにおける小さな視覚物体の知覚を定量的に研究する。 この制限に寄与できる4つの独立した要因を特定します。 オブジェクトの品質が低く、オブジェクトサイズも小さいため、MLLMの視覚的質問に答える能力は独立して低下する。
  論文  参考訳（メタデータ） (2024-02-12T03:04:42Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• The Curious Case of Nonverbal Abstract Reasoning with Multi-Modal Large Language Models [19.213774611556]
  MLLM(Multi-modal large language model)は、言語情報と視覚情報を統合したものである。 MLLMの革新的展望にもかかわらず、推論能力に対する我々の理解は限られている。 本研究では,オープンソースおよびクローズドソースMLLMの非言語的抽象的推論能力を評価する。
  論文  参考訳（メタデータ） (2024-01-22T16:57:05Z)
• VCoder: Versatile Vision Encoders for Multimodal Large Language Models [46.95488342139727]
  MLLM(Multimodal Large Language Models)は近年,視覚言語タスクにおける優れたパフォーマンスを実現している。 しかし、ある画像内のエンティティを識別またはカウントするよう促された場合、既存のMLLMシステムは失敗する。 We propose using Versatile vision enCoders (VCoder) as perception eyes for Multimodal LLMs。
  論文  参考訳（メタデータ） (2023-12-21T18:49:47Z)
• Sight Beyond Text: Multi-Modal Training Enhances LLMs in Truthfulness and Ethics [32.123919380959485]
  MLLM(Multi-modal large language model)は、大規模言語モデル(LLM)に基づいて訓練される。 マルチモーダルなタスクでは優れているが、MLLMの純粋なNLP能力はしばしば過小評価され、テストされていない。 LLMをMLLMに移行するための一般的な戦略である視覚的インストラクションチューニングは、予期せぬ、興味深いことに、改善された真理性と倫理的整合性の両方を達成するのに役立ちます。
  論文  参考訳（メタデータ） (2023-09-13T17:57:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。