論文の概要: Panther: Illuminate the Sight of Multimodal LLMs with Instruction-Guided Visual Prompts

• arxiv url: http://arxiv.org/abs/2411.13909v2
• Date: Fri, 22 Nov 2024 07:03:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-25 12:05:43.755842
• Title: Panther: Illuminate the Sight of Multimodal LLMs with Instruction-Guided Visual Prompts
• Title（参考訳）: パネル:指導誘導型視覚プロンプトによるマルチモーダルLCMの視力向上
• Authors: Honglin Li, Yuting Gao, Chenglu Zhu, Jingdong Chen, Ming Yang, Lin Yang,
• Abstract要約: マルチモーダル大言語モデル(MLLM)は、人間の視覚知覚能力とのギャップを急速に埋めている。 本稿では,ユーザの指示に忠実に固執し,興味の対象を正確に特定するMLLMであるPantherを紹介する。
• 参考スコア（独自算出の注目度）: 29.060010278017877
• License:
• Abstract: Multimodal large language models (MLLMs) are closing the gap to human visual perception capability rapidly, while, still lag behind on attending to subtle images details or locating small objects precisely, etc. Common schemes to tackle these issues include deploying multiple vision encoders or operating on original high-resolution images. Few studies have concentrated on taking the textual instruction into improving visual representation, resulting in losing focus in some vision-centric tasks, a phenomenon we herein termed as Amblyopia. In this work, we introduce Panther, a MLLM that closely adheres to user instruction and locates targets of interests precisely, with the finesse of a black panther. Specifically, Panther comprises three integral components: Panther-VE, Panther-Bridge, and Panther-Decoder. Panther-VE integrates user instruction information at the early stages of the vision encoder, thereby extracting the most relevant and useful visual representations. The Panther-Bridge module, equipped with powerful filtering capabilities, significantly reduces redundant visual information, leading to a substantial savings in training costs. The Panther-Decoder is versatile and can be employed with any decoder-only architecture of LLMs without discrimination. Experimental results, particularly on vision-centric benchmarks, have demonstrated the effectiveness of Panther.
• Abstract（参考訳）: マルチモーダルな大規模言語モデル(MLLM)は、人間の視覚知覚能力とのギャップを急速に埋める一方で、微妙なイメージの詳細や、小さなオブジェクトの正確な位置の特定など、いまだに遅れている。 これらの問題に対処するための一般的なスキームは、複数のビジョンエンコーダのデプロイや、オリジナルの高解像度画像の操作である。 テキストによる指示を視覚表現の改善に向けることに集中する研究はほとんどなく、視覚中心のタスクに焦点を絞る結果となり、この現象はアンブリオピア(Amblyopia)と呼ばれる。 本研究では,ユーザの指示に忠実に固執し,興味の対象を正確に特定するMLLMであるPantherを紹介する。 具体的には、Panther-VE、Panther-Bridge、Panther-Decoderの3つの統合コンポーネントで構成されている。 Panther-VEは、視覚エンコーダの初期段階でユーザ指示情報を統合し、最も関連性が高く有用な視覚表現を抽出する。 強力なフィルタリング機能を備えたPanther-Bridgeモジュールは、冗長な視覚情報を著しく低減し、トレーニングコストを大幅に削減する。 Panther-Decoderは汎用的で、LLMのデコーダのみのアーキテクチャを識別なしで使用することができる。 実験結果、特にビジョン中心のベンチマークでは、パンサーの有効性が実証されている。

関連論文リスト

• MMFuser: Multimodal Multi-Layer Feature Fuser for Fine-Grained Vision-Language Understanding [39.68348330596116]
  視覚変換器(ViTs)の深部・浅部機能を効率的に統合する,シンプルで効果的な多層機能フェーザであるモデル名を提案する。 具体的には、クエリとしてセマンティックに整合した深い機能を活用して、浅い機能から欠落した詳細を動的に抽出する。 modelnameachieveは、ビジュアル表現とベンチマークのパフォーマンスを大幅に改善する。
  論文  参考訳（メタデータ） (2024-10-15T17:55:22Z)
• Eagle: Exploring The Design Space for Multimodal LLMs with Mixture of Encoders [89.38717274524681]
  本研究では,視覚エンコーダと解像度の混合を用いたマルチモーダル大言語モデル(MLLM)の設計空間について検討する。 我々の発見は、様々な既存の戦略に共通するいくつかの基本原則を明らかにし、合理化されているが効果的な設計アプローチへと繋がる。 その結果生まれたMLLMのファミリーであるEagleは、MLLMベンチマークで他の主要なオープンソースモデルを上回っている。
  論文  参考訳（メタデータ） (2024-08-28T17:59:31Z)
• OMG-LLaVA: Bridging Image-level, Object-level, Pixel-level Reasoning and Understanding [112.87441334765693]
  OMG-LLaVAは、強力なピクセルレベルの視覚理解と推論能力を組み合わせた新しいフレームワークである。 フレキシブルなユーザインタラクションのために、さまざまな視覚的およびテキストプロンプトを受け入れることができる。 OMG-LLaVAは1つのモデルで画像レベル、オブジェクトレベル、ピクセルレベルの推論と理解を実現する。
  論文  参考訳（メタデータ） (2024-06-27T17:59:01Z)
• Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs [56.391404083287235]
  視覚中心のアプローチで設計したマルチモーダルLLM(MLLM)のファミリーであるCambrian-1を紹介する。 本研究は,様々な視覚表現を評価するためのインタフェースとして,LLMとビジュアルインストラクションチューニングを用いた。 モデルウェイト、コード、サポートツール、データセット、詳細なインストラクションチューニングと評価のレシピを提供しています。
  論文  参考訳（メタデータ） (2024-06-24T17:59:42Z)
• Dense Connector for MLLMs [89.50595155217108]
  Dense Connector - 既存のMLLMを大幅に強化するプラグイン・アンド・プレイ型ヴィジュアル言語コネクタ。 この上に構築されたEfficient Dense Connectorは,視覚トークンの25%に過ぎず,LLaVA-v1.5に匹敵するパフォーマンスを実現する。 画像のみを訓練したわれわれのモデルは、ビデオ理解でも際立ったゼロショットの能力を誇示している。
  論文  参考訳（メタデータ） (2024-05-22T16:25:03Z)
• MoVA: Adapting Mixture of Vision Experts to Multimodal Context [38.8308841469793]
  我々は,タスク固有の視覚エキスパートを適応的にルーティングし,粗い機構で融合する,強力で斬新なMLLMであるMoVAを提案する。 粗い段階では、最適な視覚専門家を動的に選択するためのコンテキスト対応の専門家ルーティング戦略を設計する。 粒度の細かい段階では、タスク固有の知識を抽出して融合するために、Mix-of-vision-Expert Adapter (MoV-Adapter) を精巧に実施する。
  論文  参考訳（メタデータ） (2024-04-19T17:59:48Z)
• Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs [44.636020540018194]
  モバイルUI画面の理解を深めるためのMLLMであるFeret-UIを提案する。 Ferret-UIはUI画面の優れた理解とオープンエンド命令の実行能力を示す。 Ferret-UIは、ほとんどのオープンソースのUI MLLMを超えるだけでなく、すべての基本的なUIタスクにおいてGPT-4Vを超えている。
  論文  参考訳（メタデータ） (2024-04-08T17:55:44Z)
• Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs [50.77984109941538]
  近年のマルチモーダル LLM の視覚能力は, いまだに系統的な欠点を呈している。 CLIP-blind pairs'(CLIP-blind pairs)を識別する。 様々なCLIPに基づく視覚・言語モデルの評価を行い、CLIPモデルに挑戦する視覚パターンとマルチモーダルLLMの問題との間に顕著な相関関係を見出した。
  論文  参考訳（メタデータ） (2024-01-11T18:58:36Z)
• Incorporating Visual Experts to Resolve the Information Loss in Multimodal Large Language Models [121.83413400686139]
  本稿では,MLLMの視覚知覚能力を向上させるために,知識の混合強化機構を提案する。 本稿では,マルチタスクエンコーダとビジュアルツールを既存のMLLM訓練と推論パイプラインに組み込む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T02:02:34Z)
• VCoder: Versatile Vision Encoders for Multimodal Large Language Models [46.95488342139727]
  MLLM(Multimodal Large Language Models)は近年,視覚言語タスクにおける優れたパフォーマンスを実現している。 しかし、ある画像内のエンティティを識別またはカウントするよう促された場合、既存のMLLMシステムは失敗する。 We propose using Versatile vision enCoders (VCoder) as perception eyes for Multimodal LLMs。
  論文  参考訳（メタデータ） (2023-12-21T18:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。