論文の概要: Advancing Fine-Grained Visual Understanding with Multi-Scale Alignment in Multi-Modal Models

• arxiv url: http://arxiv.org/abs/2411.09691v1
• Date: Thu, 14 Nov 2024 18:57:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 15:24:25.679461
• Title: Advancing Fine-Grained Visual Understanding with Multi-Scale Alignment in Multi-Modal Models
• Title（参考訳）: マルチモードモデルにおけるマルチスケールアライメントによる細粒度視覚理解の促進
• Authors: Wei Wang, Zhaowei Li, Qi Xu, Linfeng Li, YiQing Cai, Botian Jiang, Hang Song, Xingcan Hu, Pengyu Wang, Li Xiao,
• Abstract要約: 本稿では,視覚的知識の微粒化手法を提案する。 この方法は、テキスト、座標、画像を含むオブジェクトのマルチスケール知識を統合する。 また,高次アライメントに最適化された一連のコンパクトモデルであるTinyGroundingGPTを提案する。
• 参考スコア（独自算出の注目度）: 11.151736352865921
• License:
• Abstract: Multi-modal large language models (MLLMs) have achieved remarkable success in fine-grained visual understanding across a range of tasks. However, they often encounter significant challenges due to inadequate alignment for fine-grained knowledge, which restricts their ability to accurately capture local details and attain a comprehensive global perception. While recent advancements have focused on aligning object expressions with grounding information, they typically lack explicit integration of object images, which contain affluent information beyond mere texts or coordinates. To bridge this gap, we introduce a novel fine-grained visual knowledge alignment method that effectively aligns and integrates multi-scale knowledge of objects, including texts, coordinates, and images. This innovative method is underpinned by our multi-scale fine-grained enhancement data synthesis pipeline, which provides over 300K essential training data to enhance alignment and improve overall performance. Furthermore, we present TinyGroundingGPT, a series of compact models optimized for high-level alignments. With a scale of approximately 3B parameters, TinyGroundingGPT achieves outstanding results in grounding tasks while delivering performance comparable to larger MLLMs in complex visual scenarios.
• Abstract（参考訳）: MLLM(Multi-modal large language model)は、様々なタスクにおいて、きめ細かい視覚的理解において顕著な成功を収めている。 しかし、それらはしばしば、きめ細かい知識の整合性が不十分なため、局所的な詳細を正確に把握し、包括的なグローバルな認識を得る能力を制限するという重大な課題に遭遇する。 最近の進歩は、オブジェクト表現と接地情報との整合性に重点を置いているが、それらは典型的には、単なるテキストや座標を超える豊富な情報を含む、オブジェクトイメージの明示的な統合を欠いている。 このギャップを埋めるために,テキストや座標,画像など,オブジェクトのマルチスケールな知識を効果的に調整し,統合する,視覚的知識の微粒化手法を提案する。 この革新的な方法は,300K以上の重要なトレーニングデータを提供し,アライメントを強化し,全体的なパフォーマンスを向上させるマルチスケールきめ細かな拡張データ合成パイプラインによって支えられている。 さらに,高次アライメントに最適化されたコンパクトモデルであるTinyGroundingGPTを提案する。 TinyGroundingGPTは、およそ3Bパラメータのスケールで、複雑な視覚シナリオにおいてより大きなMLLMに匹敵するパフォーマンスを提供しながら、タスクをグラウンディングする際、優れた結果を達成する。

関連論文リスト

• Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
  Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。 本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。 実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2024-10-31T06:55:24Z)
• MMFuser: Multimodal Multi-Layer Feature Fuser for Fine-Grained Vision-Language Understanding [39.68348330596116]
  視覚変換器(ViTs)の深部・浅部機能を効率的に統合する,シンプルで効果的な多層機能フェーザであるモデル名を提案する。 具体的には、クエリとしてセマンティックに整合した深い機能を活用して、浅い機能から欠落した詳細を動的に抽出する。 modelnameachieveは、ビジュアル表現とベンチマークのパフォーマンスを大幅に改善する。
  論文  参考訳（メタデータ） (2024-10-15T17:55:22Z)
• MMEvol: Empowering Multimodal Large Language Models with Evol-Instruct [148.39859547619156]
  我々は,新しいマルチモーダル命令データ進化フレームワークであるMMEvolを提案する。 MMEvolは、きめ細かい知覚、認知的推論、相互作用の進化の洗練された組み合わせによって、データ品質を反復的に改善する。 提案手法は,9つのタスクにおいて,最先端モデルに比べて有意に少ない精度でSOTA(State-of-the-art)性能を実現する。
  論文  参考訳（メタデータ） (2024-09-09T17:44:00Z)
• Rethinking Visual Prompting for Multimodal Large Language Models with External Knowledge [76.45868419402265]
  マルチモーダルな大言語モデル(MLLM)は、膨大な高品質の画像テキストデータセットをトレーニングすることで、大きな進歩を遂げている。 しかし、マスクのような細粒度や空間的に密集した情報をテキストで明示的に伝達することの難しさは、MLLMにとって困難である。 本稿では、特殊な視覚モデルから派生した細粒度の外部知識をMLLMに統合する新しい視覚的プロンプト手法を提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:43:30Z)
• MG-LLaVA: Towards Multi-Granularity Visual Instruction Tuning [44.497776004372724]
  MLLM(Multi-modal large language model)は、様々な視覚的理解タスクにおいて大きな進歩を遂げている。 MG-LLaVAは,多粒度視覚フローを組み込むことで,モデルの視覚処理能力を向上する革新的MLLMである。 さらに, 物体認識能力を向上するため, オフライン検出器によって識別された境界ボックスから得られる物体レベルの特徴を取り入れた。
  論文  参考訳（メタデータ） (2024-06-25T17:55:11Z)
• Incorporating Visual Experts to Resolve the Information Loss in Multimodal Large Language Models [121.83413400686139]
  本稿では,MLLMの視覚知覚能力を向上させるために,知識の混合強化機構を提案する。 本稿では,マルチタスクエンコーダとビジュアルツールを既存のMLLM訓練と推論パイプラインに組み込む新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-06T02:02:34Z)
• u-LLaVA: Unifying Multi-Modal Tasks via Large Language Model [17.3535277338312]
  u-LLaVAは、MLLMの知覚能力を改善するためにピクセル、地域、グローバル機能を統合する革新的な統合マルチタスクフレームワークである。 この研究は、277Kサンプルからなるマスクベースの新しいマルチタスクデータセットに貢献し、MLLMの微粒化知覚能力に挑戦し評価する。
  論文  参考訳（メタデータ） (2023-11-09T13:18:27Z)
• Position-Enhanced Visual Instruction Tuning for Multimodal Large Language Models [50.07056960586183]
  MLLM(Multimodal Large Language Models)の機能を拡張するために, PVIT( Position-enhanced Visual Instruction Tuning)を提案する。 この統合により、MLLMの画像のより詳細な理解が促進される。 本稿では,提案モデルの優位性を示す定量的実験と定性解析の両方について述べる。
  論文  参考訳（メタデータ） (2023-08-25T15:33:47Z)
• Recognizing Unseen Objects via Multimodal Intensive Knowledge Graph Propagation [68.13453771001522]
  画像の領域と対応するセマンティック埋め込みとをマッチングする多モード集中型ZSLフレームワークを提案する。 我々は、大規模な実世界のデータに基づいて、広範囲な実験を行い、そのモデルを評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:07:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。