論文の概要: LLaVA-SG: Leveraging Scene Graphs as Visual Semantic Expression in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2408.16224v2
• Date: Fri, 30 Aug 2024 02:49:40 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-02 10:49:44.046873
• Title: LLaVA-SG: Leveraging Scene Graphs as Visual Semantic Expression in Vision-Language Models
• Title（参考訳）: LLaVA-SG:視覚言語モデルにおける視覚意味表現としてのシーングラフの活用
• Authors: Jingyi Wang, Jianzhong Ju, Jian Luan, Zhidong Deng,
• Abstract要約: 大規模視覚言語モデル(VLM)におけるシーングラフ表現(SGE)モジュールについて紹介する。 SGEモジュールは、画像内の複雑な意味情報を抽出し、構造的に表現する。 SGEモジュールの統合は視覚言語タスクにおけるVLMの性能を大幅に向上させることを示す。
• 参考スコア（独自算出の注目度）: 9.936172224069036
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in large vision-language models (VLMs) typically employ vision encoders based on the Vision Transformer (ViT) architecture. The division of the images into patches by ViT results in a fragmented perception, thereby hindering the visual understanding capabilities of VLMs. In this paper, we propose an innovative enhancement to address this limitation by introducing a Scene Graph Expression (SGE) module in VLMs. This module extracts and structurally expresses the complex semantic information within images, thereby improving the foundational perception and understanding abilities of VLMs. Extensive experiments demonstrate that integrating our SGE module significantly enhances the VLM's performance in vision-language tasks, indicating its effectiveness in preserving intricate semantic details and facilitating better visual understanding.
• Abstract（参考訳）: 大規模視覚言語モデル(VLM)の最近の進歩は、視覚変換器(ViT)アーキテクチャに基づく視覚エンコーダが一般的である。 ViTによる画像のパッチへの分割は、断片化された知覚をもたらすため、VLMの視覚的理解能力を妨げる。 本稿では,VLMにSGE(Scene Graph Expression)モジュールを導入することで,この制限に対処する革新的な拡張を提案する。 このモジュールは、画像内の複雑な意味情報を抽出し、構造的に表現することにより、VLMの基本認識と理解能力を向上させる。 我々のSGEモジュールの統合は、視覚言語タスクにおけるVLMの性能を大幅に向上させ、複雑なセマンティックな詳細を保存し、視覚的理解を促進する効果を示す。

関連論文リスト

• VipAct: Visual-Perception Enhancement via Specialized VLM Agent Collaboration and Tool-use [74.39058448757645]
  視覚言語モデル(VLM)を強化するエージェントフレームワークであるVipActを提案する。 VipActは、タスク要求の分析、計画、調整を管理するオーケストレータエージェントと、特定のタスクを処理する専門エージェントで構成される。 様々な視覚認知タスクを特徴とするベンチマーク上でのVipActの評価を行い,実験結果から大幅な性能向上が得られた。
  論文  参考訳（メタデータ） (2024-10-21T18:10:26Z)
• How Well Can Vision Language Models See Image Details? [53.036922527685064]
  視覚言語モデルはどのようにして画像の詳細を見ることができるのか」を探求するために画素値予測タスクを導入する。 我々の研究は、VLM事前学習タスクと視覚エンコーダ適応の1つとして画素値予測を組み込むことで、下流画像言語理解タスクにおけるVLM性能が著しく向上することを明らかにする。
  論文  参考訳（メタデータ） (2024-08-07T17:59:40Z)
• X-Former: Unifying Contrastive and Reconstruction Learning for MLLMs [49.30255148577368]
  X-FormerはCLとMIMの相補的な強度を利用するために設計された軽量トランスフォーマーモジュールである。 X-Formerは、2つの凍結した視覚エンコーダから視覚言語表現学習とマルチモーダル・マルチモーダル生成学習をブートストラップする。 さらに、凍結したLLMから視覚から言語への生成学習をブートストラップし、X-Formerの視覚的特徴をLLMで解釈できるようにする。
  論文  参考訳（メタデータ） (2024-07-18T18:39:54Z)
• Chain-of-Spot: Interactive Reasoning Improves Large Vision-Language Models [81.71651422951074]
  CoS(Chain-of-Spot)法は,注目領域に着目して特徴抽出を強化する手法である。 この技術により、LVLMは元の画像解像度を変更することなく、より詳細な視覚情報にアクセスすることができる。 実験の結果,LVLMの視覚的内容の理解と推論能力は著しく改善した。
  論文  参考訳（メタデータ） (2024-03-19T17:59:52Z)
• Enhancing Visual Document Understanding with Contrastive Learning in Large Visual-Language Models [56.76307866160105]
  文書オブジェクト協調学習(Document Object Contrastive Learning, DoCo)と呼ばれる対照的な学習フレームワークを提案する。 DoCoは補助的なマルチモーダルエンコーダを利用して文書オブジェクトの特徴を取得し、それをLVLM(Large Visual-Language Models)の視覚エンコーダによって生成された視覚的特徴に合わせる。 提案するDoCoは,様々なLVLMの事前学習において,推論過程における計算複雑性の増大を招くことなく,プラグイン・アンド・プレイの事前学習手法として機能することが実証された。
  論文  参考訳（メタデータ） (2024-02-29T10:17:27Z)
• Question Aware Vision Transformer for Multimodal Reasoning [14.188369270753347]
  マルチモーダル推論のための質問認識型視覚変換器QA-ViTを提案する。 視覚エンコーダに直接質問認識を埋め込む。 この統合により、仮定された問題に関連性のある画像の側面に焦点を当てた動的視覚的特徴が得られる。
  論文  参考訳（メタデータ） (2024-02-08T08:03:39Z)
• Incorporating Structured Representations into Pretrained Vision & Language Models Using Scene Graphs [79.64891686479213]
  シーングラフ(SG)から学習する場合、視覚と言語モデル(VLM)を改善することができることを示す。 視覚面では、SG情報を予測するために訓練されたイメージトランスフォーマーに特別な「SG成分」を組み込む一方、テキスト側では、SGを使ってきめ細かなキャプションを生成する。 提案手法は,ZS能力を軽度に低下させるだけで,複数のデータセット上でのVLMの性能を向上する。
  論文  参考訳（メタデータ） (2023-05-10T17:52:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。