論文の概要: HiMix: Reducing Computational Complexity in Large Vision-Language Models

• arxiv url: http://arxiv.org/abs/2501.10318v1
• Date: Fri, 17 Jan 2025 17:41:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-20 13:59:31.148393
• Title: HiMix: Reducing Computational Complexity in Large Vision-Language Models
• Title（参考訳）: HiMix:大規模ビジョンランゲージモデルにおける計算複雑性の低減
• Authors: Xuange Zhang, Dengjie Li, Bo Liu, Zenghao Bao, Yao Zhou, Baisong Yang, Zhongying Liu, Yujie Zhong, Zheng Zhao, Tongtong Yuan,
• Abstract要約: 計算複雑性の主なボトルネックの1つは、モデル計算における冗長な視覚系列の関与である。 混合注意のための階層型視覚注入(HiMix)と呼ばれる新しい階層型視覚言語相互作用機構を提案する。 HiMixでは、言語シーケンスのみが完全な前方伝播を行い、視覚シーケンスは各言語デコーダ層内の特定の段階で言語と相互作用する。
• 参考スコア（独自算出の注目度）: 16.33839330391886
• License:
• Abstract: Benefiting from recent advancements in large language models and modality alignment techniques, existing Large Vision-Language Models(LVLMs) have achieved prominent performance across a wide range of scenarios. However, the excessive computational complexity limits the widespread use of these models in practical applications. We argue that one main bottleneck in computational complexity is caused by the involvement of redundant vision sequences in model computation. This is inspired by a reassessment of the efficiency of vision and language information transmission in the language decoder of LVLMs. Then, we propose a novel hierarchical vision-language interaction mechanism called Hierarchical Vision injection for Mixture Attention (HiMix). In HiMix, only the language sequence undergoes full forward propagation, while the vision sequence interacts with the language at specific stages within each language decoder layer. It is striking that our approach significantly reduces computational complexity with minimal performance loss. Specifically, HiMix achieves a 10x reduction in the computational cost of the language decoder across multiple LVLM models while maintaining comparable performance. This highlights the advantages of our method, and we hope our research brings new perspectives to the field of vision-language understanding. Project Page: https://xuange923.github.io/HiMix
• Abstract（参考訳）: 近年の大規模言語モデルやモダリティアライメント技術に特化して、既存のLVLM(Large Vision-Language Models)は幅広いシナリオで顕著なパフォーマンスを実現している。 しかし、過剰な計算複雑性は、これらのモデルが実用的な用途で広く使われることを制限している。 計算複雑性の主なボトルネックの1つは、モデル計算における冗長な視覚系列の関与である。 これはLVLMの言語デコーダにおける視覚と言語情報伝達の効率の再評価にインスパイアされている。 そこで我々は,HiMix(Hierarchical Vision Injection for Mixture Attention)と呼ばれる新しい階層型視覚言語相互作用機構を提案する。 HiMixでは、言語シーケンスのみが完全な前方伝播を行い、視覚シーケンスは各言語デコーダ層内の特定の段階で言語と相互作用する。 私たちのアプローチは、パフォーマンス損失を最小限に抑えて、計算の複雑さを著しく低減します。 特に、HiMixは、複数のLVLMモデルにまたがる言語デコーダの計算コストを10倍に削減し、同等の性能を維持している。 これは我々の手法の利点を強調し、我々の研究が視覚言語理解の分野に新たな視点をもたらすことを願っている。 Project Page: https://xuange923.github.io/HiMix

関連論文リスト

• Liquid: Language Models are Scalable Multi-modal Generators [112.71734051183726]
  Liquidは視覚的理解と生成をシームレスに統合する自動回帰生成パラダイムである。 従来のマルチモーダルな大言語モデル(MLLM)とは異なり、Liquidは単一の大言語モデルを用いてこの統合を実現する。 初めてLiquidは、ビジュアルタスクと言語タスクの統一トレーニングによって必然的にパフォーマンスが低下する、スケーリングの法則を明らかにした。
  論文  参考訳（メタデータ） (2024-12-05T16:48:16Z)
• MUSE-VL: Modeling Unified VLM through Semantic Discrete Encoding [6.538592344967826]
  マルチモーダル理解と生成のための離散言語を通して、統一視覚言語モデルセマンティックであるMUSE-VLを紹介する。 提案手法は,様々な視覚言語ベンチマークにおいて,従来の最先端モデルを大幅に上回り,専用の理解モデルよりも優れた性能を実現している。
  論文  参考訳（メタデータ） (2024-11-26T03:33:52Z)
• ADEM-VL: Adaptive and Embedded Fusion for Efficient Vision-Language Tuning [38.26304604660713]
  ADEM-VLは、事前訓練された大規模言語モデルに基づいてモデルをチューニングする効率的な視覚言語手法である。 我々のフレームワークはScienceQAデータセットの平均精度を0.77%上回る。
  論文  参考訳（メタデータ） (2024-10-23T11:31:06Z)
• EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
  EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。 EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-02T23:00:31Z)
• VideoLLM-MoD: Efficient Video-Language Streaming with Mixture-of-Depths Vision Computation [66.00245701441547]
  我々は、視覚トークンの数を減らさずに、冗長な視覚トークンを「スキップ層」として活用することで、視覚計算を減らし、新しいアプローチを導入する。 提案手法であるVideoLLM-MoDは深度混合LLMにインスパイアされ,長期・ストリーミングビデオにおける多数の視覚トークンの課題に対処する。
  論文  参考訳（メタデータ） (2024-08-29T17:21:58Z)
• IAA: Inner-Adaptor Architecture Empowers Frozen Large Language Model with Multimodal Capabilities [4.269326314400742]
  マルチモーダル大言語モデル(MLLM)のための内適応アーキテクチャを導入する。 このアーキテクチャは、大きな言語モデル内の様々な深さで複数のマルチモーダルアダプタを組み込んで、テキスト指向のトランスフォーマー層との直接の相互作用を容易にする。 大規模な整列データを必要とする従来のフリーズ言語モデルとは異なり、提案アーキテクチャは小規模データセットにおいて優れた性能を実現することができる。
  論文  参考訳（メタデータ） (2024-08-23T08:10:13Z)
• ClawMachine: Learning to Fetch Visual Tokens for Referential Comprehension [71.03445074045092]
  我々はClawMachineを提案し、視覚トークンのグループのトークン集合を用いて各エンティティに明示的に通知する新しい方法論を提案する。 追加構文を用いることなく視覚的参照タスクのプロンプトと応答を統一する手法を提案する。 ClawMachineは、高い効率でシーンレベルおよび参照理解タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-06-17T08:39:16Z)
• Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
  マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。 本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-03-05T13:45:46Z)
• CODIS: Benchmarking Context-Dependent Visual Comprehension for Multimodal Large Language Models [58.95889895912716]
  我々は、自由形式のテキストで提供されるコンテキストを用いて視覚的理解を高めるモデルの有効性を評価するために、CODISと名付けられた新しいベンチマークを導入する。 以上の結果から,MLLMは必ずしも人体性能に劣っていることが示唆された。 このことは、MLLMが視覚を文脈依存的に理解する能力を高めることの必要性を浮き彫りにする。
  論文  参考訳（メタデータ） (2024-02-21T08:21:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。