論文の概要: LongLLaVA: Scaling Multi-modal LLMs to 1000 Images Efficiently via Hybrid Architecture

• arxiv url: http://arxiv.org/abs/2409.02889v1
• Date: Wed, 4 Sep 2024 17:25:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-05 16:37:56.177997
• Title: LongLLaVA: Scaling Multi-modal LLMs to 1000 Images Efficiently via Hybrid Architecture
• Title（参考訳）: LongLLaVA: ハイブリッドアーキテクチャによるマルチモーダルLLMの1000イメージへのスケーリング
• Authors: Xidong Wang, Dingjie Song, Shunian Chen, Chen Zhang, Benyou Wang,
• Abstract要約: LongLLaVAは最初のハイブリッドMLLMであり、効率と効率のバランスが良くなった。 A100 80GBのGPUで1000近い画像を処理し、幅広いタスクに期待できるアプリケーションの可能性を示している。
• 参考スコア（独自算出の注目度）: 18.459825048813336
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Expanding the long-context capabilities of Multi-modal Large Language Models~(MLLMs) is crucial for video understanding, high-resolution image understanding, and multi-modal agents. This involves a series of systematic optimizations, including model architecture, data construction and training strategy, particularly addressing challenges such as \textit{degraded performance with more images} and \textit{high computational costs}. In this paper, we adapt the model architecture to a hybrid of Mamba and Transformer blocks, approach data construction with both temporal and spatial dependencies among multiple images and employ a progressive training strategy. The released model \textbf{LongLLaVA}~(\textbf{Long}-Context \textbf{L}arge \textbf{L}anguage \textbf{a}nd \textbf{V}ision \textbf{A}ssistant) is the first hybrid MLLM, which achieved a better balance between efficiency and effectiveness. LongLLaVA not only achieves competitive results across various benchmarks, but also maintains high throughput and low memory consumption. Especially, it could process nearly a thousand images on a single A100 80GB GPU, showing promising application prospects for a wide range of tasks.
• Abstract（参考訳）: マルチモーダル大規模言語モデル(MLLM)の長文拡張は,ビデオ理解,高解像度画像理解,マルチモーダルエージェントに不可欠である。 これには、モデルアーキテクチャ、データ構築、トレーニング戦略など、一連の体系的な最適化が含まれており、特に \textit{degraded performance with more image} や \textit{high compute cost} といった課題に対処している。 本稿では、モデルアーキテクチャをMambaブロックとTransformerブロックのハイブリッドに適応させ、複数の画像間の時間的および空間的依存関係を持つデータ構築にアプローチし、プログレッシブトレーニング戦略を採用する。 リリースされたモデル \textbf{LongLLaVA}~(\textbf{Long}-Context \textbf{L}arge \textbf{L}anguage \textbf{a}nd \textbf{V}ision \textbf{A}sistant) は最初のハイブリッドMLLMであり、効率と効率のバランスを向上した。 LongLLaVAは様々なベンチマークで競合する結果を得るだけでなく、高いスループットとメモリ消費も維持する。 特に、A100 80GBのGPUで1000近い画像を処理でき、幅広いタスクに期待できるアプリケーションの可能性を示している。

関連論文リスト

• KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches [49.43759617227999]
  長期の文脈能力は、大規模言語モデル(LLM)にとって重要な能力である この研究は、現在の手法の分類を提供し、長いコンテキストタスクの7つのカテゴリにまたがる10以上の最先端のアプローチを評価する。
  論文  参考訳（メタデータ） (2024-07-01T17:59:47Z)
• LOOK-M: Look-Once Optimization in KV Cache for Efficient Multimodal Long-Context Inference [32.20654044142376]
  LOOK-Mは、マルチモーダルKVキャッシュサイズを効率的に削減する、先駆的で微調整のないアプローチである。 最大1.5倍高速なデコードを実現し、また、様々な長いコンテキストマルチモーダルタスクのパフォーマンスを維持または強化する。
  論文  参考訳（メタデータ） (2024-06-26T07:44:24Z)
• DiM: Diffusion Mamba for Efficient High-Resolution Image Synthesis [56.849285913695184]
  Diffusion Mamba (DiM) は高分解能画像合成のためのシーケンスモデルである。 DiMアーキテクチャは高解像度画像の推論時間効率を実現する。 実験は、我々のDiMの有効性と効率を実証する。
  論文  参考訳（メタデータ） (2024-05-23T06:53:18Z)
• From Text to Pixel: Advancing Long-Context Understanding in MLLMs [70.78454154014989]
  本稿では,この問題に対処するために設計された多モーダル大規模言語モデルであるSEEKERを紹介する。 SEEKERは、画像を介してテキストシーケンスを視覚ピクセル空間に圧縮することで、長文のコンパクトエンコーディングを最適化することを目的としている。 6つの長文マルチモーダルタスクに関する実験により、SEEKERは、OCRベースの手法と比較して、同じ量のテキスト情報を伝達するために、少ない画像トークンを利用できることを示した。
  論文  参考訳（メタデータ） (2024-05-23T06:17:23Z)
• Real-Time Image Segmentation via Hybrid Convolutional-Transformer Architecture Search [49.81353382211113]
  マルチヘッド自己認識を高分解能表現CNNに効率的に組み込むという課題に対処する。 本稿では,高解像度機能の利点をフル活用したマルチターゲットマルチブランチ・スーパーネット手法を提案する。 本稿では,Hybrid Convolutional-Transformer Architecture Search (HyCTAS)法を用いて,軽量畳み込み層とメモリ効率のよい自己保持層を最適に組み合わせたモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-15T15:47:54Z)
• SPHINX: The Joint Mixing of Weights, Tasks, and Visual Embeddings for Multi-modal Large Language Models [86.478087039015]
  モデル重み、チューニングタスク、視覚埋め込みを併用した多目的多モード大言語モデル(MLLM)を提案する。 提案したジョイントミキシングに基づいて,高解像度画像のきめ細かい外観をより正確に捉えるための効率的な手法を提案する。 今後のMLLM研究におけるジョイントミキシングの探求に光を当てることを願っている。
  論文  参考訳（メタデータ） (2023-11-13T18:59:47Z)
• Matryoshka Diffusion Models [38.26966802461602]
  拡散モデルは、高品質の画像やビデオを生成するデファクトアプローチである。 本稿では,高解像度画像とビデオ合成のためのエンドツーエンドフレームワークであるMatryoshka Diffusion Modelsを紹介する。 本稿では,クラス条件付き画像生成,高解像度テキスト・ツー・イメージ,テキスト・ツー・ビデオアプリケーションなど,様々なベンチマークにおけるアプローチの有効性を示す。
  論文  参考訳（メタデータ） (2023-10-23T17:20:01Z)
• PixMIM: Rethinking Pixel Reconstruction in Masked Image Modeling [83.67628239775878]
  Masked Image Modeling (MIM) は Masked Autoencoders (MAE) と BEiT の出現によって有望な進歩を遂げた。 本稿では,画素再構成の観点からMIMの基本解析を行う。 我々は,2つの戦略を包含する極めて単純で効果的な方法,weelmethodを提案する。
  論文  参考訳（メタデータ） (2023-03-04T13:38:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。