論文の概要: B-VLLM: A Vision Large Language Model with Balanced Spatio-Temporal Tokens

• arxiv url: http://arxiv.org/abs/2412.09919v1
• Date: Fri, 13 Dec 2024 07:13:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 15:04:00.099924
• Title: B-VLLM: A Vision Large Language Model with Balanced Spatio-Temporal Tokens
• Title（参考訳）: B-VLLM:バランスの取れた時空間トークンを持つ視覚大言語モデル
• Authors: Zhuqiang Lu, Zhenfei Yin, Mengwei He, Zhihui Wang, Zicheng Liu, Zhiyong Wang, Kun Hu,
• Abstract要約: 視覚エンコーダと統合された大規模言語モデル(VLLM)は、視覚理解において有望な性能を示している。 Balanced Vision-VLLM(B-VLLM):タスクに関連する時間的手がかりを効果的に活用することを目的とした新しいVLLMフレームワーク。 B-VLLMは、映像理解におけるフレーム数と視覚トークン数のバランスをとるのに有効であり、様々な映像理解において優れた性能が得られる。
• 参考スコア（独自算出の注目度）: 34.83004283826509
• License:
• Abstract: Recently, Vision Large Language Models (VLLMs) integrated with vision encoders have shown promising performance in vision understanding. The key of VLLMs is to encode visual content into sequences of visual tokens, enabling VLLMs to simultaneously process both visual and textual content. However, understanding videos, especially long videos, remain a challenge to VLLMs as the number of visual tokens grows rapidly when encoding videos, resulting in the risk of exceeding the context window of VLLMs and introducing heavy computation burden. To restrict the number of visual tokens, existing VLLMs either: (1) uniformly downsample videos into a fixed number of frames or (2) reducing the number of visual tokens encoded from each frame. We argue the former solution neglects the rich temporal cue in videos and the later overlooks the spatial details in each frame. In this work, we present Balanced-VLLM (B-VLLM): a novel VLLM framework that aims to effectively leverage task relevant spatio-temporal cues while restricting the number of visual tokens under the VLLM context window length. At the core of our method, we devise a text-conditioned adaptive frame selection module to identify frames relevant to the visual understanding task. The selected frames are then de-duplicated using a temporal frame token merging technique. The visual tokens of the selected frames are processed through a spatial token sampling module and an optional spatial token merging strategy to achieve precise control over the token count. Experimental results show that B-VLLM is effective in balancing the number of frames and visual tokens in video understanding, yielding superior performance on various video understanding benchmarks. Our code is available at https://github.com/zhuqiangLu/B-VLLM.
• Abstract（参考訳）: 近年、視覚エンコーダと統合された視覚大言語モデル(VLLM)は、視覚理解において有望な性能を示している。 VLLMの鍵は、視覚的コンテンツを視覚的トークンのシーケンスにエンコードすることであり、VLLMは視覚的およびテキスト的コンテンツの両方を同時に処理することができる。 しかしながら、ビデオのエンコーディング時に視覚トークンの数が急速に増加し、VLLMのコンテキストウインドウを超えたり、計算負荷が重くなるリスクが生じるため、ビデオを理解すること、特に長いビデオは、VLLMにとって依然として課題である。 ビジュアルトークンの数を制限するために、既存のVLLMは、(1)動画を一定数のフレームに一様にダウンサンプルするか、(2)各フレームから符号化されたビジュアルトークンの数を減らすかのいずれかである。 我々は、前者の解法はビデオにおける豊富な時間的キューを無視し、後者は各フレームの空間的詳細を見落としていると主張している。 本稿では,VLLMコンテキストウィンドウ長の下での視覚トークンの数を制限しながら,タスクに関連する時空間キューを効果的に活用することを目的とした,新しいVLLMフレームワークである Balanced-VLLM(B-VLLM)を提案する。 本手法のコアとなるのは、視覚的理解タスクに関連するフレームを特定するためのテキスト条件適応フレーム選択モジュールである。 選択したフレームは、時間フレームトークンマージ技術を用いて分離される。 選択されたフレームの視覚トークンは、空間トークンサンプリングモジュールとオプションの空間トークンマージ戦略を介して処理され、トークンカウントを正確に制御する。 実験結果から,B-VLLMは映像理解におけるフレーム数と視覚トークン数のバランスをとるのに有効であることが示唆された。 私たちのコードはhttps://github.com/zhuqiangLu/B-VLLM.comで公開されています。

関連論文リスト

• TS-LLaVA: Constructing Visual Tokens through Thumbnail-and-Sampling for Training-Free Video Large Language Models [52.590072198551944]
  近年の多モーダル言語モデル(LLM)の進歩は,多モーダルな内容を理解する上で大きな成功を収めている。 ビデオ理解タスクでは、高品質でキュレートされたビデオテキストペアリングデータの不足により、トレーニングベースのビデオLLMの構築が困難である。 本研究では,トレーニングフリーのビデオ LLM 構築における既存の圧縮戦略の限界について検討する。
  論文  参考訳（メタデータ） (2024-11-17T13:08:29Z)
• SparseVLM: Visual Token Sparsification for Efficient Vision-Language Model Inference [45.11612407862277]
  視覚言語モデル(VLM)では、視覚トークンは通常かなりの計算オーバーヘッドを消費する。 本稿では、余分なパラメータや微調整コストを伴わずに、SparseVLMと呼ばれる効率的なトレーニングフリートークン最適化機構を提案する。 実験結果から,SparseVLMは画像理解タスクや映像理解タスクにおいて,様々なVLMの効率を向上することが示された。
  論文  参考訳（メタデータ） (2024-10-06T09:18:04Z)
• Balancing Performance and Efficiency: A Multimodal Large Language Model Pruning Method based Image Text Interaction [6.467840081978855]
  マルチモーダル大規模言語モデル(MM-LLM)は多くのマルチモーダルタスクにおいて大きな成功を収めているが、その高い計算コストはさらなる促進と応用を制限している。 MM-LLMの視覚的トークンについて検討し,この問題に対処するための動的プルーニングアルゴリズムを設計した。 提案手法は,平均22%のトークン量を使用する場合,元のトークン量と競合する性能を実現する。
  論文  参考訳（メタデータ） (2024-09-02T10:49:10Z)
• VideoLLM-MoD: Efficient Video-Language Streaming with Mixture-of-Depths Vision Computation [66.00245701441547]
  我々は、視覚トークンの数を減らさずに、冗長な視覚トークンを「スキップ層」として活用することで、視覚計算を減らし、新しいアプローチを導入する。 提案手法であるVideoLLM-MoDは深度混合LLMにインスパイアされ,長期・ストリーミングビデオにおける多数の視覚トークンの課題に対処する。
  論文  参考訳（メタデータ） (2024-08-29T17:21:58Z)
• TokenPacker: Efficient Visual Projector for Multimodal LLM [37.1071749188282]
  ビジュアルプロジェクタは、ビジュアルエンコーダとLarge Language Model(LLM)の間に必須のブリッジとして機能する。 本稿では,密集した特徴を注入して凝縮した視覚トークンを生成するために,粗く細かなスキームを取り入れた新しいビジュアルプロジェクタを提案する。 我々のアプローチでは、ビジュアルトークンを75%89%圧縮し、多様なベンチマークで同等またはさらに優れたパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2024-07-02T16:10:55Z)
• Towards Semantic Equivalence of Tokenization in Multimodal LLM [149.11720372278273]
  視覚トークン化は、視覚と言語間のセマンティックアライメントに不可欠である。 本稿では,新しい動的セマンティック等価ビジョントケナイザ(SeTok)を提案する。 SeTokは動的クラスタリングアルゴリズムを通じて、視覚的特徴をセマンティックユニットにグループ化する。 結果として得られる視覚トークンは意味的整合性を効果的に保持し、低周波と高周波の両方の視覚特徴をキャプチャする。
  論文  参考訳（メタデータ） (2024-06-07T17:55:43Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• VaQuitA: Enhancing Alignment in LLM-Assisted Video Understanding [63.075626670943116]
  本稿では,映像情報とテキスト情報の相乗効果を向上するための最先端フレームワークであるVaQuitAを紹介する。 データレベルでは、フレームを均一にサンプリングする代わりに、CLIPスコアランキングでガイドされるサンプリング手法を実装している。 機能レベルでは、Visual-Query Transformerと一緒にトレーニング可能なVideo Perceiverを統合します。
  論文  参考訳（メタデータ） (2023-12-04T19:48:02Z)
• LLaMA-VID: An Image is Worth 2 Tokens in Large Language Models [66.40252169137447]
  本稿では,視覚言語モデル(VLM)において,LLaMA-VIDと呼ばれるビデオおよび画像理解のためのトークン生成に挑戦する新しい手法を提案する。 LLaMA-VIDは、各フレームを2つの異なるトークン、すなわちコンテキストトークンとコンテントトークンで表現することでこの問題に対処する。 このデュアルトークン戦略は、重要な情報を保持しながら、長いビデオのオーバーロードを大幅に削減する。
  論文  参考訳（メタデータ） (2023-11-28T18:53:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。