論文の概要: V2PE: Improving Multimodal Long-Context Capability of Vision-Language Models with Variable Visual Position Encoding

• arxiv url: http://arxiv.org/abs/2412.09616v2
• Date: Fri, 13 Dec 2024 04:58:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-16 11:42:57.042212
• Title: V2PE: Improving Multimodal Long-Context Capability of Vision-Language Models with Variable Visual Position Encoding
• Title（参考訳）: V2PE:可変位置符号化による視覚言語モデルのマルチモーダル長期化能力の向上
• Authors: Junqi Ge, Ziyi Chen, Jintao Lin, Jinguo Zhu, Xihui Liu, Jifeng Dai, Xizhou Zhu,
• Abstract要約: VLM(Vision-Language Models)は、様々なマルチモーダルタスクを扱う上で有望な能力を示しているが、長いコンテキストシナリオでは苦労している。 本稿では,視覚トークンに可変インクリメントを取り入れた新しい位置符号化手法を提案し,長いマルチモーダルシーケンスのより効率的な管理を実現する。 細調整されたモデルでは、標準タスクと長文マルチモーダルタスクの両方で高い性能が得られることを示す。
• 参考スコア（独自算出の注目度）: 40.784423313750075
• License:
• Abstract: Vision-Language Models (VLMs) have shown promising capabilities in handling various multimodal tasks, yet they struggle in long-context scenarios, particularly in tasks involving videos, high-resolution images, or lengthy image-text documents. In our work, we first conduct an empirical analysis of the long-context capabilities of VLMs using our augmented long-context multimodal datasets. Our findings reveal that directly applying the positional encoding mechanism used for textual tokens to visual tokens is suboptimal, and VLM performance degrades sharply when the position encoding exceeds the model's context window. To address this, we propose Variable Visual Position Encoding (V2PE), a novel positional encoding approach that employs variable and smaller increments for visual tokens, enabling more efficient management of long multimodal sequences. Our experiments demonstrate the effectiveness of V2PE to enhances VLMs' ability to effectively understand and reason over long multimodal contexts. We further integrate V2PE with our augmented long-context multimodal datasets to fine-tune the open-source VLM, InternVL2. The fine-tuned model achieves strong performance on both standard and long-context multimodal tasks. Notably, when the sequence length of the training dataset is increased to 256K tokens, the model is capable of processing multimodal sequences up to 1M tokens, highlighting its potential for real-world long-context applications.
• Abstract（参考訳）: VLM(Vision-Language Models)は、様々なマルチモーダルタスクを扱う上で有望な能力を示しているが、特にビデオ、高解像度画像、長い画像テキストドキュメントを含むタスクにおいて、長いコンテキストシナリオで苦労している。 我々はまず,拡張長文マルチモーダルデータセットを用いて,VLMの長期コンテキスト能力の実証分析を行った。 その結果,テキストトークンに使用する位置符号化機構を視覚トークンに直接適用することは最適以下であり,位置符号化機構がモデルのコンテキストウインドウを超えた場合,VLMの性能は急激に低下することがわかった。 これを解決するために,可変および少ないインクリメントを視覚トークンとして用い,長いマルチモーダルシーケンスのより効率的な管理を可能にする新しい位置符号化手法である可変視覚位置符号化(V2PE)を提案する。 本実験は,V2PEの有効性を実証し,VLMの長期的マルチモーダルコンテキストに対する効果的理解と推論能力を高めるものである。 さらに、V2PEを拡張長文マルチモーダルデータセットと統合して、オープンソースのVLMであるInternVL2を微調整します。 微調整モデルは、標準タスクと長文マルチモーダルタスクの両方で高い性能を達成する。 特に、トレーニングデータセットのシーケンス長が256Kトークンに増加すると、このモデルは100万トークンまでのマルチモーダルシーケンスを処理でき、現実世界の長期コンテキストアプリケーションの可能性を強調します。

関連論文リスト

• VIMI: Grounding Video Generation through Multi-modal Instruction [89.90065445082442]
  既存のテキスト間拡散モデルは、事前訓練のためにテキストのみのエンコーダにのみ依存する。 検索手法を用いて大規模マルチモーダル・プロンプト・データセットを構築し,テキスト・プロンプトとテキスト・プロンプトのペア化を行う。 マルチモーダル命令を組み込んだ3つのビデオ生成タスクにおいて,第1ステージからモデルを微調整する。
  論文  参考訳（メタデータ） (2024-07-08T18:12:49Z)
• Long Context Transfer from Language to Vision [74.78422371545716]
  ビデオシーケンスは貴重な時間情報を提供するが、既存の大規模マルチモーダルモデル(LMM)は非常に長いビデオを理解するには不十分である。 本稿では,言語モデルの観点からこの問題にアプローチする。 言語バックボーンの文脈長を単純に外挿することで、LMMはビデオトレーニングなしで桁違いに多くの視覚的トークンを理解できるようになる。
  論文  参考訳（メタデータ） (2024-06-24T17:58:06Z)
• VisionLLM v2: An End-to-End Generalist Multimodal Large Language Model for Hundreds of Vision-Language Tasks [89.24440488456405]
  VisionLLM v2は、エンドツーエンドの汎用マルチモーダル大モデル(MLLM)である。 単一のフレームワーク内で視覚的知覚、理解、生成を統一する。
  論文  参考訳（メタデータ） (2024-06-12T16:44:50Z)
• From Text to Pixel: Advancing Long-Context Understanding in MLLMs [70.78454154014989]
  本稿では,この問題に対処するために設計された多モーダル大規模言語モデルであるSEEKERを紹介する。 SEEKERは、画像を介してテキストシーケンスを視覚ピクセル空間に圧縮することで、長文のコンパクトエンコーディングを最適化することを目的としている。 6つの長文マルチモーダルタスクに関する実験により、SEEKERは、OCRベースの手法と比較して、同じ量のテキスト情報を伝達するために、少ない画像トークンを利用できることを示した。
  論文  参考訳（メタデータ） (2024-05-23T06:17:23Z)
• Tuning Large Multimodal Models for Videos using Reinforcement Learning from AI Feedback [38.708690624594794]
  ビデオとテキストのマルチモーダルアライメントは、主にマルチモーダル命令・チューンデータのボリュームと品質が不足しているため、依然として困難である。 本稿では,AIフィードバックからの強化学習(Reinforcement Learning from AI Feedback, RLAIF)と呼ばれる,マルチモーダルAIシステムを用いた新たなアライメント戦略を提案する。 具体的には、嗜好フィードバックの生成中に、詳細な映像記述を文脈として提供することによって、文脈対応報酬モデルを提案する。
  論文  参考訳（メタデータ） (2024-02-06T06:27:40Z)
• MMICL: Empowering Vision-language Model with Multi-Modal In-Context Learning [42.68425777473114]
  大規模言語モデル(LLM)によって強化された視覚言語モデル(VLM)は、急速に人気が高まっている。 マルチモーダル・インコンテキスト・ラーニング(MMICL)を用いた視覚言語モデルを導入し,VLMがマルチモーダル入力を効率的に処理できるようにする。 実験により,MMICLは多種多様な視覚言語タスクにおいて,最先端のゼロショット性能を実現することを確認した。
  論文  参考訳（メタデータ） (2023-09-14T17:59:17Z)
• Enabling Multimodal Generation on CLIP via Vision-Language Knowledge Distillation [79.72299298976525]
  我々は、視覚言語知識蒸留(VLKD)を通して、テキスト事前学習言語モデル(PLM)を用いた視覚言語事前学習モデルの拡張を提案する。 実験の結果,複数モーダル生成タスクにおいて,視覚的質問応答や画像キャプションなどのゼロショット性能が強いことがわかった。 PLMの本来のテキスト言語理解と生成能力は、VLKDの後に維持される。
  論文  参考訳（メタデータ） (2022-03-12T09:33:37Z)
• See, Hear, Read: Leveraging Multimodality with Guided Attention for Abstractive Text Summarization [14.881597737762316]
  我々は,NDSS,ICML,NeurIPSなどの著名な学術カンファレンスのプレゼンテーションから収集した,様々な期間のビデオを用いた抽象テキスト要約のための最初の大規模データセットを紹介する。 次に,多モード変換器をベースとしたデコーダのみの言語モデルであるnameを提案し,テキスト要約タスクの様々な入力モードにおけるモーダル内およびモーダル間ダイナミクスを本質的にキャプチャする。
  論文  参考訳（メタデータ） (2021-05-20T08:56:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。