論文の概要: Sparse Shortcuts: Facilitating Efficient Fusion in Multimodal Large Language Models
- arxiv url: http://arxiv.org/abs/2602.00505v1
- Date: Sat, 31 Jan 2026 04:15:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-03 19:28:33.224016
- Title: Sparse Shortcuts: Facilitating Efficient Fusion in Multimodal Large Language Models
- Title（参考訳）: スパースショートカット:多モーダル大言語モデルにおける効率的な融合を実現する
- Authors: Jingrui Zhang, Feng Liang, Yong Zhang, Wei Wang, Runhao Zeng, Xiping Hu,
- Abstract要約: マルチモーダル大言語モデル(MLLM)は、複数のモーダルにまたがるデータ処理能力において急速に進歩している。
視覚言語モデルでは、高レベルな視覚的特徴のみを用いたモダリティの整列は、中レベルと低レベルの特徴に存在するリッチな意味情報を捨てることが多い。
SparseCut は MLLM のための汎用のクロスモーダル融合アーキテクチャである。
- 参考スコア（独自算出の注目度）: 26.305881774348844
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the remarkable success of large language models (LLMs) in natural language understanding and generation, multimodal large language models (MLLMs) have rapidly advanced in their ability to process data across multiple modalities. While most existing efforts focus on scaling up language models or constructing higher-quality training data, limited attention has been paid to effectively integrating cross-modal knowledge into the language space. In vision-language models, for instance, aligning modalities using only high-level visual features often discards the rich semantic information present in mid- and low-level features, limiting the model's ability of cross-modality understanding. To address this issue, we propose SparseCut, a general cross-modal fusion architecture for MLLMs, introducing sparse shortcut connections between the cross-modal encoder and the LLM. These shortcut connections enable the efficient and hierarchical integration of visual features at multiple levels, facilitating richer semantic fusion without increasing computational overhead. We further introduce an efficient multi-grained feature fusion module, which performs the fusion of visual features before routing them through the shortcuts. This preserves the original language context and does not increase the overall input length, thereby avoiding an increase in computational complexity for the LLM. Experiments demonstrate that SparseCut significantly enhances the performance of MLLMs across various multimodal benchmarks with generality and scalability for different base LLMs.
- Abstract（参考訳）: 自然言語の理解と生成における大規模言語モデル(LLM)の顕著な成功により、マルチモーダルな大規模言語モデル(MLLM)は、複数のモーダルにまたがるデータ処理能力において急速に進歩している。
既存の取り組みの多くは、言語モデルのスケールアップや高品質なトレーニングデータの構築に重点を置いているが、言語分野へのクロスモーダルな知識の効果的な統合には、限られた注意が払われている。
例えば、視覚言語モデルでは、高レベルな視覚的特徴のみを用いたモダリティの整列は、中低レベルの特徴に存在するリッチな意味情報を破棄し、モデルのモダリティ間の理解能力を制限する。
この問題に対処するため,我々は,MLLMの汎用的なクロスモーダルフュージョンアーキテクチャであるSparseCutを提案し,クロスモーダルエンコーダとLCM間のスパースショートカット接続を導入する。
これらのショートカット接続により、複数のレベルにおける視覚的特徴の効率的かつ階層的な統合が可能になり、計算オーバーヘッドを増大させることなくよりリッチなセマンティック融合が実現される。
さらに、ショートカットをルーティングする前に視覚的特徴の融合を行う、効率的なマルチグラデーション・フュージョン・モジュールを導入する。
これにより、元の言語コンテキストが保存され、全体の入力長が増加しないため、LLMの計算複雑性が増大するのを避けることができる。
実験により、SparseCutは様々なマルチモーダルベンチマークにおけるMLLMの性能を大幅に向上させ、異なるベースLLMの汎用性と拡張性を示した。
関連論文リスト
- From One-to-One to Many-to-Many: Dynamic Cross-Layer Injection for Deep Vision-Language Fusion [91.35078719566472]
VLM(Vision-Language Models)は、粗い非対称接続を使用することで、深刻な視覚的特徴のボトルネックを生み出す。
CLI(Cross-Layer Injection)は,2つのモダリティの間に動的に多対多の橋を架ける,斬新で軽量なフレームワークである。
論文 参考訳（メタデータ） (2026-01-15T18:59:10Z) - LayAlign: Enhancing Multilingual Reasoning in Large Language Models via Layer-Wise Adaptive Fusion and Alignment Strategy [33.85811169010525]
LLM(Large Language Model)は、低リソース言語上での最適化性能を示す。
最近のアプローチでは、2つのモデルを接続するトレーニング可能なパラメータを導入することで、LLMと並行して多言語エンコーダを活用している。
すべてのエンコーダ層から表現を統合するフレームワークであるanameを提案する。
論文 参考訳（メタデータ） (2025-02-17T03:45:03Z) - Weakly Supervised Temporal Action Localization via Dual-Prior Collaborative Learning Guided by Multimodal Large Language Models [33.37379526356273]
MLLM4WTALと呼ばれる新しい学習パラダイムを導入する。
MLLMのポテンシャルを利用して、時間的アクションキーセマンティクスと完全なセマンティクスの事前を提供する。
キーセマンティックマッチング(KSM)と完全セマンティック再構成(CSR)の2つの異なるモジュールを統合することでこれを実現できる。
論文 参考訳（メタデータ） (2024-11-13T09:37:24Z) - LLM2CLIP: Powerful Language Model Unlocks Richer Visual Representation [72.02635550088546]
この研究は、大規模言語モデル(LLM)がCLIPの機能をどのように強化するか、特により長く複雑なイメージキャプションを処理するために検討する。
キャプション・トゥ・キャプション・トゥ・キャプション・トゥ・コントラスト・ファインチューニング・フレームワークを導入し,LLM出力の識別品質を大幅に向上させた。
提案手法はLoRA法よりも優れ,より優れた性能で4倍近い高速トレーニングを実現している。
論文 参考訳（メタデータ） (2024-11-07T18:59:16Z) - EMMA: Efficient Visual Alignment in Multi-Modal LLMs [56.03417732498859]
EMMAは、視覚的およびテキスト的エンコーディングを効率的に融合するために設計された軽量なクロスプラットフォームモジュールである。
EMMAは複数のタスクのパフォーマンスを最大9.3%向上させ、幻覚に対する堅牢性を大幅に向上させる。
論文 参考訳（メタデータ） (2024-10-02T23:00:31Z) - UniMEL: A Unified Framework for Multimodal Entity Linking with Large Language Models [0.42832989850721054]
MEL(Multimodal Entities Linking)は、ウィキペディアのようなマルチモーダル知識ベースの参照エンティティに、多モーダルコンテキスト内で曖昧な言及をリンクすることを目的とした重要なタスクである。
既存の方法はMELタスクを過度に複雑にし、視覚的意味情報を見渡す。
大規模言語モデルを用いたマルチモーダル・エンティティ・リンクタスクを処理するための新しいパラダイムを確立する統一フレームワークUniMELを提案する。
論文 参考訳（メタデータ） (2024-07-23T03:58:08Z) - Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。
具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。
マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
論文 参考訳（メタデータ） (2024-05-18T12:16:01Z) - Probing Multimodal Large Language Models for Global and Local Semantic Representations [57.25949445963422]
マルチモーダル大言語モデルのどの層がグローバルな画像情報に最も力を注いでいるかを検討する。
本研究では,モデルの中間層が,よりグローバルな意味情報を符号化できることを見出した。
最上位のレイヤが過度にローカル情報に集中していることが分かり、グローバル情報をエンコードする能力の低下につながります。
論文 参考訳（メタデータ） (2024-02-27T08:27:15Z) - Generative Multimodal Entity Linking [24.322540112710918]
MEL(Multimodal Entity Linking)は、知識ベースからの参照エンティティへの参照をマルチモーダルコンテキストでマッピングするタスクである。
既存のMEL法は主に複雑なマルチモーダル相互作用機構の設計に重点を置いており、すべてのモデルパラメータを微調整する必要がある。
大規模言語モデル(LLM)に基づくジェネレーティブマルチモーダルエンティティリンクフレームワークであるGEMELを提案する。
当社のフレームワークは市販の言語モデルと互換性があり、効率的で汎用的なソリューションへの道を開いたものです。
論文 参考訳（メタデータ） (2023-06-22T07:57:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。