論文の概要: MS-Resampler: Multi-Scope Visual Resampling for Efficient Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2606.31383v1
• Date: Tue, 30 Jun 2026 09:11:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:19.162606
• Title: MS-Resampler: Multi-Scope Visual Resampling for Efficient Multimodal LLMs
• Title（参考訳）: MS-Resampler:効率的なマルチモーダルLCMのためのマルチスコープビジュアルリサンプリング
• Abstract要約: MLLM(Multimodal large language model)は通常、密集した視覚的特徴を言語モデリングのためのコンパクトなトークンシーケンスに変換するために再サンプリングベースのプロジェクタを使用する。 MLLMのためのマルチスコープ・ビジュアル・リサンプリング・フレームワークであるMS-Resamplerを提案する。
• 参考スコア（独自算出の注目度）: 35.802647459700125
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models (MLLMs) typically employ resampling-based projectors to transform dense visual features into a compact token sequence for language modeling. Most existing resamplers adopt a single, fixed aggregation scope via global cross-attention, which can blur fine-grained local evidence and limit the ability to capture both local details and global context within a fixed token budget. In this work, we propose MS-Resampler, a multi-scope visual resampling framework for MLLMs. MS-Resampler instantiates multiple scope-specific resamplers by injecting explicit spatial scope priors into the resampling attention, enabling each branch to aggregate visual information at a particular granularity from local to global. The outputs of these scope-specific resamplers are then adaptively fused to produce the final visual representations for language modeling. Extensive experiments on ten public multimodal benchmarks show that MS-Resampler consistently improves visual understanding and multimodal reasoning over conventional single-scope resamplers, while introducing only minimal computational overhead.
• Abstract（参考訳）: MLLM(Multimodal large language model)は通常、密集した視覚的特徴を言語モデリングのためのコンパクトなトークンシーケンスに変換するために再サンプリングベースのプロジェクタを使用する。 既存のリサンプラーの多くは、グローバルなクロスアテンションを通じて単一の固定されたアグリゲーションスコープを採用しており、これはきめ細かい局所的な証拠を曖昧にし、固定されたトークン予算内で局所的な詳細とグローバルなコンテキストの両方をキャプチャする能力を制限することができる。 本研究では,MLLMのためのマルチスコープビジュアル・リサンプリング・フレームワークであるMS-Resamplerを提案する。 MS-Resamplerは、各ブランチが局所からグローバルまで特定の粒度で視覚情報を集約できるように、空間スコープ事前を再サンプリング注意に注入することで、複数のスコープ固有の再サンプリングをインスタンス化する。 これらのスコープ固有の再サンプリング器の出力は適応的に融合され、言語モデリングのための最終的な視覚表現を生成する。 10の公開マルチモーダルベンチマークによる大規模な実験により、MS-Resamplerは従来の単一スコープリサンプラーよりも視覚的理解とマルチモーダル推論を一貫して改善し、計算オーバーヘッドは最小限に抑えられた。

関連論文リスト

• Zooming from Context to Cue: Hierarchical Preference Optimization for Multi-Image MLLMs [74.74767980885758]
  マルチレベル優先最適化フレームワークであるContext-to-Cue Direct Preference Optimization (CcDPO)を提案する。 CcDPOは、シーケンシャルなコンテキストからローカルな詳細まで、視覚的なヒントをズームすることで、マルチイメージ設定でのイメージ単位の知覚を強化する。 実験により、CcDPOは幻覚を著しく減少させ、一貫した性能向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2025-05-28T14:24:02Z)
• IDEA: Inverted Text with Cooperative Deformable Aggregation for Multi-modal Object Re-Identification [60.38841251693781]
  本稿では,ロバストなマルチモーダルオブジェクトReIDを生成する新しいフレームワークを提案する。 我々のフレームワークは、多モーダル情報と逆テキストからのセマンティックガイダンスを統合するために、Modal PrefixesとInverseNetを使用している。 3つのマルチモーダルオブジェクトReIDベンチマーク実験により,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2025-03-13T13:00:31Z)
• Robust Multi-View Learning via Representation Fusion of Sample-Level Attention and Alignment of Simulated Perturbation [61.64052577026623]
  実世界のマルチビューデータセットは、しばしば不均一で不完全である。 本稿では,表現融合とアライメントを同時に行う新しいロバストMVL法(RML)を提案する。 我々のRMLは自己教師型であり、正規化として下流のタスクにも適用できます。
  論文  参考訳（メタデータ） (2025-03-06T07:01:08Z)
• RSUniVLM: A Unified Vision Language Model for Remote Sensing via Granularity-oriented Mixture of Experts [17.76606110070648]
  複数の粒度にまたがる包括的視覚理解のための統一型エンドツーエンドRS VLMであるRSUniVLMを提案する。 RSUniVLMは、変更検出や変更キャプションのインスタンスを含む、マルチイメージ解析において効果的に機能する。 また、RSと一般ドメインの両方の既存のデータセットに基づいて、大規模なRS命令追従データセットを構築した。
  論文  参考訳（メタデータ） (2024-12-07T15:11:21Z)
• Enhancing Multimodal Large Language Models with Multi-instance Visual Prompt Generator for Visual Representation Enrichment [39.84313997541156]
  まず、Q-formerのようなクエリベースのトランスフォーマーを用いたアダプタは、単純化されたマルチインスタンス学習法であることを示す。 次に、リッチな視覚表現をLLMに組み込むために、MIVPG(Multi-instance Visual Prompt Generator)と呼ばれる汎用コンポーネントを提案する。
  論文  参考訳（メタデータ） (2024-06-05T06:36:43Z)
• Multi-modal Instruction Tuned LLMs with Fine-grained Visual Perception [63.03288425612792]
  マルチモーダル参照から画素単位のオブジェクト認識と自然言語記述を生成できる汎用MLLMモデルであるbfAnyRefを提案する。 本モデルでは,領域レベルの参照表現生成とセグメンテーションの多様さを含む,複数のベンチマークにおける最先端結果を実現する。
  論文  参考訳（メタデータ） (2024-03-05T13:45:46Z)
• TOP-ReID: Multi-spectral Object Re-Identification with Token Permutation [64.65950381870742]
  マルチスペクトルオブジェクトReID, Dubbled TOP-ReIDのための循環トークン置換フレームワークを提案する。 また,巡回多スペクトル特徴アグリゲーションのためのToken Permutation Module (TPM)を提案する。 提案するフレームワークは,ロバストなオブジェクトReIDに対して,より識別性の高いマルチスペクトル特徴を生成できる。
  論文  参考訳（メタデータ） (2023-12-15T08:54:15Z)
• Global and Local Semantic Completion Learning for Vision-Language Pre-training [34.740507502215536]
  クロスモーダルアライメントは、視覚言語事前学習モデルにおいて重要な役割を果たす。 グローバル・ローカル・セマンティック・コンプリート・ラーニング(GLSCL)タスクを提案し,グローバル・ローカル・アライメントとローカル・ローカル・アライメントを同時に行う。
  論文  参考訳（メタデータ） (2023-06-12T13:20:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。