論文の概要: MAGIC: Multimodal Alignment & Grounding-aware Instruction Coreset for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2605.26004v1
• Date: Mon, 25 May 2026 16:22:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:20.465944
• Title: MAGIC: Multimodal Alignment & Grounding-aware Instruction Coreset for Vision-Language Models
• Title（参考訳）: MAGIC:視覚言語モデルのためのマルチモーダルアライメントとグラウンド・アウェア・インストラクション・コアセット
• Authors: Shristi Das Biswas, Kaushik Roy,
• Abstract要約: MAGICは、マルチモーダル命令チューニングのためのトレーニングフリー、フォワードオンリーのコアセット選択方法である。 予め訓練されたVLMから抽出された3つの固有信号に基づいて構築される。 MAGICは20%の予算で強いベースラインを継続的に改善する。
• 参考スコア（独自算出の注目度）: 8.637110868126546
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Instruction tuning of large vision-language models (LVLMs) increasingly depends on massive multimodal corpora, yet these datasets contain samples with substantial redundancy, low visual dependency, and highly imbalanced coverage of multimodal reasoning behaviors. As a result, uniform subsampling or naive score-based selection often yields suboptimal training subsets. We introduce MAGIC, a training-free, forward-only coreset selection method designed to construct compact yet behaviorally faithful subsets for multimodal instruction tuning. MAGIC is built on three intrinsic signals extracted from a pretrained VLM: Multimodal Gain, which measures the likelihood improvement obtained from visual input; Bridging Relevance, which captures the sharpness of answer-token grounding over visual tokens; and Skill-Neuron Signatures, which characterize the functional computation elicited by each sample via top-activated feed-forward neurons. MAGIC combines these signals in a three-stage pipeline: filtering low-gain examples, ranking candidates by a normalized quality objective, and performing bucket-wise budget allocation over discrete neuron signatures to preserve latent multimodal skill coverage. This formulation avoids backpropagation, auxiliary selector training, and expensive clustering in continuous activation spaces, while remaining efficient and easily deployable in existing VLMs. Across LLaVA-665K and Vision-Flan datasets, and transfer settings to large target models, LLaVA-1.5-7B and -13B, MAGIC consistently improves over strong baselines under matched 20% budgets: it achieves 100.3% relative performance to full finetuning on LLaVA-665K and 101.6% relative performance on Vision-Flan-186K, while yielding a 73.7% reduction in wall-clock run time.
• Abstract（参考訳）: 大規模視覚言語モデル(LVLM)のインストラクションチューニングは、大規模多モーダルコーパスにますます依存しているが、これらのデータセットには、かなりの冗長性、低視覚依存性、多モーダル推論行動の高度に不均衡なカバレッジを持つサンプルが含まれている。 その結果、均一なサブサンプリングやナイーブなスコアベースの選択は、しばしば準最適トレーニングサブセットをもたらす。 我々は,マルチモーダル命令チューニングのためのコンパクトで行動に忠実なサブセットを構築するために,トレーニングフリーでフォワードオンリーなコアセット選択法であるMAGICを紹介する。 MAGICは、事前訓練されたVLMから抽出された3つの本質的な信号に基づいて構築される:マルチモーダルゲイン(Multimodal Gain)、視覚入力から得られる改善の可能性を測定するブリジング・レバレンス(Bridging Relevance)、視覚トークン上の応答・トケングラウンドのシャープネスをキャプチャするブリジング・レバレンス(Bridging Relevance)、そして、各サンプルが上位活性化フィード・フォワードニューロンを介して引き出す機能的計算を特徴付けるスキル・ニューロンシグナチャ(Skill-Neuron Signatures)である。 MAGICはこれらの信号を3段階のパイプラインに組み合わせ、低利得例をフィルタリングし、正規化された品質目標による候補をランク付けし、離散ニューロンシグネチャに対してバケットワイズな予算割り当てを行い、潜在マルチモーダルスキルカバレッジを維持する。 この定式化は、バックプロパゲーション、補助セレクタトレーニング、継続的なアクティベーション空間における高価なクラスタリングを回避し、既存のVLMでは効率よく容易にデプロイできる。 LLaVA-665K と Vision-Flan のデータセットと、LLaVA-1.5-7B と -13B への転送設定を通して、MAGIC は一致した20%の予算の下で、強いベースラインよりも一貫して改善している。

関連論文リスト

• Vision Token Reduction via Attention-Driven Self-Compression for Efficient Multimodal Large Language Models [34.12135666939555]
  MLLM(Multimodal Large Language Models)は、複数の視覚トークンを全てのレイヤで処理することで、計算コストを大幅に削減する。 LLMの注意機構のみを用いて、視覚トークンを段階的に削減する、シンプルで広く適用可能な方法である、注意駆動型自己圧縮(ADSC)を導入する。 ADSCはFLOPを53.7%、KVキャッシュメモリを56.7%削減し、オリジナルモデルの98.2%を保存した。
  論文  参考訳（メタデータ） (2026-02-13T04:49:27Z)
• DeepGen 1.0: A Lightweight Unified Multimodal Model for Advancing Image Generation and Editing [67.77471070868852]
  DeepGen 1.0は、画像生成と編集のための軽量な5B統一モデルである。 わずか5000万のサンプルでトレーニングされており、WISEでは80BのHunyuan Imageを28%、UniREditBenchでは27BのQwen-Image-Editを37%上回っている。 トレーニングコード、ウェイト、データセットをオープンソース化することで、統合マルチモーダルリサーチを民主化する、効率的で高性能な代替手段を提供します。
  論文  参考訳（メタデータ） (2026-02-12T17:44:24Z)
• Repulsor: Accelerating Generative Modeling with a Contrastive Memory Bank [65.00301565190824]
  mnameは、外部エンコーダを必要としない、プラグアンドプレイのトレーニングフレームワークである。 mnameは400kのステップでtextbf2.40 の最先端 FID を達成し、同等のメソッドを著しく上回っている。
  論文  参考訳（メタデータ） (2025-12-09T14:39:26Z)
• RADSeg: Unleashing Parameter and Compute Efficient Zero-Shot Open-Vocabulary Segmentation Using Agglomerative Models [6.977949425464]
  我々は、見過ごされた集合的視覚基盤モデルRADIOを活用し、mIoU、レイテンシ、パラメータ効率の3つの主要な軸に沿ったゼロショットOVSSを同時に改善する。 RADSegは,3.95倍高速かつ2.5倍少ないパラメータを用いて,ベースViTクラスの6～30%のmIoU改善を実現した。
  論文  参考訳（メタデータ） (2025-11-24T21:15:01Z)
• MoDES: Accelerating Mixture-of-Experts Multimodal Large Language Models via Dynamic Expert Skipping [52.02659589971978]
  我々は,MoE MLLM推論を効果的かつ正確なものにするために,専門家を適応的にスキップする最初のトレーニングフリーフレームワークであるMoDESを提案する。 MoDESは推論速度を大幅に向上させ、プリフィルタイムを2.16$times$、デコードタイムを1.26$times$に改善する。
  論文  参考訳（メタデータ） (2025-11-19T18:48:27Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• R-Sparse: Rank-Aware Activation Sparsity for Efficient LLM Inference [77.47238561728459]
  R-スパース(R-Sparse)は、高度なLCMにおいて高い疎度を達成できる訓練不要なアクティベーション・スパシティ・アプローチである。 10種類のタスクにわたるLlama-2/3およびMistralモデルの実験は、R-Sparseが50%のモデルレベルの間隔で同等のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-04-28T03:30:32Z)
• p-MoD: Building Mixture-of-Depths MLLMs via Progressive Ratio Decay [20.688382669309096]
  p-MoDは、モデル性能を維持しながら、トレーニングと推論のコストを大幅に削減する効率的なMLLMアーキテクチャである。 我々は、Tanh-gateweight normalization (TanhNorm) と symmetric token reweighting (STRing) の2つの新しい設計でMoDモジュールを適応する。
  論文  参考訳（メタデータ） (2024-12-05T18:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。