論文の概要: Investigating Cross-Modal Skill Injection: Scenarios, Methods, and Hyperparameters

• arxiv url: http://arxiv.org/abs/2605.19523v1
• Date: Tue, 19 May 2026 08:24:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.20369
• Title: Investigating Cross-Modal Skill Injection: Scenarios, Methods, and Hyperparameters
• Title（参考訳）: クロスモーダル・スキル・インジェクション:シナリオ,メソッド,ハイパーパラメータ
• Authors: Zhiyu Xu, Lean Wang, Yuanxin Liu, Lei Li, Hao Zhou, Fandong Meng, Jie Zhou, Xu Sun,
• Abstract要約: クロスモーダルスキルインジェクションは、ドメインエキスパートLEMをビジョンランゲージモデル(VLM)に統合することにより、創発的クロスモーダル能力を誘導することを目的としている。 シナリオでは、クロスモーダルなスキルインジェクションは一般的に命令追従や言語間セッティングにおいてよく機能するが、数学的推論では困難である。 提案手法では,TAやDAREといった古典的手法が,代替マージ手法よりも優れた性能を実現している。
• 参考スコア（独自算出の注目度）: 56.051481747681315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Models (VLMs) have demonstrated remarkable proficiency in general multi-modal understanding; yet they struggle to efficiently acquire continually evolving domain-specific skills. Conventional approaches to enhancing VLM capabilities, such as Supervised Fine-Tuning (SFT), require extensive dataset curation and substantial computational resources. Model merging has emerged as an efficient alternative that enables the transfer of domain-specific expertise from Large Language Models (LLMs) to VLMs without incurring additional training data requirements or significant computational overhead. Unlike conventional merging of homogeneous LLMs, which mainly aggregates existing capabilities, cross-modal skill injection aims to induce emergent cross-modal capabilities by integrating a domain-expert LLM into a VLM. However, existing research lacks a systematic analysis of the applicability and methodology of cross-modal skill injection. In this study, we investigate cross-modal skill injection across three main aspects: scenarios, methods, and hyperparameters. For scenarios, we find that cross-modal skill injection generally performs well in instruction-following and cross-lingual settings, yet struggles with mathematical reasoning. For methods, we find that classic approaches such as TA and DARE consistently achieve superior performance over alternative merging methods. We also provide a systematic and quantitative analysis of the hyperparameter tuning that these classic methods critically depend on.
• Abstract（参考訳）: VLM(Vision-Language Models)は、一般的なマルチモーダル理解において顕著な熟練度を示してきたが、進化を続けるドメイン固有スキルを効率的に獲得するのは難しい。 Supervised Fine-Tuning (SFT) のような従来のVLM機能向上へのアプローチでは、広範なデータセットのキュレーションと相当な計算資源が必要である。 モデルマージは、より大きな言語モデル(LLM)からVLMへのドメイン固有の専門知識の移行を、追加のトレーニングデータ要求や計算オーバーヘッドを発生させることなく、効率的な代替手段として登場した。 従来の同種LDMの融合とは異なり、クロスモーダルスキルインジェクションはドメインエキスパートLSMをVLMに統合することで、創発的クロスモーダル能力を誘導することを目的としている。 しかし,既存研究では,クロスモーダル・スキル・インジェクションの適用性や方法論の体系的分析が欠如している。 本研究では,シナリオ,メソッド,ハイパーパラメータの3つの側面にわたるクロスモーダル・スキル・インジェクションについて検討する。 シナリオでは、クロスモーダルなスキルインジェクションは一般的に命令追従や言語間セッティングにおいてよく機能するが、数学的推論では困難である。 提案手法では,TAやDAREといった古典的手法が,代替マージ手法よりも優れた性能を実現している。 また、これらの古典的手法が批判的に依存するハイパーパラメータチューニングの体系的および定量的解析も提供する。

関連論文リスト

• Unlocking the Forgery Detection Potential of Vanilla MLLMs: A Novel Training-Free Pipeline [5.740204096484276]
  画像偽造解析に適した訓練不要MLLMベースのパイプラインであるForeseeを提案する。 Foreseeはタイププライア駆動の戦略を採用し、コピー-ムーブ操作を処理するためにFlexible Feature Detectorモジュールを使用している。 提案手法は,より優れた局所化精度を実現し,より包括的なテキスト説明を提供する。
  論文  参考訳（メタデータ） (2025-11-17T14:49:57Z)
• Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
  本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。 古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。 コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
  論文  参考訳（メタデータ） (2025-07-21T10:52:14Z)
• Advances in LLMs with Focus on Reasoning, Adaptability, Efficiency and Ethics [0.46174569259495524]
  本稿では,Large Language Models(LLMs)の分野における重要な展開について概説する。 人間と機械のコミュニケーションのギャップを埋めるのに最も効果的なテクニックには、Chain-of-Thought prompting、Instruction Tuning、Reinforcement Learning from Human Feedbackなどがある。 効率性、スケーリング戦略、最適化テクニック、および影響力のあるMixture-of-Experts(MoE)アーキテクチャについて、重要な焦点が当てられている。
  論文  参考訳（メタデータ） (2025-06-14T05:55:19Z)
• MLLM-CL: Continual Learning for Multimodal Large Language Models [39.19456474036905]
  ドメインと能力の連続学習を含む新しいベンチマークであるMLLM-CLを紹介する。 本稿では,パラメータ分離とMLLMに基づくルーティング機構による破滅的干渉を防止することを提案する。 我々のアプローチは、ドメイン固有の知識と機能的能力とを最小限の忘れ込みで統合することができ、既存の手法よりもはるかに優れています。
  論文  参考訳（メタデータ） (2025-06-05T17:58:13Z)
• LLMs Can Evolve Continually on Modality for X-Modal Reasoning [62.2874638875554]
  既存の手法は、モーダル固有の事前訓練とジョイント・モーダルチューニングに大きく依存しており、新しいモーダルへと拡張する際の計算上の負担が大きくなった。 PathWeaveは、Modal-Path sWitchingとExpAnsion機能を備えた柔軟でスケーラブルなフレームワークである。 PathWeaveは最先端のMLLMと互換性があり、パラメータトレーニングの負担を98.73%削減する。
  論文  参考訳（メタデータ） (2024-10-26T13:19:57Z)
• Solution-oriented Agent-based Models Generation with Verifier-assisted Iterative In-context Learning [10.67134969207797]
  エージェントベースのモデル(ABM)は、仮説的な解決策やポリシーの提案と検証に不可欠なパラダイムである。 大きな言語モデル(LLM)は、ドメイン間の知識とプログラミング能力をカプセル化することで、このプロセスの難しさを軽減できる可能性がある。 SAGEは、ターゲット問題に対する自動モデリングおよびソリューション生成のために設計された、汎用的なソリューション指向のABM生成フレームワークである。
  論文  参考訳（メタデータ） (2024-02-04T07:59:06Z)
• LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
  本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。 我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。 本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-06-11T14:01:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。