論文の概要: Strong Helps Weak: Directional Cross-Modal Alignment Transfer in Multi-modal LLMs

• arxiv url: http://arxiv.org/abs/2610.04580v1
• Date: Sat, 03 Oct 2026 15:15:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 18:40:07.154747
• Title: Strong Helps Weak: Directional Cross-Modal Alignment Transfer in Multi-modal LLMs
• Title（参考訳）: 強ヘルプの弱さ:多モードLDMにおける方向交叉アライメント伝達
• Abstract要約: マルチモーダル大言語モデル(MLLM)は,大言語モデル(LLM)と目標モダリティのエンコーダをペアリングすることにより,強力なモダリティ理解を実現する。 モデルマージは代替手段を提供するが、多くの場合、データスカース、大きなサンプル単位のサイズ、ドメイン固有のモダリティには適用できない。 我々は、データに富んだソース・モダリティMLLMをデータ・スカースなターゲット・モダリティMLLMにマージするという、興味深い非対称現象を特徴付ける。
• 参考スコア（独自算出の注目度）: 31.249002844758863
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multi-modal large language models (MLLMs) achieve strong modality understanding by pairing a large language model (LLM) with an encoder for a target modality such as vision, video, or audio. However, improving an MLLM's capability for a given modality typically requires additional training on large modality-specific datasets, incurring substantial data collection and compute costs. Model merging offers an alternative, but it is often infeasible for data-scarce, large per-sample size, or domain-specific modalities (\textit{e.g.}, audio and video), where same-modality model variants are rarely available. In this work, we characterize an intriguing asymmetric phenomenon: merging a well-aligned, data-rich source-modality MLLM into a data-scarce target-modality MLLM substantially improves the target on its own benchmarks. Our theoretical and empirical analyses show that this gain stems from enhanced alignment between modality-specific and textual tokens, induced by the stronger donor modality. Specifically, we derive a mutual-information lower bound that is monotonic in alignment-related quantities and strongly correlated with downstream MLLM performance. Building on this principle, we propose Directional Cross-modal Alignment Transfer (DCAT), a novel framework that transfers textual alignment from a strong, well-aligned source (donor) modality to a weak target (recipient) modality, boosting target-modality performance without further fine-tuning. We further show that the alignment-enhancing objective admits a closed-form weight-space solution computed from only a small calibration set. DCAT outperforms existing model-merging methods, offering an efficient path toward cross-modal alignment transfer. Project page with code is available at \url{https://seohoiki3215.github.io/DCAT_project_page}
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)は、視覚、ビデオ、オーディオなどのターゲットモーダルのためのエンコーダと大きな言語モデル(LLM)をペアリングすることで、強力なモーダル理解を実現する。 しかし、与えられたモダリティに対するMLLMの能力を改善するには、通常、大きなモダリティ固有のデータセットに関する追加のトレーニングが必要で、かなりのデータ収集と計算コストが発生する。 モデルマージは代替手段を提供するが、しばしばデータスカース、大きなサンプル単位のサイズ、ドメイン固有のモダリティ(\textit{e g }、オーディオとビデオ)には適用できない。 本研究では,データに整合したデータリッチなソース・モダリティMLLMをデータスカースなターゲット・モダリティMLLMにマージすることで,自身のベンチマークでターゲットを著しく改善する,興味深い非対称現象を特徴付ける。 我々の理論的および実証的な分析により、この利得は、より強いドナーモダリティによって引き起こされる、モダリティ固有のトークンとテキストトークンのアライメントの強化に由来することが示されている。 具体的には、アライメント関連量で単調な相互情報下界を導出し、下流MLLMの性能と強く相関する。 本原理に基づいて, 指向性クロスモーダルアライメント・トランスファー (DCAT) を提案する。このフレームワークは, テキストアライメントを強く, 整列したソース(ドナー)のモダリティから弱いターゲット(ドナー)のモダリティへ変換し, 目標モダリティ性能をさらに微調整することなく向上する。 さらに、アライメントエンハンシングの目的は、小さなキャリブレーションセットのみから計算された閉形式の重み空間解を許容することを示す。 DCATは既存のモデルマージ手法より優れており、クロスモーダルアライメント転送への効率的な経路を提供する。 コード付きプロジェクトページは \url{https://seohoiki3215.github.io/DCAT_project_page} で公開されている。

関連論文リスト

• Where to Place the Query? Unveiling and Mitigating Positional Bias in In-Context Learning for Diffusion LLMs via Decoding Dynamics [5.345984783628041]
  本稿では,クエリ位置が実際にdLLMの1次変数であることを示す包括的解析について述べる。 本稿では,反復復号プロセスを追跡する新しいメトリクスである平均信頼度(overlineC$)を提案する。 基礎となる空間的ICLベースラインを確立することにより、トレーニング不要な適応ルーティング戦略であるAuto-ICLを導入する。
  論文  参考訳（メタデータ） (2026-04-26T20:22:47Z)
• PivotMerge: Bridging Heterogeneous Multimodal Pre-training via Post-Alignment Model Merging [80.17966517536102]
  マルチモーダル大規模言語モデルの事前学習の核心は、効果的なクロスモーダルアライメントの確立にあると論じる。 この知見に触発されて,マルチモーダル事前学習から学んだクロスモーダルアライメント機能を統合することを目的とした,アライメント後のマージタスクを導入する。 クロスモーダルプロジェクタのためのアライメント後マージフレームワークであるPivotMergeを提案する。
  論文  参考訳（メタデータ） (2026-04-18T09:38:03Z)
• Beyond Unimodal Shortcuts: MLLMs as Cross-Modal Reasoners for Grounded Named Entity Recognition [51.68340973140949]
  GMNER(Multimodal Named Entity Recognition)は、テキストベースのエンティティを抽出し、セマンティックカテゴリを割り当て、それらを対応する視覚領域に接地することを目的としている。 MLLMは、視覚バイアスやテキストバイアスを含む$textbfmodality bias$を示す。 本稿では,モダリティを考慮した一貫性推論(bfMCR$)を提案する。
  論文  参考訳（メタデータ） (2026-02-04T12:12:49Z)
• Sample-efficient Integration of New Modalities into Large Language Models [48.81776019848246]
  マルチモーダル基礎モデルはいくつかのモダリティを処理できる。 本稿では,大規模言語モデルへのサンプル効率改善手法を提案する。 SEMIは、新しいモダリティを数秒で統合することで、サンプル効率を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2025-09-04T18:41:59Z)
• DeepMEL: A Multi-Agent Collaboration Framework for Multimodal Entity Linking [18.8210909297317]
  Multimodal Entity Linkingは、テキストとビジュアルの言及と、マルチモーダルな知識グラフのエンティティを関連付けることを目的としている。 現状の手法では、不完全文脈情報、粗いクロスモーダル融合、共同言語モデル(LLM)と大規模視覚モデル(LVM)の難しさといった課題に直面している。 マルチエージェント協調推論に基づく新しいフレームワークであるDeepMELを提案する。
  論文  参考訳（メタデータ） (2025-08-21T11:24:26Z)
• Leveraging Importance Sampling to Detach Alignment Modules from Large Language Models [48.15777554876988]
  伝統的なアライメント手法では、しばしば大きな事前訓練されたモデルを再訓練する必要がある。 本稿では,アライメント処理を重要サンプリングの一種として形式化する新しいtextitResidual Alignment Model (textitRAM) を提案する。 本稿では,トークンレベルの復号化を反復的に行う再サンプリングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2025-05-26T08:53:02Z)
• LLMs Can Evolve Continually on Modality for X-Modal Reasoning [62.2874638875554]
  既存の手法は、モーダル固有の事前訓練とジョイント・モーダルチューニングに大きく依存しており、新しいモーダルへと拡張する際の計算上の負担が大きくなった。 PathWeaveは、Modal-Path sWitchingとExpAnsion機能を備えた柔軟でスケーラブルなフレームワークである。 PathWeaveは最先端のMLLMと互換性があり、パラメータトレーニングの負担を98.73%削減する。
  論文  参考訳（メタデータ） (2024-10-26T13:19:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。