論文の概要: Tracing and Coordinating Cross-Layer Influence for Multimodal Model Merging

• arxiv url: http://arxiv.org/abs/2609.12897v1
• Date: Fri, 11 Sep 2026 14:24:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.774056
• Title: Tracing and Coordinating Cross-Layer Influence for Multimodal Model Merging
• Title（参考訳）: マルチモーダルモデルマージにおけるクロスレイアのトレーシングとコーディネートの影響
• Abstract要約: マルチモーダルモデルのマージは、タスクエキスパートを補完機能を保持する単一のモデルに統合することを目的としている。 ほとんどの単調なモデルマージ手法は個々のレイヤ内で専門家の更新を組み合わせており、マルチモーダルアプローチはこの設計に大きく従っている。 マルチモーダルモデルマージにおける層間影響のトレースとコーディネートのためのTAC-Mergeを提案する。
• 参考スコア（独自算出の注目度）: 6.356544634679287
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal model merging aims to consolidate task experts into a single model that retains their complementary capabilities. Most unimodal model merging methods combine expert updates within individual layers, and multimodal approaches largely follow this design. However, an expert update changes the representations passed to subsequent layers, allowing its influence to propagate across depth and affect how visual and textual information interact. When visual and language updates are combined, later updates act on inputs already modified by earlier ones, coupling their effects. This poses two challenges: (1) how to characterize the multimodal influence of individual expert updates across depth, and (2) how to jointly combine expert updates based on their multimodal influence. To address these challenges, we propose TAC-Merge for tracing and coordinating cross-layer influence in multimodal model merging. It contains two modules, i.e., multimodal influence mapping (MIM) and coupled merge control (CMC). MIM constructs graphs of update effects and uses Ricci curvature together with expert predictions to define a shared fusion objective. CMC models interactions among coefficient adjustments and jointly optimizes regional weights to synthesize one shared model. Experiments across diverse multimodal tasks demonstrate the effectiveness of TAC-Merge in consolidating complementary expert capabilities and supporting generalization to unseen tasks.
• Abstract（参考訳）: マルチモーダルモデルのマージは、タスクエキスパートを補完機能を保持する単一のモデルに統合することを目的としている。 ほとんどの単調なモデルマージ手法は個々のレイヤ内で専門家の更新を組み合わせており、マルチモーダルアプローチはこの設計に大きく従っている。 しかし、専門家の更新では、後続のレイヤに渡される表現が変更され、その影響は奥行きを越えて伝播し、視覚情報とテキスト情報の相互作用に影響を及ぼす。 視覚的および言語的な更新が組み合わされると、後続の更新は、以前の更新で修正済みのインプットに作用し、それらの効果を結合する。 この課題は,(1)専門家の個別更新のマルチモーダルな影響を,(2)専門家のマルチモーダルな影響に基づいて共同で組み合わせる方法について,である。 これらの課題に対処するために,マルチモーダルモデルマージにおける層間影響の追跡とコーディネートのためのTAC-Mergeを提案する。 マルチモーダル・インフルエンス・マッピング(MIM)と結合マージ・コントロール(CMC)の2つのモジュールを含んでいる。 MIMは更新効果のグラフを構築し、専門家の予測とともにリッチ曲率を用いて共有融合目標を定義する。 CMCモデルは係数調整間の相互作用をモデル化し、地域重みを共同最適化して1つの共有モデルを合成する。 多様なマルチモーダルタスクに対する実験は、相補的専門家能力の統合と、目に見えないタスクへの一般化支援におけるTAC-Mergeの有効性を示す。

関連論文リスト

• PivotMerge: Bridging Heterogeneous Multimodal Pre-training via Post-Alignment Model Merging [80.17966517536102]
  マルチモーダル大規模言語モデルの事前学習の核心は、効果的なクロスモーダルアライメントの確立にあると論じる。 この知見に触発されて,マルチモーダル事前学習から学んだクロスモーダルアライメント機能を統合することを目的とした,アライメント後のマージタスクを導入する。 クロスモーダルプロジェクタのためのアライメント後マージフレームワークであるPivotMergeを提案する。
  論文  参考訳（メタデータ） (2026-04-18T09:38:03Z)
• Reconstructing Content via Collaborative Attention to Improve Multimodal Embedding Quality [59.651410243721045]
  CoCoAは、マルチモーダル埋め込み最適化のための協調注意に基づくコンテンツ再構成事前学習パラダイムである。 EOSをベースとした再構築タスクを導入し、対応するEOS>埋め込みからの入力を再構成するようモデルに促す。 MMEB-V1の実験では、Qwen2-VLとQwen2.5-VLをベースにしたCoCoAが埋め込み品質を著しく向上することを示した。
  論文  参考訳（メタデータ） (2026-03-02T05:34:45Z)
• Cross-Modal Alignment via Variational Copula Modelling [54.25504956780864]
  複数のモーダルから様々な情報を集約するマルチモーダル学習手法を開発することが不可欠である。 既存の方法は主に連結やクロネッカー積に依存し、モジュラリティ間の相互作用構造を単純化する。 そこで本研究では,様々なモーダルの連成分布の学習に焦点を当てた,コプラ駆動型マルチモーダル学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-05T05:28:28Z)
• Graph4MM: Weaving Multimodal Learning with Structural Information [52.16646463590474]
  グラフは、モーダル内およびモーダル間関係をモデル化するための強力な構造情報を提供する。 それまでの作業では、マルチホップの隣人を区別できず、グラフをスタンドアローンのモダリティとして扱う。 グラフベースのマルチモーダル学習フレームワークであるGraph4MMを提案する。
  論文  参考訳（メタデータ） (2025-10-19T20:13:03Z)
• MANGO: Multimodal Attention-based Normalizing Flow Approach to Fusion Learning [12.821814562210632]
  本稿では,マルチモーダルアテンションに基づく正規化フロー(MANGO)アプローチを提案する。 マルチモーダルデータのための正規化フローベースモデルを開発するために,新しい非可逆クロスアテンション層を提案する。 また,MMCA(Modality-to-Modality Cross-Attention),IMCA(Inter-Modality Cross-Attention),ICA(Learable Inter-Modality Cross-Attention)の3つの新しいクロスアテンション機構を導入する。
  論文  参考訳（メタデータ） (2025-08-13T18:56:57Z)
• MultiSHAP: A Shapley-Based Framework for Explaining Cross-Modal Interactions in Multimodal AI Models [5.011371514152517]
  マルチモーダルAIモデルは、視覚や言語など、複数のモーダルからの情報の統合を必要とするタスクにおいて、目覚ましいパフォーマンスを達成した。 マルチモーダルAIモデルにおけるクロスモーダルインタラクションを説明するには、依然として大きな課題である。
  論文  参考訳（メタデータ） (2025-08-01T12:19:18Z)
• Co-AttenDWG: Co-Attentive Dimension-Wise Gating and Expert Fusion for Multi-Modal Offensive Content Detection [0.0]
  マルチモーダル学習は重要な研究の方向性として浮上している。 既存のアプローチは、しばしばクロスモーダル相互作用の不足と固い融合戦略に悩まされる。 本稿では,Co-AttenDWGを提案する。 我々は,Co-AttenDWGが最先端性能と優れたクロスモーダルアライメントを実現することを示す。
  論文  参考訳（メタデータ） (2025-05-25T07:26:00Z)
• Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
  そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。 具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。 マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
  論文  参考訳（メタデータ） (2024-05-18T12:16:01Z)
• NativE: Multi-modal Knowledge Graph Completion in the Wild [51.80447197290866]
  本研究では,MMKGCを実現するための包括的フレームワークNativEを提案する。 NativEは、任意のモダリティに対して適応的な融合を可能にするリレーショナル誘導デュアルアダプティブフュージョンモジュールを提案する。 提案手法を評価するために,5つのデータセットを用いたWildKGCという新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-03-28T03:04:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。