論文の概要: PivotMerge: Bridging Heterogeneous Multimodal Pre-training via Post-Alignment Model Merging

• arxiv url: http://arxiv.org/abs/2604.22823v1
• Date: Sat, 18 Apr 2026 09:38:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:06.961231
• Title: PivotMerge: Bridging Heterogeneous Multimodal Pre-training via Post-Alignment Model Merging
• Title（参考訳）: PivotMerge:ポストアライメントモデルマージによる不均一なマルチモーダル事前トレーニング
• Authors: Zibo Shao, Baochen Xiong, Xiaoshan Yang, Yaguang Song, Qimeng Zhang, Haifeng Chen, Changsheng Xu,
• Abstract要約: マルチモーダル大規模言語モデルの事前学習の核心は、効果的なクロスモーダルアライメントの確立にあると論じる。 この知見に触発されて,マルチモーダル事前学習から学んだクロスモーダルアライメント機能を統合することを目的とした,アライメント後のマージタスクを導入する。 クロスモーダルプロジェクタのためのアライメント後マージフレームワークであるPivotMergeを提案する。
• 参考スコア（独自算出の注目度）: 80.17966517536102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Large Language Models (MLLMs) rely on multimodal pre-training over diverse data sources, where different datasets often induce complementary cross-modal alignment capabilities. Model merging provides a cost-effective mechanism for integrating multiple expert MLLMs with complementary strengths into a unified model. However, existing model merging research mainly focuses on post-finetuning scenarios, leaving the pre-training stage largely unexplored. We argue that the core of MLLM pre-training lies in establishing effective cross-modal alignment, which bridges visual and textual representations into a unified semantic space. Motivated by this insight, we introduce the post-alignment merging task, which aims to integrate cross-modal alignment capabilities learned from heterogeneous multimodal pre-training. This setting introduces two key challenges: cross-domain parameter interference, where parameter updates learned from different data distributions conflict during merging, and layer-wise alignment contribution disparity, where different layers and projectors contribute unevenly to cross-modal alignment. To address them, we propose \textbf{PivotMerge}, a post-alignment merging framework for cross-modal projectors. PivotMerge incorporates two key components: Shared-space Decomposition and Filtering, which disentangles shared alignment patterns from domain-specific variations and suppresses conflicting directions, and Alignment-guided Layer-wise Merging, which assigns layer-specific merging weights based on differing alignment contributions. We construct systematic CC12M-based post-alignment merging scenarios for evaluation. Extensive experiments on multiple multimodal benchmarks show that PivotMerge consistently outperforms existing baselines, demonstrating its effectiveness and generalization ability.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、さまざまなデータソースに対するマルチモーダル事前トレーニングに依存している。 モデルマージは、複数の専門家MLLMと相補的な強みを統一モデルに統合するための費用対効果のメカニズムを提供する。 しかし、既存のモデル統合の研究は、主にファインタニング後のシナリオに焦点を当てており、事前学習段階はほとんど探索されていない。 MLLM事前学習のコアは、視覚的およびテキスト的表現を統一的な意味空間にブリッジする効果的なクロスモーダルアライメントを確立することである、と我々は主張する。 この知見に触発されて、異種マルチモーダル事前学習から学んだクロスモーダルアライメント機能を統合することを目的とした、アライメント後のマージタスクを導入する。 この設定では、異なるデータ分散から学んだパラメータ更新がマージ時に競合するクロスドメインパラメータ干渉と、異なるレイヤとプロジェクタがクロスモーダルアライメントに不均一に寄与するレイヤワイドアライメントコントリビューションの相違という2つの主要な課題が紹介されている。 そこで我々は, クロスモーダルプロジェクタのためのポストアライメント統合フレームワークである \textbf{PivotMerge} を提案する。 PivotMergeには2つの重要なコンポーネントが含まれている。共有空間分解とフィルタリングで、ドメイン固有のバリエーションから共有アライメントパターンを分離し、矛盾する方向を抑える。 我々は,CC12Mに基づく系統的なアライメント後マージシナリオを構築し,評価を行った。 複数のマルチモーダルベンチマークでの大規模な実験により、PivotMergeは既存のベースラインを一貫して上回り、その有効性と一般化能力を示している。

関連論文リスト

• Chain of Modality: From Static Fusion to Dynamic Orchestration in Omni-MLLMs [84.3271821505699]
  カオス・オブ・モダリティ(Chain of Modality, CoM)は、マルチモーダル融合を受動的結合から動的オーケストレーションに移行するエージェントフレームワークである。 CoMはトレーニングフリーまたはデータ効率のSFT設定で動作し、様々なベンチマークで堅牢で一貫した一般化を実現する。
  論文  参考訳（メタデータ） (2026-04-16T01:21:14Z)
• Bridging Domains through Subspace-Aware Model Merging [27.981999508897847]
  モデルマージは複数のタスク固有のモデルを単一の統合モデルに統合する。 最近の研究は、分散やマルチタスクのシナリオにおけるマージ性能の改善に進歩している。 異なる領域に微調整されたモデルが、目に見えない領域への一般化にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2026-03-06T00:04:24Z)
• Model Merging in the Essential Subspace [78.5390284258307]
  モデルマージは、複数のタスク固有の細調整されたモデルを、追加のトレーニングなしで単一のマルチタスクモデルに統合することを目的としている。 広範囲の研究にもかかわらず、タスク干渉は依然として大きな障害であり、しばしば統合されたモデルの性能を損なう。 効率的なモデルマージのための堅牢なフレームワークであるESM(Essential Subspace Merging)を提案する。
  論文  参考訳（メタデータ） (2026-02-23T00:33:38Z)
• Bridging Modalities via Progressive Re-alignment for Multimodal Test-Time Adaptation [39.02105398462778]
  テスト時間適応(TTA)は、未ラベルのテストデータのみを使用したオンラインモデル適応を可能にする。 マルチモーダルのシナリオでは、異なるモダリティをまたいだ分布の度合いの変化は複雑なカップリング効果をもたらす。 本稿では,BriMPR(Progressive Re-alignment)によるブリッジングモダリティ( Bridging Modalities)と呼ばれる新しいTTAフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-28T03:33:42Z)
• UniAlignment: Semantic Alignment for Unified Image Generation, Understanding, Manipulation and Perception [54.53657134205492]
  UniAlignmentは単一の拡散変換器内での統一されたマルチモーダル生成フレームワークである。 固有モード意味アライメントとクロスモーダル意味アライメントの両方を組み込むことで、モデルのクロスモーダル一貫性と命令追従ロバスト性を高める。 本稿では、複雑なテキスト命令下でのマルチモーダルなセマンティック一貫性を評価するために設計された新しいベンチマークであるSemGen-Benchを紹介する。
  論文  参考訳（メタデータ） (2025-09-28T09:11:30Z)
• Distilling Transitional Pattern to Large Language Models for Multimodal Session-based Recommendation [67.84581846180458]
  セッションベースのレコメンデーション(SBR)は、匿名セッションに基づいて次の項目を予測する。 近年のMultimodal SBR法は、モダリティ学習に単純化された事前学習モデルを用いるが、セマンティック・リッチネスに制限がある。 蒸留パラダイムを拡張し,MSBRの促進のための遷移パターンを分離・整合させる多モードLCM拡張フレームワークTPADを提案する。
  論文  参考訳（メタデータ） (2025-04-13T07:49:08Z)
• AsymLoRA: Harmonizing Data Conflicts and Commonalities in MLLMs [5.018961516699825]
  AsymLoRAは、知識のモジュール化と相互調整を統一するパラメータ効率のチューニングフレームワークである。 AsymLoRAは、共通点のみを捉えたバニラLoRAと、紛争のみに焦点を当てたLoRA-MoEの両方を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-02-27T12:21:02Z)
• Distributional Vision-Language Alignment by Cauchy-Schwarz Divergence [83.15764564701706]
  本稿では、コーシーシュワルツの発散を相互情報と統合して視覚言語アライメントを行う新しいフレームワークを提案する。 CS分散はInfoNCEのアライメント・ユニフォーム性競合にシームレスに対処し,InfoNCEと補完的な役割を担っていることがわかった。 テキスト・画像生成およびモダリティ横断検索タスクの実験により,本手法が視覚言語アライメントに与える影響を実証した。
  論文  参考訳（メタデータ） (2025-02-24T10:29:15Z)
• Understanding Alignment in Multimodal LLMs: A Comprehensive Study [46.33812471516309]
  マルチモーダル大言語モデル(MLLM)における嗜好アライメントのそれぞれの側面を解析する。 オフライン手法とオンライン手法を組み合わせることで,特定のシナリオにおけるモデルの性能が向上することを示す。 BDHS(Bias-Driven Hallucination Smpling)と呼ばれる,マルチモーダルな嗜好データ作成手法を提案する。
  論文  参考訳（メタデータ） (2024-07-02T17:55:03Z)
• Abstractive Sentence Summarization with Guidance of Selective Multimodal Reference [3.505062507621494]
  モーダル間の相互関係を考慮したマルチモーダル階層選択変換器(mhsf)モデルを提案する。 提案したmhsfモデルの汎用性を,事前学習+微調整および新鮮トレーニング戦略を用いて評価した。
  論文  参考訳（メタデータ） (2021-08-11T09:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。