論文の概要: Curvature-Guided Mixing for MLLM Adaptation

• arxiv url: http://arxiv.org/abs/2606.24963v1
• Date: Tue, 23 Jun 2026 09:21:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 17:05:30.072906
• Title: Curvature-Guided Mixing for MLLM Adaptation
• Title（参考訳）: MLLM適応のための曲率ガイドミキシング
• Authors: Jinglong Yang, Jiaxuan He, Wenjian Huang, Zhan Zhuang, Jianguo Zhang,
• Abstract要約: 本稿では,事前学習モデルと微調整モデルとを融合する理論的基盤を持つフレームワークであるCurvature Mixing (CGM)を提案する。 CGMは共同最適化目標を定式化し、ロスランドスケープの2階近似を用いて最適で閉じた「ソフトミキシング」比を解析的に導出する。 CGM$dagger$は、新しい曲率対応スコアで導かれるスパースパラメータ選択を行う頑健な「ハードミキシング」変種である。
• 参考スコア（独自算出の注目度）: 13.796698666991938
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning Multimodal Large Language Models (MLLMs) on specialized tasks often leads to catastrophic forgetting of their general capabilities. Existing model merging methods to combat this are often heuristic or use sub-optimal objectives. We propose CurvatureGuided Mixing (CGM), a theoretically grounded framework that merges pre-trained and fine-tuned models. CGM formulates a joint optimization objective and uses a second-order (Hessian) approximation of the loss landscapes to analytically derive an optimal, closed-form "soft mixing" ratio. This ratio intelligently blends parameters based on their relative task-specific curvatures. We also introduce CGM$\dagger$, a robust "hard mixing" variant that performs sparse parameter selection guided by a novel, curvature-aware score. Experiments on LLaVA-1.5 and Qwen2.5VL across multiple downstream tasks show that CGM and CGM$\dagger$ consistently improve the trade-off between task specialization and general knowledge retention over existing methods. Code is available at github.com/zzsyjl/CGM-ECCV-2026.
• Abstract（参考訳）: 特殊タスクを微調整するマルチモーダル大言語モデル(MLLM)は、しばしばその一般的な能力を壊滅的に忘れてしまう。 これに対抗する既存のモデルマージ手法は、しばしばヒューリスティックまたは準最適目的を使用する。 CGM(CurvatureGuided Mixing, CurvatureGuided Mixing)は、事前学習されたモデルと微調整されたモデルを統合する理論的な基盤となるフレームワークである。 CGMは共同最適化目標を定式化し、ロスランドスケープの2階近似を用いて最適で閉じた「ソフトミキシング」比を解析的に導出する。 この比率は、相対的なタスク固有の曲率に基づいて、パラメータをインテリジェントにブレンドする。 CGM$\dagger$は、新しい曲率対応スコアで導かれるスパースパラメータ選択を行う頑健な「ハードミキシング」変種である。 複数のダウンストリームタスクにわたるLLaVA-1.5とQwen2.5VLの実験により、CGMとCGM$\dagger$は、タスクの専門化と既存のメソッドに対する一般的な知識保持とのトレードオフを一貫して改善している。 コードはgithub.com/zzsyjl/CGM-ECCV-2026で入手できる。

関連論文リスト

• Enhancing Delta Compression in LLMs via SVD-based Quantization Error Minimization [18.037215883638535]
  我々は、特異値分解空間における量子化誤差を最小限に抑えるための適応型混合精度デルタ圧縮フレームワークであるDeltaMixを紹介する。 DeltaMixは、AIME2024やGQAといったタスクのベースラインメソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-06-05T08:17:12Z)
• RGM: A Robust Generalizable Matching Model [49.60975442871967]
  RGM(Robust Generalist Matching)と呼ばれる疎密マッチングのための深部モデルを提案する。 合成トレーニングサンプルと実世界のシナリオのギャップを狭めるために、我々は、疎対応基盤真理を持つ新しい大規模データセットを構築した。 さまざまな密集したスパースなデータセットを混ぜ合わせることができ、トレーニングの多様性を大幅に改善しています。
  論文  参考訳（メタデータ） (2023-10-18T07:30:08Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• On MCMC for variationally sparse Gaussian processes: A pseudo-marginal approach [0.76146285961466]
  ガウス過程(GP)は、機械学習や統計学において強力なモデルを構築するために頻繁に用いられる。 本稿では,2重推定器による確率と大規模データセットの正確な推測と計算的ゲインを提供する擬似マージナル(PM)方式を提案する。
  論文  参考訳（メタデータ） (2021-03-04T20:48:29Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)
• Adversarially-learned Inference via an Ensemble of Discrete Undirected Graphical Models [3.04585143845864]
  我々は、無限大のグラフィカルモデル(AGM)のアンサンブルを生成する推論非依存の敵対的トレーニングフレームワークを提案する。 AGMは、GibsNetやVAEACといったディープニューラルネットワークと同様に、EGMと比較して、目に見えない推論タスクに対して、はるかに優れた一般化を示している。
  論文  参考訳（メタデータ） (2020-07-09T19:13:36Z)
• On the benefits of defining vicinal distributions in latent space [20.249590931872568]
  MT(Mixup Training)は、トレーニング例間のグローバルな線形挙動を導入し、モデルの一般化性能を向上させる。 我々は、データに基づく潜在多様体を用いて、混合画像をよりよくサンプリングするための新しいアプローチである textitVarMixup (Variational Mixup) を提案する。 CIFAR-10, CIFAR-100, Tiny-ImageNet に関する実証研究により, VAE が学習した潜伏多様体の混合により訓練されたモデルは, 本質的に様々な入力の破損/摂動に対してより堅牢であり, 校正精度が著しく向上し, 局所的な損失景観がより顕著であることを示した。
  論文  参考訳（メタデータ） (2020-03-14T06:45:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。