論文の概要: Fine-tuning MLLMs Without Forgetting Is Easier Than You Think

• arxiv url: http://arxiv.org/abs/2603.14493v1
• Date: Sun, 15 Mar 2026 17:16:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 16:19:35.847681
• Title: Fine-tuning MLLMs Without Forgetting Is Easier Than You Think
• Title（参考訳）: 忘れることなく微調整するMLLMは、想像より簡単
• Authors: He Li, Yuhui Zhang, Xiaohan Wang, Kaifeng Lyu, Serena Yeung-Levy,
• Abstract要約: 分布内および分布外画像およびテキスト入力のモデル性能を評価するための2x2実験フレームワークを設計する。 その結果、トレーニング可能なパラメータの数を制限したり、低学習率を採用するなど、適切な正規化が、アウト・オブ・ディストリビューション・イメージを扱う際の忘れを効果的に防止できることが示唆された。 我々は、このことをタスク固有のオーバーフィッティングとみなし、データハイブリッドトレーニング戦略を導入することでこの問題に対処する。
• 参考スコア（独自算出の注目度）: 72.59321247529975
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The paper demonstrate that simple adjustments of the fine-tuning recipes of multimodal large language models (MLLM) are sufficient to mitigate catastrophic forgetting. On visual question answering, we design a 2x2 experimental framework to assess model performance across in-distribution and out-of-distribution image and text inputs. Our results show that appropriate regularization, such as constraining the number of trainable parameters or adopting a low learning rate, effectively prevents forgetting when dealing with out-of-distribution images. However, we uncover a distinct form of forgetting in settings with in-distribution images and out-of-distribution text. We attribute this forgetting as task-specific overfitting and address this issue by introducing a data-hybrid training strategy that combines datasets and tasks. Finally, we demonstrate that this approach naturally extends to continual learning, outperforming existing methods with complex auxiliary mechanisms. In general, our findings challenge the prevailing assumptions by highlighting the inherent robustness of MLLMs and providing practical guidelines for adapting them while preserving their general capabilities.
• Abstract（参考訳）: 本稿では,マルチモーダル大規模言語モデル(MLLM)の微調整法を簡易に調整することで,破滅的な忘れを軽減できることを実証する。 視覚的質問応答では、分布内および分布外画像およびテキスト入力間のモデル性能を評価するための2x2実験フレームワークを設計する。 その結果、トレーニング可能なパラメータの数を制限したり、低学習率を採用するなど、適切な正規化が、アウト・オブ・ディストリビューション・イメージを扱う際の忘れを効果的に防止できることが示唆された。 しかし,非分配画像とアウト・オブ・ディストリビューションテキストを用いて,異なる形態の忘れ方を明らかにした。 私たちはこのことをタスク固有のオーバーフィッティングとみなし、データセットとタスクを組み合わせたデータハイブリッドトレーニング戦略を導入することでこの問題に対処しています。 最後に,本手法が継続的学習に自然に拡張され,複雑な補助機構を持つ既存手法よりも優れていることを示す。 一般論として,MLLMの本質的な堅牢性を強調し,汎用性を保ちながら適応するための実践的ガイドラインを提供することにより,一般的な仮定に挑戦する。

関連論文リスト

• A Visual Leap in CLIP Compositionality Reasoning through Generation of Counterfactual Sets [26.167194142428475]
  視覚言語モデル(VLM)は、高品質な画像テキストデータが不足しているため、しばしば構成的推論に苦しむ。 手動のアノテーションを使わずに反実データを自動的に生成するブロックベース拡散手法を提案する。 提案手法は,既存の手法に比べてトレーニングデータを大幅に少なくしながら,複数のベンチマークにまたがる最先端の結果を達成している。
  論文  参考訳（メタデータ） (2025-07-07T06:47:10Z)
• Diffusion Augmented Retrieval: A Training-Free Approach to Interactive Text-to-Image Retrieval [7.439049772394586]
  Diffusion Augmented Retrieval (DAR)は、複数の中間表現を生成するフレームワークである。 DARの結果は微調整されたI-TIRモデルと同等だが、チューニングオーバーヘッドは発生しない。
  論文  参考訳（メタデータ） (2025-01-26T03:29:18Z)
• Distributionally robust self-supervised learning for tabular data [4.172010719137041]
  エラースライスの存在下での堅牢な表現の学習は、高い濃度特徴とエラーセットの構築の複雑さのために困難である。 従来の堅牢な表現学習手法は、コンピュータビジョンにおける教師付き設定における最悪のグループパフォーマンスの改善に主に焦点をあてている。 提案手法は,Masked Language Modeling (MLM) の損失を学習したエンコーダ・デコーダモデルを用いて,頑健な潜在表現を学習する。
  論文  参考訳（メタデータ） (2024-10-11T04:23:56Z)
• Debiasing Multimodal Large Language Models via Penalization of Language Priors [38.97645845493758]
  MLLM(Multimodal Large Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 生成されたコンテンツは、入力画像よりも、基礎となるLarge Language Models (LLMs) の本質的な先行性によって駆動されることが多い。 本稿では、これらのバイアスを補正し、視覚情報に対するモデルの焦点をリダイレクトするための、単純でトレーニングのない2つの戦略を提案する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。