論文の概要: LLaCA: Multimodal Large Language Continual Assistant
- arxiv url: http://arxiv.org/abs/2410.10868v1
- Date: Tue, 08 Oct 2024 11:24:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-20 09:11:15.798583
- Title: LLaCA: Multimodal Large Language Continual Assistant
- Title(参考訳): LLaCA: マルチモーダル大規模言語継続アシスタント
- Authors: Jingyang Qiao, Zhizhong Zhang, Xin Tan, Yanyun Qu, Shouhong Ding, Yuan Xie,
- Abstract要約: MCIT(Multimodal Continual Instruction Tuning)は、MLLMにシーケンシャルデータセットにおける人間の意図に従うよう継続的に指示するために用いられる。
既存の勾配更新は、以前のデータセットのチューニング性能を著しく損なうことになる。
本稿では,この課題に対処するため,LLaCA (Multimodal Large Language Continual Assistant) という手法を提案する。
- 参考スコア(独自算出の注目度): 59.585544987096974
- License:
- Abstract: Instruction tuning guides the Multimodal Large Language Models (MLLMs) in aligning different modalities by designing text instructions, which seems to be an essential technique to enhance the capabilities and controllability of foundation models. In this framework, Multimodal Continual Instruction Tuning (MCIT) is adopted to continually instruct MLLMs to follow human intent in sequential datasets. We observe existing gradient update would heavily destroy the tuning performance on previous datasets and the zero-shot ability during continual instruction tuning. Exponential Moving Average (EMA) update policy owns the ability to trace previous parameters, which can aid in decreasing forgetting. However, its stable balance weight cannot deal with the ever-changing datasets, leading to the out-of-balance between plasticity and stability of MLLMs. In this paper, we propose a method called Multimodal Large Language Continual Assistant (LLaCA) to address the challenge. Starting from the trade-off prerequisite and EMA update, we propose the plasticity and stability ideal condition. Based on Taylor expansion in the loss function, we find the optimal balance weight is basically according to the gradient information and previous parameters. We automatically determine the balance weight and significantly improve the performance. Through comprehensive experiments on LLaVA-1.5 in a continual visual-question-answering benchmark, compared with baseline, our approach not only highly improves anti-forgetting ability (with reducing forgetting from 22.67 to 2.68), but also significantly promotes continual tuning performance (with increasing average accuracy from 41.31 to 61.89). Our code will be published soon.
- Abstract(参考訳): インストラクションチューニングは、基本モデルの能力と制御性を高めるために欠かせない技術であるように思われるテキスト命令を設計することで、異なるモダリティを整合させるためのMLLM(Multimodal Large Language Models)を導く。
このフレームワークでは、連続的なデータセットにおける人間の意図に従うようにMLLMに継続的に指示するために、MCIT(Multimodal Continual Instruction Tuning)が採用されている。
既存の勾配更新によって、前回のデータセットのチューニング性能と連続的なチューニングチューニング時のゼロショット能力が大幅に損なわれるのを観察する。
指数移動平均 (Exponential moving Average, EMA) 更新ポリシーは、過去のパラメータをトレースする機能を所有しており、忘れることを減らすのに役立つ。
しかし、その安定したバランスウェイトは、常に変化するデータセットに対処できないため、MLLMの可塑性と安定性のバランスが外れる。
本稿では,この課題に対処するため,LLaCA (Multimodal Large Language Continual Assistant) という手法を提案する。
トレードオフ前提条件とEMA更新から始めて,塑性と安定性の理想的な条件を提案する。
損失関数のテイラー展開に基づいて、最適バランスウェイトは基本的に勾配情報とそれ以前のパラメータに従っている。
我々は自動的にバランスウェイトを決定し、性能を大幅に改善する。
ベースラインと比較して,LLaVA-1.5の総合的な実験を通じて,提案手法はアンチフォッゲッティング能力(22.67から2.68に低下)を向上するだけでなく,継続チューニング性能(平均精度41.31から61.89に向上)を著しく向上させる。
私たちのコードはまもなく公開されるでしょう。
関連論文リスト
- Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。
トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。
広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
論文 参考訳(メタデータ) (2024-06-07T11:37:45Z) - HFT: Half Fine-Tuning for Large Language Models [42.60438623804577]
1つ以上の微調整フェーズを持つ大規模言語モデル(LLM)は、様々な機能をアンロックするために必要なステップとなっている。
本稿では,部分的パラメータを定期的にリセットすることで,LLMが元の知識の一部を復元できることを見出した。
本稿では,LLM 用ハーフファインチューニング (HFT) をフルファインチューニング (FFT) の代替として導入し,忘れる問題を緩和する。
論文 参考訳(メタデータ) (2024-04-29T07:07:58Z) - Model Tailor: Mitigating Catastrophic Forgetting in Multi-modal Large
Language Models [46.92994945808424]
マルチモーダル大言語モデル(MLLM)の微調整における破滅的忘れ込みの課題
本稿では,MLLMにおける破滅的忘れの包括的分析を行い,モデルタイラーと呼ばれるポストトレーニング調整手法を提案する。
論文 参考訳(メタデータ) (2024-02-19T11:02:05Z) - When Parameter-efficient Tuning Meets General-purpose Vision-language
Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。
実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文 参考訳(メタデータ) (2023-12-16T17:13:08Z) - Weighted Ensemble Models Are Strong Continual Learners [20.62749699589017]
本研究では,タスク列のモデル学習を目標とする連続学習(CL)の問題について検討する。
CLは基本的に、新しいタスクで学べることと、以前に学んだ概念でのパフォーマンスを維持することのバランスをとる行為である。
安定性と塑性のトレードオフに対処するため,従来の課題と現在の課題のモデルパラメータを重み付けする手法を提案する。
論文 参考訳(メタデータ) (2023-12-14T14:26:57Z) - Dynamic Corrective Self-Distillation for Better Fine-Tuning of
Pretrained Models [0.9217021281095907]
プレトレーニング言語モデル(PLM)の伝達学習過程において発生する攻撃的微調整の問題に対処する。
従来の機械学習における適応的強化法に着想を得て,PLMの微調整を改善するための効果的な動的補正自己蒸留手法を提案する。
本手法は,各イテレーションにおいて,各データポイントに割り当てられた重みを動的に調整することにより,学生モデルが積極的に適応し,自己補正を行う自己蒸留機構を実行することを含む。
論文 参考訳(メタデータ) (2023-12-12T07:26:36Z) - Recyclable Tuning for Continual Pre-training [98.51583779792031]
継続事前学習は、学習済み言語モデル(PLM)が成長するデータから新たな知識を継続的に獲得し、徐々にアップグレードされるパラダイムである。
時代遅れの適応重量をリサイクルするための適切なアルゴリズムを開発するべきだと我々は主張する。
両手法が組み合わされ,性能が向上することを示す。
論文 参考訳(メタデータ) (2023-05-15T15:05:44Z) - Model-Agnostic Multitask Fine-tuning for Few-shot Vision-Language
Transfer Learning [59.38343286807997]
未知タスクの視覚言語モデルのためのモデル非依存型マルチタスクファインチューニング(MAMF)を提案する。
モデルに依存しないメタラーニング(MAML)と比較して、MAMFは二段階最適化を捨て、一階勾配のみを使用する。
MAMFは5つのベンチマークデータセット上で、数ショットの転送学習において古典的な微調整法よりも一貫して優れていることを示す。
論文 参考訳(メタデータ) (2022-03-09T17:26:53Z) - Virtual Data Augmentation: A Robust and General Framework for
Fine-tuning Pre-trained Models [51.46732511844122]
強力な事前訓練型言語モデル(PLM)は、小さな摂動や意図的な攻撃によって騙されることがある。
VDA(Virtual Data Augmentation)は,PLMを高度に微調整するための一般的なフレームワークである。
本手法は, PLMの堅牢性を向上し, 敵攻撃時の性能劣化を軽減する。
論文 参考訳(メタデータ) (2021-09-13T09:15:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。