論文の概要: LLaCA: Multimodal Large Language Continual Assistant

• arxiv url: http://arxiv.org/abs/2410.10868v1
• Date: Tue, 08 Oct 2024 11:24:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-20 09:11:15.798583
• Title: LLaCA: Multimodal Large Language Continual Assistant
• Title（参考訳）: LLaCA: マルチモーダル大規模言語継続アシスタント
• Authors: Jingyang Qiao, Zhizhong Zhang, Xin Tan, Yanyun Qu, Shouhong Ding, Yuan Xie,
• Abstract要約: MCIT(Multimodal Continual Instruction Tuning)は、MLLMにシーケンシャルデータセットにおける人間の意図に従うよう継続的に指示するために用いられる。 既存の勾配更新は、以前のデータセットのチューニング性能を著しく損なうことになる。 本稿では,この課題に対処するため,LLaCA (Multimodal Large Language Continual Assistant) という手法を提案する。
• 参考スコア（独自算出の注目度）: 59.585544987096974
• License:
• Abstract: Instruction tuning guides the Multimodal Large Language Models (MLLMs) in aligning different modalities by designing text instructions, which seems to be an essential technique to enhance the capabilities and controllability of foundation models. In this framework, Multimodal Continual Instruction Tuning (MCIT) is adopted to continually instruct MLLMs to follow human intent in sequential datasets. We observe existing gradient update would heavily destroy the tuning performance on previous datasets and the zero-shot ability during continual instruction tuning. Exponential Moving Average (EMA) update policy owns the ability to trace previous parameters, which can aid in decreasing forgetting. However, its stable balance weight cannot deal with the ever-changing datasets, leading to the out-of-balance between plasticity and stability of MLLMs. In this paper, we propose a method called Multimodal Large Language Continual Assistant (LLaCA) to address the challenge. Starting from the trade-off prerequisite and EMA update, we propose the plasticity and stability ideal condition. Based on Taylor expansion in the loss function, we find the optimal balance weight is basically according to the gradient information and previous parameters. We automatically determine the balance weight and significantly improve the performance. Through comprehensive experiments on LLaVA-1.5 in a continual visual-question-answering benchmark, compared with baseline, our approach not only highly improves anti-forgetting ability (with reducing forgetting from 22.67 to 2.68), but also significantly promotes continual tuning performance (with increasing average accuracy from 41.31 to 61.89). Our code will be published soon.
• Abstract（参考訳）: インストラクションチューニングは、基本モデルの能力と制御性を高めるために欠かせない技術であるように思われるテキスト命令を設計することで、異なるモダリティを整合させるためのMLLM(Multimodal Large Language Models)を導く。 このフレームワークでは、連続的なデータセットにおける人間の意図に従うようにMLLMに継続的に指示するために、MCIT(Multimodal Continual Instruction Tuning)が採用されている。 既存の勾配更新によって、前回のデータセットのチューニング性能と連続的なチューニングチューニング時のゼロショット能力が大幅に損なわれるのを観察する。 指数移動平均 (Exponential moving Average, EMA) 更新ポリシーは、過去のパラメータをトレースする機能を所有しており、忘れることを減らすのに役立つ。 しかし、その安定したバランスウェイトは、常に変化するデータセットに対処できないため、MLLMの可塑性と安定性のバランスが外れる。 本稿では,この課題に対処するため,LLaCA (Multimodal Large Language Continual Assistant) という手法を提案する。 トレードオフ前提条件とEMA更新から始めて,塑性と安定性の理想的な条件を提案する。 損失関数のテイラー展開に基づいて、最適バランスウェイトは基本的に勾配情報とそれ以前のパラメータに従っている。 我々は自動的にバランスウェイトを決定し、性能を大幅に改善する。 ベースラインと比較して,LLaVA-1.5の総合的な実験を通じて,提案手法はアンチフォッゲッティング能力(22.67から2.68に低下)を向上するだけでなく,継続チューニング性能(平均精度41.31から61.89に向上)を著しく向上させる。 私たちのコードはまもなく公開されるでしょう。

関連論文リスト

• LLMs Can Evolve Continually on Modality for X-Modal Reasoning [62.2874638875554]
  既存の手法は、モーダル固有の事前訓練とジョイント・モーダルチューニングに大きく依存しており、新しいモーダルへと拡張する際の計算上の負担が大きくなった。 PathWeaveは、Modal-Path sWitchingとExpAnsion機能を備えた柔軟でスケーラブルなフレームワークである。 PathWeaveは最先端のMLLMと互換性があり、パラメータトレーニングの負担を98.73%削減する。
  論文  参考訳（メタデータ） (2024-10-26T13:19:57Z)
• Get Confused Cautiously: Textual Sequence Memorization Erasure with Selective Entropy Maximization [17.20276556057748]
  大規模言語モデル(LLM)は、トレーニングセットの冗長性からいくつかのテキストシーケンスを暗記し、引用することが発見されている。 このTSM(Textual Sequence Memorization)現象は、特定の記憶されたテキストを生成するのを防ぐために、LCM出力の調整を要求される。 TSM消去のための既存の方法は、モデルユーティリティを実質的に損なうことなく、大量の記憶されたサンプルを忘れることができない。
  論文  参考訳（メタデータ） (2024-08-09T10:26:11Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Model Tailor: Mitigating Catastrophic Forgetting in Multi-modal Large Language Models [46.92994945808424]
  マルチモーダル大言語モデル(MLLM)の微調整における破滅的忘れ込みの課題 本稿では,MLLMにおける破滅的忘れの包括的分析を行い,モデルタイラーと呼ばれるポストトレーニング調整手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T11:02:05Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Weighted Ensemble Models Are Strong Continual Learners [20.62749699589017]
  本研究では,タスク列のモデル学習を目標とする連続学習(CL)の問題について検討する。 CLは基本的に、新しいタスクで学べることと、以前に学んだ概念でのパフォーマンスを維持することのバランスをとる行為である。 安定性と塑性のトレードオフに対処するため,従来の課題と現在の課題のモデルパラメータを重み付けする手法を提案する。
  論文  参考訳（メタデータ） (2023-12-14T14:26:57Z)
• Dynamic Corrective Self-Distillation for Better Fine-Tuning of Pretrained Models [0.9217021281095907]
  プレトレーニング言語モデル(PLM)の伝達学習過程において発生する攻撃的微調整の問題に対処する。 従来の機械学習における適応的強化法に着想を得て,PLMの微調整を改善するための効果的な動的補正自己蒸留手法を提案する。 本手法は,各イテレーションにおいて,各データポイントに割り当てられた重みを動的に調整することにより,学生モデルが積極的に適応し,自己補正を行う自己蒸留機構を実行することを含む。
  論文  参考訳（メタデータ） (2023-12-12T07:26:36Z)
• Recyclable Tuning for Continual Pre-training [98.51583779792031]
  継続事前学習は、学習済み言語モデル(PLM)が成長するデータから新たな知識を継続的に獲得し、徐々にアップグレードされるパラダイムである。 時代遅れの適応重量をリサイクルするための適切なアルゴリズムを開発するべきだと我々は主張する。 両手法が組み合わされ,性能が向上することを示す。
  論文  参考訳（メタデータ） (2023-05-15T15:05:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。