論文の概要: CoIN: A Benchmark of Continual Instruction tuNing for Multimodel Large
Language Model
- arxiv url: http://arxiv.org/abs/2403.08350v1
- Date: Wed, 13 Mar 2024 08:54:31 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 15:16:17.422341
- Title: CoIN: A Benchmark of Continual Instruction tuNing for Multimodel Large
Language Model
- Title(参考訳): CoIN: マルチモデル大規模化のための継続的指導指導のベンチマーク
言語モデル
- Authors: Cheng Chen and Junchen Zhu and Xu Luo and Hengtao Shen and Lianli Gao
and Jingkuan Song
- Abstract要約: 逐次的命令チューニングパラダイムにおける既存のMLLMを評価するためのベンチマークであるContinuous Instruction tuNing(CoIN)を提案する。
CoINの実験では、現在の強力なMLLMが依然として破滅的な忘れを被っていることが示されている。
従来の命令アライメントを維持するのに有効なMLLMにMoELoRAを導入する。
- 参考スコア(独自算出の注目度): 128.46104068327435
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Instruction tuning represents a prevalent strategy employed by Multimodal
Large Language Models (MLLMs) to align with human instructions and adapt to new
tasks. Nevertheless, MLLMs encounter the challenge of adapting to users'
evolving knowledge and demands. Therefore, how to retain existing skills while
acquiring new knowledge needs to be investigated. In this paper, we present a
comprehensive benchmark, namely Continual Instruction tuNing (CoIN), to assess
existing MLLMs in the sequential instruction tuning paradigm. CoIN comprises 10
commonly used datasets spanning 8 task categories, ensuring a diverse range of
instructions and tasks. Besides, the trained model is evaluated from two
aspects: Instruction Following and General Knowledge, which assess the
alignment with human intention and knowledge preserved for reasoning,
respectively. Experiments on CoIN demonstrate that current powerful MLLMs still
suffer catastrophic forgetting, and the failure in intention alignment assumes
the main responsibility, instead of the knowledge forgetting. To this end, we
introduce MoELoRA to MLLMs which is effective to retain the previous
instruction alignment. Experimental results consistently illustrate the
forgetting decreased from this method on CoIN.
- Abstract(参考訳): インストラクションチューニングは,MLLM(Multimodal Large Language Models)がヒトの指示に適応し,新しいタスクに適応するための一般的な戦略である。
それでもMLLMは、ユーザの進化する知識と要求に適応するという課題に直面している。
そのため,新たな知識を身につけながら,既存のスキルをいかに維持するかを検討する必要がある。
本稿では、逐次的命令チューニングパラダイムにおける既存のMLLMを評価するための総合的なベンチマーク、Continuous Instruction tuNing(CoIN)を提案する。
CoINは8つのタスクカテゴリにまたがる10の一般的なデータセットで構成され、多様な命令とタスクを保証する。
さらに、訓練されたモデルは2つの側面から評価される: 指示追従と一般知識は、それぞれ推論のために保存された人間の意図と知識との整合性を評価する。
CoINの実験では、現在の強力なMLLMが依然として破滅的な忘れを被り、意図的な調整の失敗が、知識を忘れるのではなく、主要な責任を負うことを示した。
この目的のために,従来の命令アライメントを維持するのに有効なMLLMにMoELoRAを導入する。
実験結果は、CoIN上のこの方法から減少する忘れを一貫して示している。
関連論文リスト
- Continual Learning for Large Language Models: A Survey [95.79977915131145]
大規模言語モデル(LLM)は、大規模なトレーニングコストが高いため、頻繁な再トレーニングには適さない。
本稿では,LLMの連続学習に関する最近の研究について述べる。
論文 参考訳(メタデータ) (2024-02-02T12:34:09Z) - Continual Instruction Tuning for Large Multimodal Models [30.438442723421556]
マルチタスク・ジョイント・インストラクション・チューニングはモデルの連続的な学習能力と忘れ忘れを促進させる。
LMMの連続的命令チューニングのためのタスク類似性インフォームド正規化とモデル拡張法を提案する。
論文 参考訳(メタデータ) (2023-11-27T15:04:48Z) - TRACE: A Comprehensive Benchmark for Continual Learning in Large
Language Models [52.734140807634624]
調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。
既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。
LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
論文 参考訳(メタデータ) (2023-10-10T16:38:49Z) - From Language Modeling to Instruction Following: Understanding the
Behavior Shift in LLMs after Instruction Tuning [66.82960120533544]
そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。
次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較して、命令チューニングの影響について研究する。
論文 参考訳(メタデータ) (2023-09-30T21:16:05Z) - MME: A Comprehensive Evaluation Benchmark for Multimodal Large Language
Models [75.85429963948769]
最初の総合的MLLM評価ベンチマークMMEを示す。
知覚能力と認知能力の両方を合計14のサブタスクで測定する。
総計30個のMLLMをMMEで総合的に評価した。
論文 参考訳(メタデータ) (2023-06-23T09:22:36Z) - CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented
Dialog Systems [56.302581679816775]
本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。
命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。
これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
論文 参考訳(メタデータ) (2021-09-10T03:23:06Z) - Learning Invariant Representation for Continual Learning [5.979373021392084]
継続的学習の重要な課題は、エージェントが新しいタスクに直面したときに、以前に学んだタスクを壊滅的に忘れることです。
連続学習のための学習不変表現(IRCL)という新しい擬似リハーサル法を提案する。
共有不変表現を分離することは、タスクのシーケンスを継続的に学習するのに役立つ。
論文 参考訳(メタデータ) (2021-01-15T15:12:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。