論文の概要: CoIN: A Benchmark of Continual Instruction tuNing for Multimodel Large Language Model

• arxiv url: http://arxiv.org/abs/2403.08350v2
• Date: Wed, 23 Oct 2024 02:16:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-24 13:52:53.016505
• Title: CoIN: A Benchmark of Continual Instruction tuNing for Multimodel Large Language Model
• Title（参考訳）: CoIN: マルチモデル大規模言語モデルのための継続的指導指導のベンチマーク
• Authors: Cheng Chen, Junchen Zhu, Xu Luo, Hengtao Shen, Lianli Gao, Jingkuan Song,
• Abstract要約: 逐次的命令チューニングパラダイムにおける既存のMLLMを評価するためのベンチマークであるContinuous Instruction tuNing(CoIN)を提案する。 CoINの実験では、現在の強力なMLLMが依然として破滅的な忘れを被っていることが示されている。 従来の命令アライメントを維持するのに有効なMLLMにMoELoRAを導入する。
• 参考スコア（独自算出の注目度）: 121.23360004498893
• License:
• Abstract: Instruction tuning represents a prevalent strategy employed by Multimodal Large Language Models (MLLMs) to align with human instructions and adapt to new tasks. Nevertheless, MLLMs encounter the challenge of adapting to users' evolving knowledge and demands. Therefore, how to retain existing skills while acquiring new knowledge needs to be investigated. In this paper, we present a comprehensive benchmark, namely Continual Instruction tuNing (CoIN), to assess existing MLLMs in the sequential instruction tuning paradigm. CoIN comprises 10 commonly used datasets spanning 8 task categories, ensuring a diverse range of instructions and tasks. Besides, the trained model is evaluated from two aspects: Instruction Following and General Knowledge, which assess the alignment with human intention and knowledge preserved for reasoning, respectively. Experiments on CoIN demonstrate that current powerful MLLMs still suffer catastrophic forgetting, and the failure in intention alignment assumes the main responsibility, instead of the knowledge forgetting. To this end, we introduce MoELoRA to MLLMs which is effective to retain the previous instruction alignment. Experimental results consistently illustrate the forgetting decreased from this method on CoIN.
• Abstract（参考訳）: インストラクションチューニングは,MLLM(Multimodal Large Language Models)がヒトの指示に適応し,新しいタスクに適応するための一般的な戦略である。 それでもMLLMは、ユーザの進化する知識と要求に適応するという課題に直面している。 そのため,新たな知識を身につけながら,既存のスキルをいかに維持するかを検討する必要がある。 本稿では、逐次的命令チューニングパラダイムにおける既存のMLLMを評価するための総合的なベンチマーク、Continuous Instruction tuNing(CoIN)を提案する。 CoINは8つのタスクカテゴリにまたがる10の一般的なデータセットで構成され、多様な命令とタスクを保証する。 さらに、訓練されたモデルは2つの側面から評価される: 指示追従と一般知識は、それぞれ推論のために保存された人間の意図と知識との整合性を評価する。 CoINの実験では、現在の強力なMLLMが依然として破滅的な忘れを被り、意図的な調整の失敗が、知識を忘れるのではなく、主要な責任を負うことを示した。 この目的のために,従来の命令アライメントを維持するのに有効なMLLMにMoELoRAを導入する。 実験結果は、CoIN上のこの方法から減少する忘れを一貫して示している。

関連論文リスト

• The Inherent Limits of Pretrained LLMs: The Unexpected Convergence of Instruction Tuning and In-Context Learning Capabilities [51.594836904623534]
  本研究は,インコンテキストの例を用いて誘導されるベースモデルと,命令調整モデルが根本的に異なる機能を持つかどうかを考察する。 命令調整モデルの性能は,基本モデルのコンテキスト内性能と大きく相関していることを示す。 具体的には、この理解を命令付きモデルに拡張し、事前学習データも同様に、解決可能なタスクの制限境界を設定することを示唆する。
  論文  参考訳（メタデータ） (2025-01-15T10:57:55Z)
• Modality-Inconsistent Continual Learning of Multimodal Large Language Models [37.15220266767881]
  マルチモーダル大言語モデル(MLLM)のための新しい連続学習シナリオであるMICL(Modality-Inconsistent Continual Learning)を導入する。 既存の視覚のみやモダリティの増分設定とは異なり、MICLはモダリティとタスクタイプのシフトを組み合わせており、どちらも破滅的な忘れを招いている。 本稿では, Pseudo Targets Generation Module を用いて, 以前見られたタスクタイプシフトによる忘れを軽減した MoInCL を提案する。
  論文  参考訳（メタデータ） (2024-12-17T16:13:56Z)
• Separable Mixture of Low-Rank Adaptation for Continual Visual Instruction Tuning [16.873306091966693]
  視覚的インストラクションチューニングにより、大規模な言語モデル(MLLM)は、言語ベースのインストラクションとしてフレーミングすることで、幅広い視覚タスクを処理できる。 CVITでは,MLLMが学習した視覚的理解を忘れると同時に,学習能力の低下を経験する。 本稿では2つの異なるモジュール間の分離可能なルーティングを利用するSMOLoRAフレームワークについて紹介する。 このデュアルルーチン設計により、両方のドメインに特別な適応が可能となり、性能を改善しながら、忘れることを防ぐことができる。
  論文  参考訳（メタデータ） (2024-11-21T09:00:15Z)
• MIA-Bench: Towards Better Instruction Following Evaluation of Multimodal LLMs [47.94710556156627]
  MIA-Benchは、マルチモーダルな大規模言語モデル(MLLM)を、複雑な命令に厳密に準拠する能力に基づいて評価するために設計されたベンチマークである。 私たちのベンチマークでは、400のイメージプロンプトペアで構成されており、それぞれが階層化された命令に対するモデルのコンプライアンスに挑戦するために作られています。
  論文  参考訳（メタデータ） (2024-07-01T17:53:35Z)
• The SIFo Benchmark: Investigating the Sequential Instruction Following Ability of Large Language Models [48.455388608863785]
  本稿では,複数の命令を逐次的に追従するモデルの性能を評価するためのベンチマークを提案する。 我々のベンチマークは,4つのタスク(テキスト修正,質問応答,数学,セキュリティルール)を用いて,指示に従うことを評価する。 より最近のモデルでは、SIFoタスクにおいて、より古いモデルやより小さなモデルよりも大幅に優れており、ベンチマークの有効性が検証されている。
  論文  参考訳（メタデータ） (2024-06-28T15:34:26Z)
• Continual Instruction Tuning for Large Multimodal Models [30.438442723421556]
  マルチタスク・ジョイント・インストラクション・チューニングはモデルの連続的な学習能力と忘れ忘れを促進させる。 LMMの連続的命令チューニングのためのタスク類似性インフォームド正規化とモデル拡張法を提案する。
  論文  参考訳（メタデータ） (2023-11-27T15:04:48Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented Dialog Systems [56.302581679816775]
  本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。 命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。 これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
  論文  参考訳（メタデータ） (2021-09-10T03:23:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。