論文の概要: SEFE: Superficial and Essential Forgetting Eliminator for Multimodal Continual Instruction Tuning

• arxiv url: http://arxiv.org/abs/2505.02486v1
• Date: Mon, 05 May 2025 09:09:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 18:49:35.620356
• Title: SEFE: Superficial and Essential Forgetting Eliminator for Multimodal Continual Instruction Tuning
• Title（参考訳）: SEFE: マルチモーダル・インストラクション・チューニングのための表面的, 基本的ジェスティング・エミネータ
• Authors: Jinpeng Chen, Runmin Cong, Yuzhi Zhao, Hongzheng Yang, Guangneng Hu, Horace Ho Shing Ip, Sam Kwong,
• Abstract要約: MCIT (Multimodal Continual Instruction Tuning) は,Multimodal Large Language Models (MLLM) が,悲惨なことを忘れずに,新たなタスクを段階的に学習できるようにすることを目的としている。 表面的な忘れは、モデルの知識が真に失われるのではなく、以前のタスクに対する応答が期待されたフォーマットから逸脱している場合を指す。 対照的に、本質的な忘れは、モデルが正しくフォーマットされているが、事実的に不正確な答えを提供し、真の知識の喪失を示す状況を指す。
• 参考スコア（独自算出の注目度）: 62.18315467642528
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal Continual Instruction Tuning (MCIT) aims to enable Multimodal Large Language Models (MLLMs) to incrementally learn new tasks without catastrophic forgetting. In this paper, we explore forgetting in this context, categorizing it into superficial forgetting and essential forgetting. Superficial forgetting refers to cases where the model's knowledge may not be genuinely lost, but its responses to previous tasks deviate from expected formats due to the influence of subsequent tasks' answer styles, making the results unusable. By contrast, essential forgetting refers to situations where the model provides correctly formatted but factually inaccurate answers, indicating a true loss of knowledge. Assessing essential forgetting necessitates addressing superficial forgetting first, as severe superficial forgetting can obscure the model's knowledge state. Hence, we first introduce the Answer Style Diversification (ASD) paradigm, which defines a standardized process for transforming data styles across different tasks, unifying their training sets into similarly diversified styles to prevent superficial forgetting caused by style shifts. Building on this, we propose RegLoRA to mitigate essential forgetting. RegLoRA stabilizes key parameters where prior knowledge is primarily stored by applying regularization, enabling the model to retain existing competencies. Experimental results demonstrate that our overall method, SEFE, achieves state-of-the-art performance.
• Abstract（参考訳）: MCIT (Multimodal Continual Instruction Tuning) は,Multimodal Large Language Models (MLLM) が,悲惨なことを忘れずに,新たなタスクを段階的に学習できるようにすることを目的としている。 本稿では,この文脈における忘れを,表面的な忘れと本質的な忘れに分類して検討する。 表面的な忘れは、モデルの知識が真に失われることはないが、その以前のタスクに対する応答は、その後のタスクの回答スタイルの影響により、期待されたフォーマットから逸脱し、結果が使用不能になるケースを指す。 対照的に、本質的な忘れは、モデルが正しくフォーマットされているが、事実的に不正確な答えを提供し、真の知識の喪失を示す状況を指す。 重要な忘れることを評価することは、まず表面的忘れに対処するために必要なものであり、表面的忘れはモデルの知識状態を曖昧にする可能性がある。 したがって、まず、異なるタスク間でデータスタイルを変換する標準化プロセスを定義し、トレーニングセットを同様に多様化したスタイルに統一し、スタイルシフトによる表面的忘れを防止するAnswer Style Diversification(ASD)パラダイムを導入する。 これに基づいて、本質的な忘れを緩和するためにRegLoRAを提案する。 RegLoRAは、事前知識が主に正規化を適用することで格納されるキーパラメータを安定化し、モデルが既存の能力を維持することができる。 実験結果から,本手法のSEFEによる性能評価が得られた。

関連論文リスト

• The Inherent Limits of Pretrained LLMs: The Unexpected Convergence of Instruction Tuning and In-Context Learning Capabilities [51.594836904623534]
  本研究は,インコンテキストの例を用いて誘導されるベースモデルと,命令調整モデルが根本的に異なる機能を持つかどうかを考察する。 命令調整モデルの性能は,基本モデルのコンテキスト内性能と大きく相関していることを示す。 具体的には、この理解を命令付きモデルに拡張し、事前学習データも同様に、解決可能なタスクの制限境界を設定することを示唆する。
  論文  参考訳（メタデータ） (2025-01-15T10:57:55Z)
• Unified Parameter-Efficient Unlearning for LLMs [25.195126838721492]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらし、様々なタスクに対する高度な理解と推論を可能にする。 これは、モデルが不注意に機密情報や望ましくない情報を保持および拡散する可能性があるため、重要なプライバシーとセキュリティ上の懸念を提起する。 本稿では,非学習タスクを体系的に分類し,影響関数を用いた高精度な調整を行う,新しいインスタンス単位のアンラーニングフレームワークLLMEraserを紹介する。
  論文  参考訳（メタデータ） (2024-11-30T07:21:02Z)
• Information Guided Regularization for Fine-tuning Language Models [11.831883526217942]
  我々は、よりスムーズな転写学習のために、より外科的な正規化アプローチが存在する必要があると論じる。 モデル正規化の改善と下流一般化のための新しい手法を考案する。
  論文  参考訳（メタデータ） (2024-06-20T05:18:37Z)
• Scalable Language Model with Generalized Continual Learning [58.700439919096155]
  The Joint Adaptive Re-ization (JARe) is integrated with Dynamic Task-related Knowledge Retrieval (DTKR) to enable adapt adjust of language model based on specific downstream task。 提案手法は,様々なバックボーンやベンチマーク上での最先端性能を実証し,最小限の忘れを伴い,フルセットおよび少数ショットのシナリオにおいて効果的な連続学習を実現する。
  論文  参考訳（メタデータ） (2024-04-11T04:22:15Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
  学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。 本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。 提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T16:42:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。