論文の概要: Beyond Anti-Forgetting: Multimodal Continual Instruction Tuning with
Positive Forward Transfer
- arxiv url: http://arxiv.org/abs/2401.09181v2
- Date: Thu, 29 Feb 2024 03:06:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 18:05:19.839237
- Title: Beyond Anti-Forgetting: Multimodal Continual Instruction Tuning with
Positive Forward Transfer
- Title(参考訳): 反フォーゲッティングを超えて:正のフォワード転送を伴うマルチモーダル連続命令チューニング
- Authors: Junhao Zheng, Qianli Ma, Zhen Liu, Binquan Wu, Huawen Feng
- Abstract要約: MCIT(Multimodal Continual Instruction Tuning)は、Multimodal Large Language Models(MLLM)が、高価なリトレーニングなしで継続的な要求を満たすことを可能にする。
MCITは、破滅的な忘れ(古い知識が忘れられている)と負の転送という2つの大きな障害に直面している。
本稿では,タスク間の干渉を最小限に抑えるために,残空間への即時勾配を投影するプロンプトベースのFwd-Promptを提案する。
- 参考スコア(独自算出の注目度): 23.15037781851394
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal Continual Instruction Tuning (MCIT) enables Multimodal Large
Language Models (MLLMs) to meet continuously emerging requirements without
expensive retraining. MCIT faces two major obstacles: catastrophic forgetting
(where old knowledge is forgotten) and negative forward transfer (where the
performance of future tasks is degraded). Although existing methods have
greatly alleviated catastrophic forgetting, they still suffer from negative
forward transfer. By performing singular value decomposition (SVD) on input
embeddings, we discover a large discrepancy in different input embeddings. The
discrepancy results in the model learning irrelevant information for old and
pre-trained tasks, which leads to catastrophic forgetting and negative forward
transfer. To address these issues, we propose Fwd-Prompt, a prompt-based method
projecting prompt gradient to the residual space to minimize the interference
between tasks and to the pre-trained subspace for reusing pre-trained
knowledge. Our experiments demonstrate that Fwd-Prompt achieves
state-of-the-art performance while updating fewer parameters and requiring no
old samples. Our research sheds light on the potential of continuously adapting
MLLMs to new tasks under the instruction tuning paradigm and encourages future
studies to explore MCIT. The code will soon be publicly available.
- Abstract(参考訳): MCIT(Multimodal Continual Instruction Tuning)は、Multimodal Large Language Models(MLLM)が、高価なリトレーニングなしで継続的な要求を満たすことを可能にする。
MCITは、破滅的な忘れ(古い知識が忘れられる)と負の転送(将来のタスクのパフォーマンスが劣化する)という2つの大きな障害に直面します。
既存の手法は壊滅的な記憶を大幅に緩和しているが、それでも負の前方移動に苦しむ。
入力埋め込みにおいて特異値分解(SVD)を行うことにより、異なる入力埋め込みにおいて大きな相違を見出す。
この不一致は、古いタスクと事前訓練されたタスクの無関係な学習をもたらし、破滅的な忘れ込みと負の転送につながる。
そこで本稿では,タスク間の干渉を最小限に抑え,事前学習済みの知識を再利用するための事前学習済み部分空間にプロンプト勾配を投影するプロンプトベース手法であるfwd-promptを提案する。
実験により,Fwd-Promptは,少ないパラメータを更新し,古いサンプルを必要とせず,最先端の性能を実現することを示した。
本研究は,命令チューニングパラダイムの下でMLLMを新たなタスクに継続的に適用する可能性に注目し,今後のMCITの探索を奨励するものである。
コードはまもなく公開される予定だ。
関連論文リスト
- Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z) - Elastic Multi-Gradient Descent for Parallel Continual Learning [28.749215705746135]
動的マルチタスクシナリオにおける並列連続学習(PCL)のパラダイムについて検討する。
PCLは、学習の進捗が様々に異なる、特定されていないタスクのトレーニングによって、課題を提示する。
従来のタスクと新しいタスクのトレーニングのバランスをとるために,EMGDを用いて計算した勾配によって導かれるメモリ編集機構を提案する。
論文 参考訳(メタデータ) (2024-01-02T06:26:25Z) - Reason for Future, Act for Now: A Principled Framework for Autonomous
LLM Agents with Provable Sample Efficiency [53.8779374188643]
本稿では,推論と行動のオーケストレーションを行うための,証明可能な後悔の保証を備えた原則的枠組みを提案する。
具体的には、メモリバッファから学習する推論のためのプロンプトテンプレートを設計し、長い水平線上で将来の軌道を計画する。
各ステップにおいて、LLMエージェントは計画された軌跡の初期動作("act for now")を受け取り、収集したフィードバックをメモリバッファに格納し、推論ルーチンを再起動して、将来の軌跡を新しい状態から再設計する。
論文 参考訳(メタデータ) (2023-09-29T16:36:39Z) - Mitigating Negative Transfer with Task Awareness for Sexism, Hate
Speech, and Toxic Language Detection [7.661927086611542]
本稿では,タスク認知概念に基づく負の伝達問題を緩和するための新しいアプローチを提案する。
提案手法は,従来のMTLソリューションよりも性能が向上すると共に,負の転送を減少させる。
提案手法はSexism, Hate Speech, Toxic Languageをテキストコメントで検出するために, 2つの統一アーキテクチャで実装されている。
論文 参考訳(メタデータ) (2023-07-07T04:10:37Z) - Learning to Modulate pre-trained Models in RL [22.812215561012874]
訓練済みモデルの微調整は、しばしば破滅的な忘れ込みに悩まされる。
本研究は、ほとんどの微調整アプローチにおいて、事前学習タスクのパフォーマンスが著しく低下していることを示す。
凍結事前学習モデルの情報フローを変調することにより,学習スキルの劣化を回避する新しい手法L2Mを提案する。
論文 参考訳(メタデータ) (2023-06-26T17:53:05Z) - Feature Decomposition for Reducing Negative Transfer: A Novel Multi-task
Learning Method for Recommender System [35.165907482126464]
特徴分解ネットワーク(FDN)と呼ばれる新しいマルチタスク学習手法を提案する。
提案するFDNの鍵となる考え方は,特徴をタスク固有機能とタスク共有機能に明示的に分解することで,特徴冗長性の現象を小さくすることである。
実験結果から,提案するFDN法は最先端(SOTA)法よりも顕著なマージンで優れていることがわかった。
論文 参考訳(メタデータ) (2023-02-10T03:08:37Z) - Omni-Training for Data-Efficient Deep Learning [80.28715182095975]
近年の進歩により、適切に訓練されたモデルが重要な特性であるトランスファービリティを持つことが明らかとなった。
事前訓練とメタトレーニングの厳密な組み合わせは、どちらの種類のトランスファー可能性も達成できない。
このことが提案されているOmni-Trainingフレームワークを,データ効率のよいディープラーニングに動機付けている。
論文 参考訳(メタデータ) (2021-10-14T16:30:36Z) - Sequential Reptile: Inter-Task Gradient Alignment for Multilingual
Learning [61.29879000628815]
知識伝達を最大化するためには,タスク間の勾配の整合が不可欠であることを示す。
本稿では,タスク間の勾配を効率よく調整する,シンプルで効果的な手法を提案する。
様々なマルチタスク学習やゼロショット言語間移動タスクにおいて,提案手法を広範囲に検証する。
論文 参考訳(メタデータ) (2021-10-06T09:10:10Z) - Continuous Transition: Improving Sample Efficiency for Continuous
Control Problems via MixUp [119.69304125647785]
本稿では,連続的遷移を構築するための簡潔かつ強力な手法を提案する。
具体的には、連続的な遷移を線形に補間することにより、トレーニングのための新しい遷移を合成することを提案する。
また, 建設過程を自動案内する判別器を開発した。
論文 参考訳(メタデータ) (2020-11-30T01:20:23Z) - Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。
私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。
提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
論文 参考訳(メタデータ) (2020-09-24T15:40:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。