論文の概要: I2I: Initializing Adapters with Improvised Knowledge
- arxiv url: http://arxiv.org/abs/2304.02168v2
- Date: Mon, 10 Jul 2023 20:41:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-12 18:40:44.809786
- Title: I2I: Initializing Adapters with Improvised Knowledge
- Title(参考訳): I2I: 知識の向上によるアダプタの初期化
- Authors: Tejas Srinivasan, Furong Jia, Mohammad Rostami, Jesse Thomason
- Abstract要約: 改善。
連続学習アルゴリズムであるI2LiIは、蒸留により入ってくるタスクに対するアダプタを初期化する。
以前学習したタスク。
I2Iは独立に訓練されたアダプタよりも優れたタスク精度を実現している。
- 参考スコア(独自算出の注目度): 15.452979531094567
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Adapters present a promising solution to the catastrophic forgetting problem
in continual learning. However, training independent Adapter modules for every
new task misses an opportunity for cross-task knowledge transfer. We propose
Improvise to Initialize (I2I), a continual learning algorithm that initializes
Adapters for incoming tasks by distilling knowledge from previously-learned
tasks' Adapters. We evaluate I2I on CLiMB, a multimodal continual learning
benchmark, by conducting experiments on sequences of visual question answering
tasks. Adapters trained with I2I consistently achieve better task accuracy than
independently-trained Adapters, demonstrating that our algorithm facilitates
knowledge transfer between task Adapters. I2I also results in better cross-task
knowledge transfer than the state-of-the-art AdapterFusion without incurring
the associated parametric cost.
- Abstract(参考訳): アダプタは、継続的学習における破滅的な忘れ方問題の有望な解決策を提供する。
しかし、新しいタスク毎に独立したアダプタモジュールをトレーニングすることは、クロスタスクの知識転送の機会を逃す。
我々は,先行学習したタスクのアダプタから知識を抽出し,入力タスクのアダプタを初期化する連続学習アルゴリズム「I2I」を提案する。
我々は、視覚的質問応答タスクのシーケンスに関する実験を行うことにより、多モード連続学習ベンチマークであるCLiMB上のI2Iを評価する。
i2iでトレーニングされたアダプタは、独立にトレーニングされたアダプタよりもタスクの正確性が向上し、このアルゴリズムがタスクアダプタ間の知識転送を容易にすることを実証します。
I2Iは、関連するパラメトリックコストを発生させることなく、最先端のAdapterFusionよりも、クロスタスクの知識伝達を改善する。
関連論文リスト
- AdaMergeX: Cross-Lingual Transfer with Large Language Models via
Adaptive Adapter Merging [96.39773974044041]
言語間移動は、特定の言語における目標タスクを直接微調整することの効果的な代替手段である。
本稿では,適応型アダプティブマージを利用した新しい言語間変換法である$textttAdaMergeX$を提案する。
実験の結果,提案手法は,すべての設定において既存の手法よりも優れ,新しい,効果的な言語間移動をもたらすことが示された。
論文 参考訳(メタデータ) (2024-02-29T07:11:24Z) - Dynamic Transformer Architecture for Continual Learning of Multimodal
Tasks [27.59758964060561]
トランスフォーマーニューラルネットワークは、さまざまなデータモダリティの幅広いアプリケーションにおいて、以前のアーキテクチャを置き換える傾向にある。
連続学習(CL)は、自律学習エージェントに順次到着するタスク間で知識の伝達を容易にすることで、ソリューションとして現れる。
本稿では,視覚と言語の両方に関わる学習タスクに着目したトランスフォーマーベースのCLフレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-27T03:03:30Z) - AdapterDistillation: Non-Destructive Task Composition with Knowledge
Distillation [12.648208238878468]
本稿では,AdapterDistillationと呼ばれる2段階の知識蒸留アルゴリズムを提案する。
最初の段階では、ローカルデータを用いてタスク固有の知識を抽出し、学生のアダプタを訓練する。
第2段階では、既存の教師アダプタからの知識を学生アダプタに蒸留し、その推論を支援する。
論文 参考訳(メタデータ) (2023-12-26T07:01:00Z) - MerA: Merging Pretrained Adapters For Few-Shot Learning [71.44422347502409]
モデル融合により,事前学習したアダプタを単一モデルに効率的に組み込むことができるtextbftextttMerging Pretrained Adapters (MerA)を提案する。
2つのPLMの実験では、MerAはシングルアダプタとAdapterFusionの両方と比較して大幅に改善されている。
論文 参考訳(メタデータ) (2023-08-30T12:10:17Z) - Task-Attentive Transformer Architecture for Continual Learning of
Vision-and-Language Tasks Using Knowledge Distillation [18.345183818638475]
連続学習(CL)は、逐次到着するタスク間で知識伝達を可能にすることで、治療の役割を果たす。
バイモーダル・ビジョン・アンド・ランゲージ・タスクを学習するためのトランスフォーマーベースのCLアーキテクチャを開発した。
私たちのアプローチは、メモリと時間のオーバーヘッドが少ないため、多数のタスクにスケーラブルに学習するものです。
論文 参考訳(メタデータ) (2023-03-25T10:16:53Z) - E2-AEN: End-to-End Incremental Learning with Adaptively Expandable
Network [57.87240860624937]
本稿では,E2-AENという,エンドツーエンドのトレーニング可能な適応拡張可能なネットワークを提案する。
以前のタスクの精度を落とさずに、新しいタスクのための軽量な構造を動的に生成する。
E2-AENはコストを削減し、あらゆるフィードフォワードアーキテクチャをエンドツーエンドで構築できる。
論文 参考訳(メタデータ) (2022-07-14T09:04:51Z) - Cross-Task Knowledge Distillation in Multi-Task Recommendation [41.62428191434233]
マルチタスク学習は、さまざまなタイプのユーザフィードバックを予測するために、現実世界のレコメンデータで広く利用されている。
本稿では,3つの手順からなるクロスタスク知識蒸留フレームワークを提案する。
論文 参考訳(メタデータ) (2022-02-20T16:15:19Z) - Fully Online Meta-Learning Without Task Boundaries [80.09124768759564]
この性質のオンライン問題にメタラーニングを適用する方法について検討する。
タスク境界に関する基礎的な真理知識を必要としない完全オンラインメタラーニング(FOML)アルゴリズムを提案する。
実験の結果,FOMLは最先端のオンライン学習手法よりも高速に新しいタスクを学習できることがわかった。
論文 参考訳(メタデータ) (2022-02-01T07:51:24Z) - AdapterFusion: Non-Destructive Task Composition for Transfer Learning [104.9639614787314]
逐次微調整とマルチタスク学習は、複数のタスクから知識を取り入れることを目的とした手法である。
本稿では,複数のタスクからの知識を活用する2段階学習アルゴリズムAdapterFusionを提案する。
提案手法は,マルチタスク学習だけでなく,フルチューニングやマルチタスク学習といった従来の戦略よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-05-01T07:03:42Z) - K-Adapter: Infusing Knowledge into Pre-Trained Models with Adapters [136.75235546149995]
本研究では,BERT や RoBERTa のような大規模事前学習モデルに知識を注入する問題について検討する。
既存のメソッドは通常、知識を注入する際、事前訓練されたモデルの元のパラメータを更新する。
K-Adapterは、事前訓練されたモデルの元のパラメータを固定し、多目的な知識注入モデルの開発を支援するフレームワークである。
論文 参考訳(メタデータ) (2020-02-05T14:30:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。