論文の概要: I2I: Initializing Adapters with Improvised Knowledge

• arxiv url: http://arxiv.org/abs/2304.02168v2
• Date: Mon, 10 Jul 2023 20:41:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-12 18:40:44.809786
• Title: I2I: Initializing Adapters with Improvised Knowledge
• Title（参考訳）: I2I: 知識の向上によるアダプタの初期化
• Authors: Tejas Srinivasan, Furong Jia, Mohammad Rostami, Jesse Thomason
• Abstract要約: 改善。 連続学習アルゴリズムであるI2LiIは、蒸留により入ってくるタスクに対するアダプタを初期化する。 以前学習したタスク。 I2Iは独立に訓練されたアダプタよりも優れたタスク精度を実現している。
• 参考スコア（独自算出の注目度）: 15.452979531094567
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adapters present a promising solution to the catastrophic forgetting problem in continual learning. However, training independent Adapter modules for every new task misses an opportunity for cross-task knowledge transfer. We propose Improvise to Initialize (I2I), a continual learning algorithm that initializes Adapters for incoming tasks by distilling knowledge from previously-learned tasks' Adapters. We evaluate I2I on CLiMB, a multimodal continual learning benchmark, by conducting experiments on sequences of visual question answering tasks. Adapters trained with I2I consistently achieve better task accuracy than independently-trained Adapters, demonstrating that our algorithm facilitates knowledge transfer between task Adapters. I2I also results in better cross-task knowledge transfer than the state-of-the-art AdapterFusion without incurring the associated parametric cost.
• Abstract（参考訳）: アダプタは、継続的学習における破滅的な忘れ方問題の有望な解決策を提供する。 しかし、新しいタスク毎に独立したアダプタモジュールをトレーニングすることは、クロスタスクの知識転送の機会を逃す。 我々は,先行学習したタスクのアダプタから知識を抽出し,入力タスクのアダプタを初期化する連続学習アルゴリズム「I2I」を提案する。 我々は、視覚的質問応答タスクのシーケンスに関する実験を行うことにより、多モード連続学習ベンチマークであるCLiMB上のI2Iを評価する。 i2iでトレーニングされたアダプタは、独立にトレーニングされたアダプタよりもタスクの正確性が向上し、このアルゴリズムがタスクアダプタ間の知識転送を容易にすることを実証します。 I2Iは、関連するパラメトリックコストを発生させることなく、最先端のAdapterFusionよりも、クロスタスクの知識伝達を改善する。

関連論文リスト

• ATLAS: Adapter-Based Multi-Modal Continual Learning with a Two-Stage Learning Strategy [12.150065431702055]
  本稿では,経験ベース学習と新規知識拡張からなるマルチモーダル連続学習手法を提案する。 提案手法は,従来のタスクを忘れることによる負の影響を最小限に抑えつつ,上流での表現の分布を拡大する。
  論文  参考訳（メタデータ） (2024-10-14T13:29:42Z)
• Auto-selected Knowledge Adapters for Lifelong Person Re-identification [54.42307214981537]
  Lifelong Person Re-Identificationは、異なる時間と場所にわたる重複しないデータセットから継続的に学習するシステムを必要とする。 リハーサルのない、あるいはリハーサルベースの既存のアプローチは、依然として破滅的な忘れ込みの問題に悩まされている。 本稿では,知識アダプタを採用した新しいフレームワークであるAdalReIDと,生涯学習のためのパラメータフリー自動選択機構を提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:42:02Z)
• Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Dynamic Transformer Architecture for Continual Learning of Multimodal Tasks [27.59758964060561]
  トランスフォーマーニューラルネットワークは、さまざまなデータモダリティの幅広いアプリケーションにおいて、以前のアーキテクチャを置き換える傾向にある。 連続学習(CL)は、自律学習エージェントに順次到着するタスク間で知識の伝達を容易にすることで、ソリューションとして現れる。 本稿では,視覚と言語の両方に関わる学習タスクに着目したトランスフォーマーベースのCLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-27T03:03:30Z)
• AdapterDistillation: Non-Destructive Task Composition with Knowledge Distillation [12.648208238878468]
  本稿では,AdapterDistillationと呼ばれる2段階の知識蒸留アルゴリズムを提案する。 最初の段階では、ローカルデータを用いてタスク固有の知識を抽出し、学生のアダプタを訓練する。 第2段階では、既存の教師アダプタからの知識を学生アダプタに蒸留し、その推論を支援する。
  論文  参考訳（メタデータ） (2023-12-26T07:01:00Z)
• MerA: Merging Pretrained Adapters For Few-Shot Learning [71.44422347502409]
  モデル融合により,事前学習したアダプタを単一モデルに効率的に組み込むことができるtextbftextttMerging Pretrained Adapters (MerA)を提案する。 2つのPLMの実験では、MerAはシングルアダプタとAdapterFusionの両方と比較して大幅に改善されている。
  論文  参考訳（メタデータ） (2023-08-30T12:10:17Z)
• E2-AEN: End-to-End Incremental Learning with Adaptively Expandable Network [57.87240860624937]
  本稿では,E2-AENという,エンドツーエンドのトレーニング可能な適応拡張可能なネットワークを提案する。 以前のタスクの精度を落とさずに、新しいタスクのための軽量な構造を動的に生成する。 E2-AENはコストを削減し、あらゆるフィードフォワードアーキテクチャをエンドツーエンドで構築できる。
  論文  参考訳（メタデータ） (2022-07-14T09:04:51Z)
• Fully Online Meta-Learning Without Task Boundaries [80.09124768759564]
  この性質のオンライン問題にメタラーニングを適用する方法について検討する。 タスク境界に関する基礎的な真理知識を必要としない完全オンラインメタラーニング(FOML)アルゴリズムを提案する。 実験の結果,FOMLは最先端のオンライン学習手法よりも高速に新しいタスクを学習できることがわかった。
  論文  参考訳（メタデータ） (2022-02-01T07:51:24Z)
• AdapterFusion: Non-Destructive Task Composition for Transfer Learning [104.9639614787314]
  逐次微調整とマルチタスク学習は、複数のタスクから知識を取り入れることを目的とした手法である。 本稿では,複数のタスクからの知識を活用する2段階学習アルゴリズムAdapterFusionを提案する。 提案手法は,マルチタスク学習だけでなく,フルチューニングやマルチタスク学習といった従来の戦略よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-01T07:03:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。