論文の概要: Continual Few-Shot Learning Using HyperTransformers

• arxiv url: http://arxiv.org/abs/2301.04584v1
• Date: Wed, 11 Jan 2023 17:27:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-12 14:30:34.598477
• Title: Continual Few-Shot Learning Using HyperTransformers
• Title（参考訳）: Hyper Transformer を用いた連続的なFew-Shot学習
• Authors: Max Vladymyrov, Andrey Zhmoginov, Mark Sandler
• Abstract要約: 我々は,複数のタスクが連続して到着するのを忘れずに,学習の課題に焦点をあてる。 我々は最近発表されたHyperTransformer (HT) を用いてこの問題にアプローチする。これはTransformerベースのハイパーネットワークで、サポートセットから直接特定のタスク固有のCNN重みを生成する。 このようにして生成されたCNNウェイトは、以前に学習したタスクの表現として機能し、HTは、過去のタスクを忘れずに新しいタスクを学習できるように、これらの重みを更新するように訓練される。
• 参考スコア（独自算出の注目度）: 14.412066456583917
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We focus on the problem of learning without forgetting from multiple tasks arriving sequentially, where each task is defined using a few-shot episode of novel or already seen classes. We approach this problem using the recently published HyperTransformer (HT), a Transformer-based hypernetwork that generates a specialized task-specific CNN weights directly from the support set. In order to learn from a continual sequence of task, we propose to recursively re-use the generated weights as input to the HT for the next task. This way, the generated CNN weights themselves act as a representation of previously learned tasks, and the HT is trained to update these weights so that the new task can be learned without forgetting past tasks. This approach is different from most continual learning algorithms that typically rely on using replay buffers, weight regularization or task-dependent architectural changes. We demonstrate that our proposed Continual HyperTransformer method equipped with a prototypical loss is capable of learning and retaining knowledge about past tasks for a variety of scenarios, including learning from mini-batches, and task-incremental and class-incremental learning scenarios.
• Abstract（参考訳）: 我々は、複数のタスクが順次やってくることを忘れることなく学習する問題に焦点を当て、各タスクは、ノベルまたは既に見られるクラスの数発のエピソードを使って定義される。 我々は最近発表されたHyperTransformer (HT) を用いてこの問題にアプローチする。これはTransformerベースのハイパーネットワークで、サポートセットから直接特定のタスク固有のCNN重みを生成する。 タスクの連続的なシーケンスから学習するために、生成した重みを次のタスクのHTへの入力として再帰的に再利用することを提案する。 このようにして生成されたCNNウェイトは、以前に学習したタスクの表現として機能し、HTは、過去のタスクを忘れずに新しいタスクを学習できるように、これらの重みを更新するように訓練される。 このアプローチは、通常、リプレイバッファの使用、重み付け正規化、タスク依存アーキテクチャの変更に依存するほとんどの連続的な学習アルゴリズムとは異なる。 提案手法は,ミニバッチからの学習,タスクインクリメンタルおよびクラスインクリメンタルな学習シナリオなど,様々なシナリオで過去のタスクに関する知識を学習し保持することができる。

関連論文リスト

• Continual Diffuser (CoD): Mastering Continual Offline Reinforcement Learning with Experience Rehearsal [54.93261535899478]
  強化学習のロボット制御のような現実世界の応用では、タスクが変化し、新しいタスクが順次発生する。 この状況は、タスクの変更に適応し、獲得した知識を保持するエージェントを訓練する上で、可塑性-安定トレードオフという新たな課題を生じさせる。 本研究では,連続拡散器(Continuous diffuser,CoD)と呼ばれるリハーサルに基づく連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-04T08:21:47Z)
• Dynamic Transformer Architecture for Continual Learning of Multimodal Tasks [27.59758964060561]
  トランスフォーマーニューラルネットワークは、さまざまなデータモダリティの幅広いアプリケーションにおいて、以前のアーキテクチャを置き換える傾向にある。 連続学習(CL)は、自律学習エージェントに順次到着するタスク間で知識の伝達を容易にすることで、ソリューションとして現れる。 本稿では,視覚と言語の両方に関わる学習タスクに着目したトランスフォーマーベースのCLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-27T03:03:30Z)
• Generalization to New Sequential Decision Making Tasks with In-Context Learning [23.36106067650874]
  少数のデモから新しいタスクを学習できる自律エージェントの訓練は、機械学習における長年の問題である。 本稿では,変換器を逐次決定問題に適用しても,新しいタスクの文脈内学習は不可能であることを示す。 我々は、異なる設計選択を調査し、より大きなモデルとデータセットサイズ、さらにタスクの多様性、環境、トラジェクトリのバーストネスが、新しいアウト・オブ・ディストリビューションタスクのコンテキスト内学習の改善をもたらすことを発見した。
  論文  参考訳（メタデータ） (2023-12-06T15:19:28Z)
• CLR: Channel-wise Lightweight Reprogramming for Continual Learning [63.94773340278971]
  継続的な学習は、逐次的なタスクを通じて継続的に知識を蓄積する人間の能力をエミュレートすることを目的としている。 主な課題は、新しいタスクを学習した後、以前に学習したタスクのパフォーマンスを維持することである。 本稿では、畳み込みニューラルネットワークが破滅的な忘れを克服するのに役立つチャネルワイドなライトウェイト・リプログラミング手法を提案する。
  論文  参考訳（メタデータ） (2023-07-21T06:56:21Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Incremental Task Learning with Incremental Rank Updates [20.725181015069435]
  低ランク因数分解に基づく新しい漸進的タスク学習フレームワークを提案する。 提案手法は,現在の最先端手法よりも,精度と忘れやすさの点で優れていることを示す。
  論文  参考訳（メタデータ） (2022-07-19T05:21:14Z)
• Fully Online Meta-Learning Without Task Boundaries [80.09124768759564]
  この性質のオンライン問題にメタラーニングを適用する方法について検討する。 タスク境界に関する基礎的な真理知識を必要としない完全オンラインメタラーニング(FOML)アルゴリズムを提案する。 実験の結果,FOMLは最先端のオンライン学習手法よりも高速に新しいタスクを学習できることがわかった。
  論文  参考訳（メタデータ） (2022-02-01T07:51:24Z)
• Rectification-based Knowledge Retention for Continual Learning [49.1447478254131]
  ディープラーニングモデルは、インクリメンタルな学習環境で訓練されたときに壊滅的な忘れに苦しむ。 タスクインクリメンタル学習問題に対処するための新しいアプローチを提案する。これは、インクリメンタルに到着する新しいタスクに関するモデルをトレーニングすることを含む。 私たちのアプローチは、ゼロショットと非ゼロショットタスクインクリメンタルラーニング設定の両方で使用できます。
  論文  参考訳（メタデータ） (2021-03-30T18:11:30Z)
• iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
  人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。 ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。 遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
  論文  参考訳（メタデータ） (2020-03-25T21:42:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。