論文の概要: Multiple Modes for Continual Learning

• arxiv url: http://arxiv.org/abs/2209.14996v1
• Date: Thu, 29 Sep 2022 17:55:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 17:48:21.539207
• Title: Multiple Modes for Continual Learning
• Title（参考訳）: 連続学習のための複数モード
• Authors: Siddhartha Datta, Nigel Shadbolt
• Abstract要約: データストリームの入力にモデルパラメータを適用することは、ディープラーニングのスケーラビリティにとって重要な要素である。 複数のパラメータモードの構築とモード毎のタスク割り当てのトレードオフを定式化する。 ベースライン継続学習戦略の改善を実証的に実証した。
• 参考スコア（独自算出の注目度）: 8.782809316491948
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Adapting model parameters to incoming streams of data is a crucial factor to deep learning scalability. Interestingly, prior continual learning strategies in online settings inadvertently anchor their updated parameters to a local parameter subspace to remember old tasks, else drift away from the subspace and forget. From this observation, we formulate a trade-off between constructing multiple parameter modes and allocating tasks per mode. Mode-Optimized Task Allocation (MOTA), our contributed adaptation strategy, trains multiple modes in parallel, then optimizes task allocation per mode. We empirically demonstrate improvements over baseline continual learning strategies and across varying distribution shifts, namely sub-population, domain, and task shift.
• Abstract（参考訳）: データストリームの入力にモデルパラメータを適用することは、ディープラーニングのスケーラビリティにとって重要な要素である。 興味深いことに、オンライン設定における事前連続的な学習戦略は、古いタスクを思い出すために更新されたパラメータをローカルパラメータサブスペースに不注意に固定する。 この観察から,複数のパラメータモードの構築とモード毎のタスク割り当てのトレードオフを定式化する。 モード最適化タスク割り当て(MOTA)は,複数のモードを並列にトレーニングし,モードごとのタスク割り当てを最適化する。 我々は,ベースライン型連続学習戦略やサブポピュレーション,ドメイン,タスクシフトなど,様々な分布シフトの改善を実証的に示す。

関連論文リスト

• Task-Aware Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning [70.96345405979179]
  オフラインマルチタスク強化学習(MTRL)の目的は、オンライン環境相互作用を必要とせず、多様なタスクに適用可能な統一されたポリシーを開発することである。 タスクの内容と複雑さの変化は、政策の定式化において重大な課題を引き起こします。 本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。
  論文  参考訳（メタデータ） (2024-11-02T05:49:14Z)
• HarmoDT: Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning [72.25707314772254]
  本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。 このフレームワークの上位レベルは、調和部分空間を規定するタスク固有のマスクの学習に特化しており、内部レベルは、統一されたポリシーの全体的なパフォーマンスを高めるためにパラメータの更新に重点を置いている。
  論文  参考訳（メタデータ） (2024-05-28T11:41:41Z)
• MetaModulation: Learning Variational Feature Hierarchies for Few-Shot Learning with Fewer Tasks [63.016244188951696]
  本稿では,タスクを減らした少数ショット学習手法を提案する。 メタトレーニングタスクを増やすために、さまざまなバッチレベルでパラメータを変更します。 また,変分法を取り入れた学習的変分特徴階層も導入する。
  論文  参考訳（メタデータ） (2023-05-17T15:47:47Z)
• Exploiting Style Transfer-based Task Augmentation for Cross-Domain Few-Shot Learning [4.678020383205135]
  ドメイン間の数ショット学習では、ソースドメインでトレーニングされたモデルは、ターゲットドメインへの一般化に苦労する。 本稿では,TAML(Task Augmented Meta-Learning)を提案する。 提案したTAMLは、トレーニングタスクのスタイルの多様性を高め、ドメインの一般化能力を向上したモデルのトレーニングに寄与する。
  論文  参考訳（メタデータ） (2023-01-19T07:32:23Z)
• Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation [87.98063273826702]
  本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。 本手法の有効性を証明するために理論的解析を行った。
  論文  参考訳（メタデータ） (2022-03-22T12:41:55Z)
• Efficient Feature Transformations for Discriminative and Generative Continual Learning [98.10425163678082]
  継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。 これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。 本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
  論文  参考訳（メタデータ） (2021-03-25T01:48:14Z)
• Efficient Continual Adaptation for Generative Adversarial Networks [97.20244383723853]
  GAN(Generative Adversarial Network)に対する連続学習手法を提案する。 我々のアプローチは、グローバルパラメータとタスク固有のパラメータのセットを学習することに基づいている。 機能マップ変換に基づくアプローチは,最先端のgans手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-06T05:09:37Z)
• Neuromodulated Neural Architectures with Local Error Signals for Memory-Constrained Online Continual Learning [4.2903672492917755]
  我々は,局所学習とニューロ変調を取り入れた,生物学的にインスパイアされた軽量ニューラルネットワークアーキテクチャを開発した。 一つの課題と連続的な学習環境の両方にアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-07-16T07:41:23Z)
• Multi-Task Reinforcement Learning with Soft Modularization [25.724764855681137]
  マルチタスク学習は強化学習において非常に難しい問題である。 この最適化問題を緩和するために,ポリシー表現に明示的なモジュール化手法を導入する。 提案手法は,強いベースライン上でのサンプリング効率と性能を,大きなマージンで向上することを示す。
  論文  参考訳（メタデータ） (2020-03-30T17:47:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。