論文の概要: Provable and Efficient Continual Representation Learning

• arxiv url: http://arxiv.org/abs/2203.02026v1
• Date: Thu, 3 Mar 2022 21:23:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-08 02:30:00.624856
• Title: Provable and Efficient Continual Representation Learning
• Title（参考訳）: 証明可能かつ効率的な連続表現学習
• Authors: Yingcong Li, Mingchen Li, M. Salman Asif, Samet Oymak
• Abstract要約: 連続学習(CL)では、悲惨なことを忘れずに一連のタスクを学習できるモデルを設計することが目的である。 我々は、新しいタスクが到着するにつれて進化する表現を学習する連続表現学習の課題について研究する。 初期タスクが大きなサンプルサイズと高い"表現多様性"を持つ場合,CLのメリットが示される。
• 参考スコア（独自算出の注目度）: 40.78975699391065
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In continual learning (CL), the goal is to design models that can learn a sequence of tasks without catastrophic forgetting. While there is a rich set of techniques for CL, relatively little understanding exists on how representations built by previous tasks benefit new tasks that are added to the network. To address this, we study the problem of continual representation learning (CRL) where we learn an evolving representation as new tasks arrive. Focusing on zero-forgetting methods where tasks are embedded in subnetworks (e.g., PackNet), we first provide experiments demonstrating CRL can significantly boost sample efficiency when learning new tasks. To explain this, we establish theoretical guarantees for CRL by providing sample complexity and generalization error bounds for new tasks by formalizing the statistical benefits of previously-learned representations. Our analysis and experiments also highlight the importance of the order in which we learn the tasks. Specifically, we show that CL benefits if the initial tasks have large sample size and high "representation diversity". Diversity ensures that adding new tasks incurs small representation mismatch and can be learned with few samples while training only few additional nonzero weights. Finally, we ask whether one can ensure each task subnetwork to be efficient during inference time while retaining the benefits of representation learning. To this end, we propose an inference-efficient variation of PackNet called Efficient Sparse PackNet (ESPN) which employs joint channel & weight pruning. ESPN embeds tasks in channel-sparse subnets requiring up to 80% less FLOPs to compute while approximately retaining accuracy and is very competitive with a variety of baselines. In summary, this work takes a step towards data and compute-efficient CL with a representation learning perspective. GitHub page: https://github.com/ucr-optml/CtRL
• Abstract（参考訳）: 連続学習(CL)では、悲惨なことを忘れずに一連のタスクを学習できるモデルを設計することが目的である。 CLには豊富なテクニックセットがあるが、以前のタスクによって構築された表現が、ネットワークに追加される新しいタスクにどのように役立つかについての理解は比較的少ない。 そこで我々は,新しいタスクが到着するにつれて,継続表現学習(CRL)の課題を学習する。 サブネットワーク(PackNetなど)にタスクを埋め込むゼロフォッゲッティング手法に着目し,CRLが新しいタスクを学習する際のサンプル効率を大幅に向上させることを示す実験を行った。 そこで本研究では,crlの統計的利点を定式化することにより,新しいタスクのサンプル複雑性と一般化誤差境界を提供することにより,crlの理論的保証を確立する。 私たちの分析と実験では、タスクを学ぶ順番の重要性も強調しています。 具体的には、初期タスクが大きなサンプルサイズと高い"表現多様性"を持つ場合、CLの利点を示す。 ダイバーシティは、新しいタスクの追加が小さな表現ミスマッチを引き起こし、わずかなサンプルで学習でき、さらにいくつかの非ゼロウェイトしかトレーニングできないことを保証します。 最後に,表象学習の利点を保ちながら,各タスクサブネットワークが推論時間内に効率的であることを保証できるかどうかを問う。 そこで本研究では,sparse packnet (espn) とよばれる予測効率の高いパックネットの変種を提案する。 ESPNは、精度をほぼ保ちながら計算するFLOPを最大80%削減する必要のあるチャンネルスパースサブネットにタスクを埋め込み、さまざまなベースラインと非常に競合する。 要約すると、この研究は表現学習の観点からデータと計算効率の高いCLに向かって一歩前進する。 githubページ: https://github.com/ucr-optml/ctrl

関連論文リスト

• Loop Improvement: An Efficient Approach for Extracting Shared Features from Heterogeneous Data without Central Server [16.249442761713322]
  LI(Loop Improvement)は、この分離と特徴抽出を、参加者間の中央サーバやデータ交換を必要とせずに強化する新しい手法である。 パーソナライズされたフェデレーション学習環境では、LIは様々なシナリオで高度なFedALAアルゴリズムよりも精度が高い。 LIの適応性はマルチタスク学習にまで拡張され、タスク間で共通の機能の抽出が合理化され、同時にトレーニングする必要がなくなる。
  論文  参考訳（メタデータ） (2024-03-21T12:59:24Z)
• Distribution Matching for Multi-Task Learning of Classification Tasks: a Large-Scale Study on Faces & Beyond [62.406687088097605]
  マルチタスク学習(MTL)は、複数の関連するタスクを共同で学習し、共有表現空間から恩恵を受けるフレームワークである。 MTLは、ほとんど重複しない、あるいは重複しないアノテーションで分類タスクで成功することを示す。 本稿では,分散マッチングによるタスク間の知識交換を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-02T14:18:11Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Provable Benefit of Multitask Representation Learning in Reinforcement Learning [46.11628795660159]
  本稿では,低ランクマルコフ決定過程(MDP)モデルに基づく表現学習の利点を理論的に特徴づける。 我々の知る限りでは、探索に基づく報酬なしマルチタスク強化学習における表現学習の利点を特徴づける最初の理論的研究である。
  論文  参考訳（メタデータ） (2022-06-13T04:29:02Z)
• Enhancing Continual Learning with Global Prototypes: Counteracting Negative Representation Drift [16.177180198865848]
  継続的な学習は、あるタスクから別のタスクにデータ分散がシフトすることで、時間の経過とともに一連のタスクを学習することを目的としている。 負の表現の漂流は、局所的に学習されたクラスプロトタイプとデータ表現がタスク間で相関が悪くなることによって、破滅的な忘れを引き起こす可能性がある。 本稿では,学習のガイドとなるグローバルプロトタイプを見つけ,自己教師型情報の正規化によってデータ表現を学習する手法を提案する。
  論文  参考訳（メタデータ） (2022-05-24T16:41:30Z)
• Active Multi-Task Representation Learning [50.13453053304159]
  本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。 提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
  論文  参考訳（メタデータ） (2022-02-02T08:23:24Z)
• Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation [111.44445634272235]
  本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。 PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。 我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
  論文  参考訳（メタデータ） (2020-01-13T14:09:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。