Fugu-MT 論文翻訳(概要): Continual learning: a feature extraction formalization, an efficient algorithm, and fundamental obstructions

論文の概要: Continual learning: a feature extraction formalization, an efficient algorithm, and fundamental obstructions

arxiv url: http://arxiv.org/abs/2203.14383v1
Date: Sun, 27 Mar 2022 20:20:41 GMT
ステータス: 処理完了
システム内更新日: 2022-03-30 09:39:14.534737
Title: Continual learning: a feature extraction formalization, an efficient algorithm, and fundamental obstructions
Title（参考訳）: 連続学習:特徴抽出形式化、効率的なアルゴリズム、基本的な障害
Authors: Binghui Peng and Andrej Risteski
Abstract要約: 継続的学習は機械学習の新たなパラダイムである。本稿では,特徴抽出の枠組みを通した連続学習の枠組みを提案する。
参考スコア（独自算出の注目度）: 30.61165302635335
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Continual learning is an emerging paradigm in machine learning, wherein a model is exposed in an online fashion to data from multiple different distributions (i.e. environments), and is expected to adapt to the distribution change. Precisely, the goal is to perform well in the new environment, while simultaneously retaining the performance on the previous environments (i.e. avoid "catastrophic forgetting") -- without increasing the size of the model. While this setup has enjoyed a lot of attention in the applied community, there hasn't be theoretical work that even formalizes the desired guarantees. In this paper, we propose a framework for continual learning through the framework of feature extraction -- namely, one in which features, as well as a classifier, are being trained with each environment. When the features are linear, we design an efficient gradient-based algorithm $\mathsf{DPGD}$, that is guaranteed to perform well on the current environment, as well as avoid catastrophic forgetting. In the general case, when the features are non-linear, we show such an algorithm cannot exist, whether efficient or not.
Abstract（参考訳）: 連続学習は機械学習における新たなパラダイムであり、モデルは複数の異なる分布(環境)のデータにオンライン形式で公開され、分布の変化に適応することが期待される。 Precisely, the goal is to perform well in the new environment, while simultaneously retaining the performance on the previous environments (i.e. avoid "catastrophic forgetting") -- without increasing the size of the model. While this setup has enjoyed a lot of attention in the applied community, there hasn't be theoretical work that even formalizes the desired guarantees. In this paper, we propose a framework for continual learning through the framework of feature extraction -- namely, one in which features, as well as a classifier, are being trained with each environment. 特徴が線形であれば、現在の環境でうまく機能し、破滅的な忘れを回避できる効率的な勾配に基づくアルゴリズム $\mathsf{dpgd}$ を設計します。一般に、特徴が非線形である場合、効率的かどうかに関わらず、そのようなアルゴリズムは存在できないことを示す。

関連論文リスト

Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
論文参考訳（メタデータ） (2024-10-30T17:20:10Z)
SimPro: A Simple Probabilistic Framework Towards Realistic Long-Tailed Semi-Supervised Learning [49.94607673097326]
ラベルなしデータの分散に関する前提を前提としない、高度に適応可能なフレームワークをSimProとして提案する。我々のフレームワークは確率モデルに基づいており、期待最大化アルゴリズムを革新的に洗練する。本手法は,様々なベンチマークやデータ分散シナリオにまたがる一貫した最先端性能を示す。
論文参考訳（メタデータ） (2024-02-21T03:39:04Z)
Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文参考訳（メタデータ） (2023-06-21T01:43:25Z)
Fairness Uncertainty Quantification: How certain are you that the model is fair? [13.209748908186606]
現代の機械学習において、グラディエント・Descent(SGD)型アルゴリズムは、学習されたモデルがランダムであることを示す訓練アルゴリズムとして、ほぼ常に使用される。本研究では,グループフェアネスを意識した信頼区間(CI)、特にDI(Disparate Impact)とDM(Disparate Mistreatment)を意識した線形二項分類器をオンラインSGD型アルゴリズムを用いてトレーニングする場合に,不公平性テストのための信頼区間(CI)を提供する。
論文参考訳（メタデータ） (2023-04-27T04:07:58Z)
Neural Active Learning on Heteroskedastic Distributions [29.01776999862397]
ヘテロスケダスティックデータセット上でのアクティブ学習アルゴリズムの破滅的な失敗を実証する。本稿では,各データポイントにモデル差分スコアリング関数を組み込んで,ノイズの多いサンプルとサンプルクリーンなサンプルをフィルタするアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-11-02T07:30:19Z)
DLCFT: Deep Linear Continual Fine-Tuning for General Incremental Learning [29.80680408934347]
事前学習した表現からモデルを連続的に微調整するインクリメンタルラーニングのための代替フレームワークを提案する。本手法は, ニューラルネットワークの線形化手法を利用して, 単純かつ効果的な連続学習を行う。本手法は,データ増分,タスク増分およびクラス増分学習問題において,一般的な連続学習設定に適用可能であることを示す。
論文参考訳（メタデータ） (2022-08-17T06:58:14Z)
On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文参考訳（メタデータ） (2022-03-08T09:57:48Z)
Learning Neural Models for Natural Language Processing in the Face of Distributional Shift [10.990447273771592]
特定のデータセットでひとつのタスクを実行するための強力な神経予測器をトレーニングするNLPのパラダイムが、さまざまなアプリケーションで最先端のパフォーマンスを実現している。データ分布が定常である、すなわち、トレーニングとテストの時間の両方で、データは固定された分布からサンプリングされる、という仮定に基づいて構築される。この方法でのトレーニングは、人間が絶えず変化する情報の流れの中で学習し、操作できる方法と矛盾する。データ分散がモデル寿命の経過とともにシフトすることが期待される実世界のユースケースに不適応である。
論文参考訳（メタデータ） (2021-09-03T14:29:20Z)
Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
論文参考訳（メタデータ） (2021-06-24T05:19:26Z)
Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
論文参考訳（メタデータ） (2021-05-03T07:23:39Z)
Learning to Continuously Optimize Wireless Resource In Episodically Dynamic Environment [55.91291559442884]
この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
論文参考訳（メタデータ） (2020-11-16T08:24:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。