論文の概要: Distal Interference: Exploring the Limits of Model-Based Continual Learning

• arxiv url: http://arxiv.org/abs/2402.08255v1
• Date: Tue, 13 Feb 2024 07:07:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-14 16:18:20.988083
• Title: Distal Interference: Exploring the Limits of Model-Based Continual Learning
• Title（参考訳）: 遠位干渉:モデルに基づく連続学習の限界を探る
• Authors: Heinrich van Deventer, Anna Sergeevna Bosman
• Abstract要約: 継続的な学習は破滅的な干渉や忘れによって妨げられる。 実際に成功したにもかかわらず、人工知能ニューラルネットワーク(ANN)は破滅的な干渉を起こしやすい。 複雑性モデルによる連続的な学習には、トレーニングデータやアルゴリズムの強化が必要であると推測されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning is the sequential learning of different tasks by a machine learning model. Continual learning is known to be hindered by catastrophic interference or forgetting, i.e. rapid unlearning of earlier learned tasks when new tasks are learned. Despite their practical success, artificial neural networks (ANNs) are prone to catastrophic interference. This study analyses how gradient descent and overlapping representations between distant input points lead to distal interference and catastrophic interference. Distal interference refers to the phenomenon where training a model on a subset of the domain leads to non-local changes on other subsets of the domain. This study shows that uniformly trainable models without distal interference must be exponentially large. A novel antisymmetric bounded exponential layer B-spline ANN architecture named ABEL-Spline is proposed that can approximate any continuous function, is uniformly trainable, has polynomial computational complexity, and provides some guarantees for distal interference. Experiments are presented to demonstrate the theoretical properties of ABEL-Splines. ABEL-Splines are also evaluated on benchmark regression problems. It is concluded that the weaker distal interference guarantees in ABEL-Splines are insufficient for model-only continual learning. It is conjectured that continual learning with polynomial complexity models requires augmentation of the training data or algorithm.
• Abstract（参考訳）: 連続学習は、機械学習モデルによって異なるタスクの逐次学習である。 継続的学習は、破滅的な干渉や忘れること、すなわち新しいタスクが学習されたときの学習済みのタスクの迅速な未学習によって妨げられることが知られている。 実用的成功にもかかわらず、ニューラルネットワーク(ann)は壊滅的な干渉を起こしやすい。 本研究では,遠方入力点間の勾配降下と重なり合う表現が遠位干渉や破滅的干渉の原因となるか分析する。 遠方干渉とは、ドメインのサブセット上でモデルをトレーニングすることで、ドメインの他のサブセットの非局所的な変更につながる現象を指す。 本研究は、遠位干渉のない一様トレーニング可能なモデルが指数関数的に大きくなければならないことを示す。 ABEL-Splineと呼ばれる新しい非対称有界指数層B-spline ANNアーキテクチャは、任意の連続関数を近似し、一様訓練が可能で、多項式計算の複雑さを持ち、遠位干渉の保証を提供する。 ABEL-Splinesの理論的性質を実証するために実験を行った。 ABEL-Splinesは、ベンチマーク回帰問題でも評価される。 ABEL-Splinesにおける遠位干渉保証の弱さは,モデルのみの連続学習には不十分である。 多項式複雑性モデルとの連続学習には、トレーニングデータやアルゴリズムの強化が必要であると推測される。

関連論文リスト

• Temporal-Difference Variational Continual Learning [89.32940051152782]
  現実世界のアプリケーションにおける機械学習モデルの重要な機能は、新しいタスクを継続的に学習する能力である。 継続的な学習設定では、モデルは以前の知識を保持することで新しいタスクの学習のバランスをとるのに苦労することが多い。 複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Learning in Hybrid Active Inference Models [0.8749675983608172]
  本稿では,高レベル離散型アクティブ・推論・プランナを低レベル連続型アクティブ・推論・コントローラの上に置く階層型ハイブリッド・アクティブ・推論・エージェントを提案する。 我々は、意味のある離散表現のエンドツーエンド学習を実装する線形力学系をリカレントに切り替えるという最近の研究を活用している。 当社のモデルを,探索と計画成功による高速なシステム識別を実証し,スパースな連続マウンテンカータスクに適用する。
  論文  参考訳（メタデータ） (2024-09-02T08:41:45Z)
• Harnessing Neural Unit Dynamics for Effective and Scalable Class-Incremental Learning [38.09011520275557]
  クラスインクリメンタルラーニング(Class-incremental Learning, CIL)は、古いクラスを忘れずに、非定常データストリームから新しいクラスを学ぶためのモデルをトレーニングすることを目的としている。 本稿では、ニューラルネットワークの動作をCILに適応させるニューラルネットワークユニットダイナミクスを調整し、新しい種類のコネクショナリストモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-04T15:47:03Z)
• The Edge-of-Reach Problem in Offline Model-Based Reinforcement Learning [37.387280102209274]
  オフライン強化学習は、事前に収集されたデータセットからエージェントをトレーニング可能にすることを目的としている。 モデルベースの手法は、エージェントが学習されたダイナミックスモデルでロールアウトを介して追加の合成データを収集できるようにすることで、ソリューションを提供する。 しかし、学習したダイナミックスモデルを真のエラーフリーなダイナミックスに置き換えると、既存のモデルベースのメソッドは完全に失敗する。 本稿では, エッジ・オブ・リーチ問題に直接対処する単純で堅牢な手法であるReach-Aware Value Learning (RAVL)を提案する。
  論文  参考訳（メタデータ） (2024-02-19T20:38:00Z)
• Neural Network Approximation for Pessimistic Offline Reinforcement Learning [17.756108291816908]
  一般ニューラルネットワーク近似を用いた悲観的オフラインRLの非漸近的推定誤差を提案する。 その結果, 推定誤差は2つの部分から構成されることがわかった。第1は, 部分的に制御可能な集束率でサンプルサイズに所望の速度で0に収束し, 第2は残留制約が厳密であれば無視可能である。
  論文  参考訳（メタデータ） (2023-12-19T05:17:27Z)
• Theoretical Characterization of the Generalization Performance of Overfitted Meta-Learning [70.52689048213398]
  本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。 シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。 本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
  論文  参考訳（メタデータ） (2023-04-09T20:36:13Z)
• Neural Abstractions [72.42530499990028]
  本稿では,ニューラルネットワークを用いた非線形力学モデルの安全性検証手法を提案する。 提案手法は,既存のベンチマーク非線形モデルにおいて,成熟度の高いFlow*と同等に動作することを示す。
  論文  参考訳（メタデータ） (2023-01-27T12:38:09Z)
• Training Generative Adversarial Networks by Solving Ordinary Differential Equations [54.23691425062034]
  GANトレーニングによって引き起こされる連続時間ダイナミクスについて検討する。 この観点から、GANのトレーニングにおける不安定性は積分誤差から生じると仮定する。 本研究では,有名なODEソルバ(Runge-Kutta など)がトレーニングを安定化できるかどうかを実験的に検証する。
  論文  参考訳（メタデータ） (2020-10-28T15:23:49Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)
• Enhancement of shock-capturing methods via machine learning [0.0]
  我々は不連続解を用いてPDEをシミュレートするための改良された有限体積法を開発した。 5階WENO法の結果を改善するためにニューラルネットワークを訓練する。 数値解が過度に拡散するシミュレーションにおいて,本手法はWENOよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-02-06T21:51:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。