論文の概要: ATLAS: Universal Function Approximator for Memory Retention

• arxiv url: http://arxiv.org/abs/2208.05388v1
• Date: Wed, 10 Aug 2022 15:10:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-11 12:32:11.140209
• Title: ATLAS: Universal Function Approximator for Memory Retention
• Title（参考訳）: ATLAS: メモリ保持のためのユニバーサル関数近似器
• Authors: Heinrich van Deventer, Anna Bosman
• Abstract要約: 破滅的な忘れは、新しいタスクが学習されると、以前のタスクの突然のアンラーニングを指す。 ANNの既存の普遍関数近似定理は、関数近似能力を保証するが、破滅的な忘れを予測しない。 本稿では,単変数関数と指数関数のみを用いた多変数関数に対する新しい普遍近似定理を提案する。 ATLASは記憶保持と連続学習が可能な普遍関数近似器である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Artificial neural networks (ANNs), despite their universal function approximation capability and practical success, are subject to catastrophic forgetting. Catastrophic forgetting refers to the abrupt unlearning of a previous task when a new task is learned. It is an emergent phenomenon that hinders continual learning. Existing universal function approximation theorems for ANNs guarantee function approximation ability, but do not predict catastrophic forgetting. This paper presents a novel universal approximation theorem for multi-variable functions using only single-variable functions and exponential functions. Furthermore, we present ATLAS: a novel ANN architecture based on the new theorem. It is shown that ATLAS is a universal function approximator capable of some memory retention, and continual learning. The memory of ATLAS is imperfect, with some off-target effects during continual learning, but it is well-behaved and predictable. An efficient implementation of ATLAS is provided. Experiments are conducted to evaluate both the function approximation and memory retention capabilities of ATLAS.
• Abstract（参考訳）: 人工ニューラルネットワーク(ANN)はその普遍的な機能近似能力と実用的成功にもかかわらず、破滅的な忘れがちである。 破滅的な忘れは、新しいタスクが学習されると、以前のタスクの突然のアンラーニングを指す。 継続的な学習を妨げる創発的な現象である。 ANNの既存の普遍関数近似定理は、関数近似能力を保証するが、破滅的な忘れを予測しない。 本稿では,単変数関数と指数関数のみを用いた多変数関数に対する新しい普遍近似定理を提案する。 さらに,新たな定理に基づく新しいANNアーキテクチャであるATLASを提案する。 アトラスは記憶保持能力と連続学習能力を持つ普遍関数近似器であることが示された。 ATLASの記憶は不完全であり、連続的な学習の間にターゲット外の影響がいくつかある。 ATLASの効率的な実装を提供する。 atlasの関数近似とメモリ保持能力の両方を評価する実験を行った。

関連論文リスト

• Tractable and Provably Efficient Distributional Reinforcement Learning with General Value Function Approximation [8.378137704007038]
  一般値関数近似を用いた分布強化学習における後悔の解析について述べる。 理論的な結果は,無限次元の戻り分布を有限個のモーメント関数で近似することが,統計情報をバイアスなく学習する唯一の方法であることを示している。
  論文  参考訳（メタデータ） (2024-07-31T00:43:51Z)
• Offline Reinforcement Learning with Differentiable Function Approximation is Provably Efficient [65.08966446962845]
  歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。 微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。 最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
  論文  参考訳（メタデータ） (2022-10-03T07:59:42Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
  ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。 本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
  論文  参考訳（メタデータ） (2022-04-10T11:38:33Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• A Generalized Bootstrap Target for Value-Learning, Efficiently Combining Value and Feature Predictions [39.17511693008055]
  値関数の推定は強化学習アルゴリズムのコアコンポーネントである。 値関数を推定する際に使用されるターゲットのブートストラップに焦点を当てる。 新たなバックアップターゲットである$eta$-returnmixを提案する。
  論文  参考訳（メタデータ） (2022-01-05T21:54:55Z)
• Schematic Memory Persistence and Transience for Efficient and Robust Continual Learning [8.030924531643532]
  継続学習は、次世代人工知能(AI)に向けた有望なステップであると考えられている まだ非常に原始的であり、既存の作品は主に(破滅的な)忘れの回避に焦点が当てられている。 神経科学の最近の進歩を踏まえた,外部記憶を用いた連続学習のための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2021-05-05T14:32:47Z)
• UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
  学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。 ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
  論文  参考訳（メタデータ） (2020-07-28T09:31:56Z)
• Discovering Parametric Activation Functions [17.369163074697475]
  本稿では,アクティベーション機能を自動でカスタマイズする手法を提案する。 CIFAR-10とCIFAR-100の画像分類データセット上の4つの異なるニューラルネットワークアーキテクチャによる実験は、このアプローチが有効であることを示している。
  論文  参考訳（メタデータ） (2020-06-05T00:25:33Z)
• Reinforcement Learning with General Value Function Approximation: Provably Efficient Approach via Bounded Eluder Dimension [124.7752517531109]
  一般値関数近似を用いた効率の良い強化学習アルゴリズムを確立する。 我々のアルゴリズムは、$d$が複雑性測度である場合、$widetildeO(mathrmpoly(dH)sqrtT)$の後悔の限界を達成することを示す。 我々の理論は線形値関数近似によるRLの最近の進歩を一般化し、環境モデルに対する明示的な仮定をしない。
  論文  参考訳（メタデータ） (2020-05-21T17:36:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。