論文の概要: Towards the One Learning Algorithm Hypothesis: A System-theoretic
Approach
- arxiv url: http://arxiv.org/abs/2112.02256v1
- Date: Sat, 4 Dec 2021 05:54:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-10 08:50:23.585552
- Title: Towards the One Learning Algorithm Hypothesis: A System-theoretic
Approach
- Title(参考訳): one learning algorithm hypothesisに向けて:システム理論的アプローチ
- Authors: Christos Mavridis, John Baras
- Abstract要約: 人間の認知における普遍的な学習アーキテクチャの存在は、神経科学の実験的な発見によって支持される広範囲にわたる推測である。
i) マルチレゾリューション分析プリプロセッサ, (ii) グループ不変の特徴抽出器, (iii) プログレッシブ知識に基づく学習モジュールの3つの主成分からなる閉ループシステムを開発した。
複数の解像度で徐々に成長する知識表現を構成する新しい学習アルゴリズムを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The existence of a universal learning architecture in human cognition is a
widely spread conjecture supported by experimental findings from neuroscience.
While no low-level implementation can be specified yet, an abstract outline of
human perception and learning is believed to entail three basic properties: (a)
hierarchical attention and processing, (b) memory-based knowledge
representation, and (c) progressive learning and knowledge compaction. We
approach the design of such a learning architecture from a system-theoretic
viewpoint, developing a closed-loop system with three main components: (i) a
multi-resolution analysis pre-processor, (ii) a group-invariant feature
extractor, and (iii) a progressive knowledge-based learning module.
Multi-resolution feedback loops are used for learning, i.e., for adapting the
system parameters to online observations. To design (i) and (ii), we build upon
the established theory of wavelet-based multi-resolution analysis and the
properties of group convolution operators. Regarding (iii), we introduce a
novel learning algorithm that constructs progressively growing knowledge
representations in multiple resolutions. The proposed algorithm is an extension
of the Online Deterministic Annealing (ODA) algorithm based on annealing
optimization, solved using gradient-free stochastic approximation. ODA has
inherent robustness and regularization properties and provides a means to
progressively increase the complexity of the learning model i.e. the number of
the neurons, as needed, through an intuitive bifurcation phenomenon. The
proposed multi-resolution approach is hierarchical, progressive,
knowledge-based, and interpretable. We illustrate the properties of the
proposed architecture in the context of the state-of-the-art learning
algorithms and deep learning methods.
- Abstract(参考訳): 人間の認知における普遍的な学習アーキテクチャの存在は、神経科学の実験的な発見によって支持される広範囲にわたる推測である。
低レベルの実装はまだ特定できないが、人間の知覚と学習の抽象的な概要は以下の3つの基本的特性を含んでいると考えられている。
(a)階層的な注意と処理
(b)記憶に基づく知識表現、及び
(c) 進歩的学習と知識のコンパクト化。
システム理論的な視点からこのような学習アーキテクチャの設計にアプローチし、3つの主成分を持つ閉ループシステムを開発する。
i)多分解能解析前処理装置
(ii)群不変特徴抽出器、及び
(iii)進歩的知識に基づく学習モジュール。
マルチレゾリューションフィードバックループは、学習、すなわちシステムパラメータをオンライン観察に適応させるために使用される。
デザインする
(i)および
(ii)ウェーブレットに基づくマルチレゾリューション解析の確立した理論と群畳み込み作用素の性質に基づいている。
周辺
(iii) 複数の解像度で徐々に成長する知識表現を構成する新しい学習アルゴリズムを提案する。
提案アルゴリズムはアニーリング最適化に基づくオンライン決定論的アニーリング(ODA)アルゴリズムの拡張であり、勾配のない確率近似を用いて解く。
オダは本質的に堅牢性と正規化の性質を持ち、学習モデルの複雑さ、すなわち必要に応じてニューロンの数を増やす手段を直感的な分岐現象を通じて提供する。
提案したマルチレゾリューションアプローチは階層的で、進歩的で、知識ベースで、解釈可能である。
本稿では,最先端学習アルゴリズムとディープラーニング手法の文脈において,提案アーキテクチャの特性を説明する。
関連論文リスト
- Reasoning Algorithmically in Graph Neural Networks [1.8130068086063336]
ニューラルネットワークの適応学習能力にアルゴリズムの構造的および規則に基づく推論を統合することを目的としている。
この論文は、この領域の研究に理論的および実践的な貢献を提供する。
論文 参考訳(メタデータ) (2024-02-21T12:16:51Z) - Human as Points: Explicit Point-based 3D Human Reconstruction from
Single-view RGB Images [78.56114271538061]
我々はHaPと呼ばれる明示的なポイントベース人間再構築フレームワークを導入する。
提案手法は,3次元幾何学空間における完全明示的な点雲推定,操作,生成,洗練が特徴である。
我々の結果は、完全に明示的で幾何学中心のアルゴリズム設計へのパラダイムのロールバックを示すかもしれない。
論文 参考訳(メタデータ) (2023-11-06T05:52:29Z) - A Geometric Framework for Neural Feature Learning [6.861324267170669]
幾何学的構造を持つ同じ関数空間における統計的依存と特徴を統一する特徴幾何学を導入する。
特徴幾何を適用することで、各学習問題を学習設定によって指定された依存成分の最適特徴近似の解法として定式化する。
論文 参考訳(メタデータ) (2023-09-18T20:39:12Z) - Representation Learning with Multi-Step Inverse Kinematics: An Efficient
and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。
所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。
我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文 参考訳(メタデータ) (2023-04-12T14:51:47Z) - Multi-Resolution Online Deterministic Annealing: A Hierarchical and
Progressive Learning Architecture [0.0]
本稿では,多解像度データ空間のプログレッシブパーティショニングに基づく汎用階層型学習アーキテクチャを提案する。
各最適化問題の解は、勾配のない近似更新を用いてオンラインで推定できることを示す。
教師なしおよび教師なしの学習問題に対して、漸近収束解析と実験結果を提供する。
論文 参考訳(メタデータ) (2022-12-15T23:21:49Z) - Latent Properties of Lifelong Learning Systems [59.50307752165016]
本稿では,生涯学習アルゴリズムの潜伏特性を推定するために,アルゴリズムに依存しないサロゲート・モデリング手法を提案する。
合成データを用いた実験により,これらの特性を推定するためのアプローチを検証する。
論文 参考訳(メタデータ) (2022-07-28T20:58:13Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳(メタデータ) (2022-06-01T23:26:51Z) - Adaptive Discretization in Online Reinforcement Learning [9.560980936110234]
離散化に基づくアルゴリズムを設計する際の2つの大きな疑問は、離散化をどのように生成し、いつそれを洗練するかである。
オンライン強化学習のための木に基づく階層分割手法の統一的理論的解析を行う。
我々のアルゴリズムは操作制約に容易に適応し、我々の理論は3つの面のそれぞれに明示的な境界を与える。
論文 参考訳(メタデータ) (2021-10-29T15:06:15Z) - Investigating Bi-Level Optimization for Learning and Vision from a
Unified Perspective: A Survey and Beyond [114.39616146985001]
機械学習やコンピュータビジョンの分野では、モチベーションやメカニズムが異なるにもかかわらず、複雑な問題の多くは、一連の密接に関連するサブプロトコルを含んでいる。
本稿では,BLO(Bi-Level Optimization)の観点から,これらの複雑な学習と視覚問題を一様に表現する。
次に、値関数に基づく単一レベル再構成を構築し、主流勾配に基づくBLO手法を理解し、定式化するための統一的なアルゴリズムフレームワークを確立する。
論文 参考訳(メタデータ) (2021-01-27T16:20:23Z) - Self-organizing Democratized Learning: Towards Large-scale Distributed
Learning Systems [71.14339738190202]
民主化された学習(Dem-AI)は、大規模な分散および民主化された機械学習システムを構築するための基本原則を備えた全体主義的哲学を定めている。
本稿では,Dem-AI哲学にヒントを得た分散学習手法を提案する。
提案アルゴリズムは,従来のFLアルゴリズムと比較して,エージェントにおける学習モデルの一般化性能が向上することを示す。
論文 参考訳(メタデータ) (2020-07-07T08:34:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。