論文の概要: Towards the One Learning Algorithm Hypothesis: A System-theoretic
Approach
- arxiv url: http://arxiv.org/abs/2112.02256v1
- Date: Sat, 4 Dec 2021 05:54:33 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-10 08:50:23.585552
- Title: Towards the One Learning Algorithm Hypothesis: A System-theoretic
Approach
- Title（参考訳）: one learning algorithm hypothesisに向けて:システム理論的アプローチ
- Authors: Christos Mavridis, John Baras
- Abstract要約: 人間の認知における普遍的な学習アーキテクチャの存在は、神経科学の実験的な発見によって支持される広範囲にわたる推測である。
i) マルチレゾリューション分析プリプロセッサ, (ii) グループ不変の特徴抽出器, (iii) プログレッシブ知識に基づく学習モジュールの3つの主成分からなる閉ループシステムを開発した。
複数の解像度で徐々に成長する知識表現を構成する新しい学習アルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The existence of a universal learning architecture in human cognition is a
widely spread conjecture supported by experimental findings from neuroscience.
While no low-level implementation can be specified yet, an abstract outline of
human perception and learning is believed to entail three basic properties: (a)
hierarchical attention and processing, (b) memory-based knowledge
representation, and (c) progressive learning and knowledge compaction. We
approach the design of such a learning architecture from a system-theoretic
viewpoint, developing a closed-loop system with three main components: (i) a
multi-resolution analysis pre-processor, (ii) a group-invariant feature
extractor, and (iii) a progressive knowledge-based learning module.
Multi-resolution feedback loops are used for learning, i.e., for adapting the
system parameters to online observations. To design (i) and (ii), we build upon
the established theory of wavelet-based multi-resolution analysis and the
properties of group convolution operators. Regarding (iii), we introduce a
novel learning algorithm that constructs progressively growing knowledge
representations in multiple resolutions. The proposed algorithm is an extension
of the Online Deterministic Annealing (ODA) algorithm based on annealing
optimization, solved using gradient-free stochastic approximation. ODA has
inherent robustness and regularization properties and provides a means to
progressively increase the complexity of the learning model i.e. the number of
the neurons, as needed, through an intuitive bifurcation phenomenon. The
proposed multi-resolution approach is hierarchical, progressive,
knowledge-based, and interpretable. We illustrate the properties of the
proposed architecture in the context of the state-of-the-art learning
algorithms and deep learning methods.
- Abstract（参考訳）: 人間の認知における普遍的な学習アーキテクチャの存在は、神経科学の実験的な発見によって支持される広範囲にわたる推測である。
低レベルの実装はまだ特定できないが、人間の知覚と学習の抽象的な概要は以下の3つの基本的特性を含んでいると考えられている。
(a)階層的な注意と処理
(b)記憶に基づく知識表現、及び
(c) 進歩的学習と知識のコンパクト化。
システム理論的な視点からこのような学習アーキテクチャの設計にアプローチし、3つの主成分を持つ閉ループシステムを開発する。
i)多分解能解析前処理装置
(ii)群不変特徴抽出器、及び
(iii)進歩的知識に基づく学習モジュール。
マルチレゾリューションフィードバックループは、学習、すなわちシステムパラメータをオンライン観察に適応させるために使用される。
デザインする
(i)および
(ii)ウェーブレットに基づくマルチレゾリューション解析の確立した理論と群畳み込み作用素の性質に基づいている。
周辺
(iii) 複数の解像度で徐々に成長する知識表現を構成する新しい学習アルゴリズムを提案する。
提案アルゴリズムはアニーリング最適化に基づくオンライン決定論的アニーリング(ODA)アルゴリズムの拡張であり、勾配のない確率近似を用いて解く。
オダは本質的に堅牢性と正規化の性質を持ち、学習モデルの複雑さ、すなわち必要に応じてニューロンの数を増やす手段を直感的な分岐現象を通じて提供する。
提案したマルチレゾリューションアプローチは階層的で、進歩的で、知識ベースで、解釈可能である。
本稿では,最先端学習アルゴリズムとディープラーニング手法の文脈において,提案アーキテクチャの特性を説明する。
関連論文リスト
- Deep Learning Through A Telescoping Lens: A Simple Model Provides Empirical Insights On Grokking, Gradient Boosting & Beyond [61.18736646013446]
その驚くべき振る舞いをより深く理解するために、トレーニングされたニューラルネットワークの単純かつ正確なモデルの有用性について検討する。
3つのケーススタディで、様々な顕著な現象に関する新しい経験的洞察を導き出すためにどのように適用できるかを説明します。
論文 参考訳（メタデータ） (2024-10-31T22:54:34Z) - A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク
i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
論文 参考訳（メタデータ） (2024-09-18T14:57:13Z) - Coding for Intelligence from the Perspective of Category [66.14012258680992]
符号化の対象はデータの圧縮と再構成、インテリジェンスである。
最近の傾向は、これらの2つの分野の潜在的均一性を示している。
本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
論文 参考訳（メタデータ） (2024-07-01T07:05:44Z) - Reasoning Algorithmically in Graph Neural Networks [1.8130068086063336]
ニューラルネットワークの適応学習能力にアルゴリズムの構造的および規則に基づく推論を統合することを目的としている。
この論文は、この領域の研究に理論的および実践的な貢献を提供する。
論文 参考訳（メタデータ） (2024-02-21T12:16:51Z) - Multi-Resolution Online Deterministic Annealing: A Hierarchical and
Progressive Learning Architecture [0.0]
本稿では,多解像度データ空間のプログレッシブパーティショニングに基づく汎用階層型学習アーキテクチャを提案する。
各最適化問題の解は、勾配のない近似更新を用いてオンラインで推定できることを示す。
教師なしおよび教師なしの学習問題に対して、漸近収束解析と実験結果を提供する。
論文 参考訳（メタデータ） (2022-12-15T23:21:49Z) - Stabilizing Q-learning with Linear Architectures for Provably Efficient
Learning [53.17258888552998]
本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。
このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
論文 参考訳（メタデータ） (2022-06-01T23:26:51Z) - Adaptive Discretization in Online Reinforcement Learning [9.560980936110234]
離散化に基づくアルゴリズムを設計する際の2つの大きな疑問は、離散化をどのように生成し、いつそれを洗練するかである。
オンライン強化学習のための木に基づく階層分割手法の統一的理論的解析を行う。
我々のアルゴリズムは操作制約に容易に適応し、我々の理論は3つの面のそれぞれに明示的な境界を与える。
論文 参考訳（メタデータ） (2021-10-29T15:06:15Z) - LENAS: Learning-based Neural Architecture Search and Ensemble for 3D Radiotherapy Dose Prediction [42.38793195337463]
本稿では3次元放射線治療線量予測のための知識蒸留とニューラルネットワーク検索を統合した,学習に基づく新しいアンサンブル手法 LENAS を提案する。
当社のアプローチは、巨大なアーキテクチャ空間から各ブロックを徹底的に検索して、有望なパフォーマンスを示す複数のアーキテクチャを識別することから始まります。
モデルアンサンブルによってもたらされる複雑さを軽減するため、教師-学生パラダイムを採用し、複数の学習ネットワークからの多様な出力を監視信号として活用する。
論文 参考訳（メタデータ） (2021-06-12T10:08:52Z) - Investigating Bi-Level Optimization for Learning and Vision from a
Unified Perspective: A Survey and Beyond [114.39616146985001]
機械学習やコンピュータビジョンの分野では、モチベーションやメカニズムが異なるにもかかわらず、複雑な問題の多くは、一連の密接に関連するサブプロトコルを含んでいる。
本稿では,BLO(Bi-Level Optimization)の観点から,これらの複雑な学習と視覚問題を一様に表現する。
次に、値関数に基づく単一レベル再構成を構築し、主流勾配に基づくBLO手法を理解し、定式化するための統一的なアルゴリズムフレームワークを確立する。
論文 参考訳（メタデータ） (2021-01-27T16:20:23Z) - Self-organizing Democratized Learning: Towards Large-scale Distributed
Learning Systems [71.14339738190202]
民主化された学習(Dem-AI)は、大規模な分散および民主化された機械学習システムを構築するための基本原則を備えた全体主義的哲学を定めている。
本稿では,Dem-AI哲学にヒントを得た分散学習手法を提案する。
提案アルゴリズムは,従来のFLアルゴリズムと比較して,エージェントにおける学習モデルの一般化性能が向上することを示す。
論文 参考訳（メタデータ） (2020-07-07T08:34:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。