論文の概要: Learning principle and mathematical realization of the learning mechanism in the brain

• arxiv url: http://arxiv.org/abs/2311.13341v1
• Date: Wed, 22 Nov 2023 12:08:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 15:18:54.150478
• Title: Learning principle and mathematical realization of the learning mechanism in the brain
• Title（参考訳）: 脳における学習原理と学習機構の数学的実現
• Authors: Taisuke Katayose
• Abstract要約: 我々はこれを学習原理と呼び、全ての学習は入力データの確率を推定するのと等価である。 従来の教師付き学習は条件付き確率の推定に等価であり,教師付き学習をより効果的かつ一般化させることに成功した。 微分を用いた推定確率の値の定義法を提案し,事前知識を使わずに任意のデータセット上で教師なし学習を行うことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While deep learning has achieved remarkable success, there is no clear explanation about why it works so well. In order to discuss this question quantitatively, we need a mathematical framework that explains what learning is in the first place. After several considerations, we succeeded in constructing a mathematical framework that can provide a unified understanding of all types of learning, including deep learning and learning in the brain. We call it learning principle, and it follows that all learning is equivalent to estimating the probability of input data. We not only derived this principle, but also mentioned its application to actual machine learning models. For example, we found that conventional supervised learning is equivalent to estimating conditional probabilities, and succeeded in making supervised learning more effective and generalized. We also proposed a new method of defining the values of estimated probability using differentiation, and showed that unsupervised learning can be performed on arbitrary dataset without any prior knowledge. Namely, this method is a general-purpose machine learning in the true sense. Moreover, we succeeded in describing the learning mechanism in the brain by considering the time evolution of a fully or partially connected model and applying this new method. The learning principle provides solutions to many unsolved problems in deep learning and cognitive neuroscience.
• Abstract（参考訳）: ディープラーニングは目覚ましい成功を収めていますが、なぜこれほどうまく機能するのか、明確な説明はありません。 この問題を定量的に議論するには、まず何を学ぶのかを説明する数学的枠組みが必要である。 いくつかの考察を経て,脳内の深層学習や学習を含む,あらゆる種類の学習を統一的に理解することのできる数学的枠組みの構築に成功した。 我々はこれを学習原理と呼び、全ての学習は入力データの確率を推定するのと等価である。 私たちはこの原則を導いただけでなく、実際の機械学習モデルへの適用にも言及しました。 例えば,従来の教師付き学習は条件付き確率の推定と等価であり,教師付き学習をより効果的かつ一般化することに成功した。 また,推定確率の値を微分を用いて定義する新しい手法を提案し,教師なし学習を事前知識なしに任意のデータセット上で行えることを示した。 すなわち、この方法は、真の意味での汎用機械学習である。 さらに,脳内の学習メカニズムを,完全あるいは部分的に連結されたモデルの時間的進化を考慮して記述し,本手法を適用した。 学習原理は、深層学習と認知神経科学における多くの未解決問題に対する解決策を提供する。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Learning Beyond Pattern Matching? Assaying Mathematical Understanding in LLMs [58.09253149867228]
  本稿では,LLMのドメイン知識を,問題解決に必要な数学的スキルの理解を通じて評価する。 汎用科学アシスタントとしてLLMを用いることで, LLMの確率分布の変化を評価するためにtextitNTKEvalを提案する。 系統的な分析では、文脈内学習中にドメイン理解の証拠が見つかる。 ある命令チューニングは、異なるデータでのトレーニングに関係なく、同様のパフォーマンス変化をもたらし、異なるスキルに対するドメイン理解の欠如を示唆している。
  論文  参考訳（メタデータ） (2024-05-24T12:04:54Z)
• Ticketed Learning-Unlearning Schemes [57.89421552780526]
  そこで我々は,学習のためのチケット付きモデルを提案する。 広義のコンセプトクラスに対して,空間効率のよいチケット付き学習スキームを提供する。
  論文  参考訳（メタデータ） (2023-06-27T18:54:40Z)
• Learning by Applying: A General Framework for Mathematical Reasoning via Enhancing Explicit Knowledge Learning [47.96987739801807]
  本稿では,既存のモデル(バックボーン)を明示的な知識学習によって原則的に拡張する枠組みを提案する。 LeApでは,新しい問題知識表現パラダイムで知識学習を行う。 LeApはすべてのバックボーンのパフォーマンスを改善し、正確な知識を習得し、より解釈可能な推論プロセスを実現する。
  論文  参考訳（メタデータ） (2023-02-11T15:15:41Z)
• Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
  我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。 知識の抽出と知識の記憶という2つの側面から問題に取り組む。 提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
  論文  参考訳（メタデータ） (2022-08-27T09:27:36Z)
• Continual Learning with Deep Learning Methods in an Application-Oriented Context [0.0]
  人工知能(AI)の重要な研究領域は、データから知識を自動的に導出することである。 ディープニューラルネットワーク(Deep Neural Networks, DNN)と呼ばれる、"ディープラーニング"モデルに分類される機械学習アルゴリズムの一種。 DNNは、新しい知識が既存のベースに追加されるのを防ぐ問題の影響を受けます。
  論文  参考訳（メタデータ） (2022-07-12T10:13:33Z)
• The least-control principle for learning at equilibrium [65.2998274413952]
  我々は、平衡反復ニューラルネットワーク、深層平衡モデル、メタラーニングを学ぶための新しい原理を提案する。 私たちの結果は、脳がどのように学習するかを明らかにし、幅広い機械学習問題にアプローチする新しい方法を提供します。
  論文  参考訳（メタデータ） (2022-07-04T11:27:08Z)
• From Undecidability of Non-Triviality and Finiteness to Undecidability of Learnability [0.0]
  新たに提案したモデルが実際にデータから学べるかどうかを厳格に評価するための汎用的な手順は存在しないことを示す。 PACバイナリ分類、一様および普遍的なオンライン学習、教師と教師の相互作用による正確な学習では、学習性は一般に決定不可能である。 機械学習モデルが成功するかどうかを決定するのに、すべてに適したアルゴリズムは存在しない。
  論文  参考訳（メタデータ） (2021-06-02T18:00:04Z)
• The Relativity of Induction [0.0]
  オッカムのカミソリとパーシモニーの原理は、地上学習には不十分であることを示す。 我々は、学習の本質とダイナミクスに関するより明確な洞察をもたらす一連の相対論的原則を導出し、実証する。
  論文  参考訳（メタデータ） (2020-09-22T15:17:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。