論文の概要: Structured Knowledge Accumulation: The Principle of Entropic Least Action in Forward-Only Neural Learning

• arxiv url: http://arxiv.org/abs/2504.03214v1
• Date: Fri, 04 Apr 2025 07:00:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:47:41.175530
• Title: Structured Knowledge Accumulation: The Principle of Entropic Least Action in Forward-Only Neural Learning
• Title（参考訳）: 構造化知識蓄積:前向き学習におけるエントロピックリースト行動の原理
• Authors: Bouarfa Mahi Quantiota,
• Abstract要約: ニューラルネットワークのネット関数と特性時間特性の2つの基本概念を紹介する。 学習を時間ベースのプロセスとして理解することで、効率的で堅牢で生物学的にインスパイアされたAIシステムを構築するための新たな方向性を開拓します。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This paper aims to extend the Structured Knowledge Accumulation (SKA) framework recently proposed by \cite{mahi2025ska}. We introduce two core concepts: the Tensor Net function and the characteristic time property of neural learning. First, we reinterpret the learning rate as a time step in a continuous system. This transforms neural learning from discrete optimization into continuous-time evolution. We show that learning dynamics remain consistent when the product of learning rate and iteration steps stays constant. This reveals a time-invariant behavior and identifies an intrinsic timescale of the network. Second, we define the Tensor Net function as a measure that captures the relationship between decision probabilities, entropy gradients, and knowledge change. Additionally, we define its zero-crossing as the equilibrium state between decision probabilities and entropy gradients. We show that the convergence of entropy and knowledge flow provides a natural stopping condition, replacing arbitrary thresholds with an information-theoretic criterion. We also establish that SKA dynamics satisfy a variational principle based on the Euler-Lagrange equation. These findings extend SKA into a continuous and self-organizing learning model. The framework links computational learning with physical systems that evolve by natural laws. By understanding learning as a time-based process, we open new directions for building efficient, robust, and biologically-inspired AI systems.
• Abstract（参考訳）: 本稿では,最近 \cite{mahi2025ska} によって提案された構造化知識蓄積(Structured Knowledge Accumulation, SKA)フレームワークを拡張することを目的とする。 本稿では、テンソルネット関数とニューラルネットワークの特徴時間特性の2つの基本概念を紹介する。 まず、学習率を継続的システムのタイムステップとして再解釈する。 これにより、ニューラルネットワークは離散最適化から継続的進化へと変換される。 学習率とイテレーションステップの積が一定である場合、学習ダイナミクスが一貫していることが示されます。 これは時間不変の振る舞いを明らかにし、ネットワークの固有の時間スケールを特定する。 第2に、テンソルネット関数を、決定確率、エントロピー勾配、知識変化の関係を捉える尺度として定義する。 さらに、ゼロクロスを決定確率とエントロピー勾配の平衡状態として定義する。 エントロピーと知識フローの収束は、任意のしきい値を情報理論的基準に置き換え、自然停止条件を提供することを示す。 また、SKA力学はオイラー・ラグランジュ方程式に基づく変分原理を満たすことを証明した。 これらの知見は、SKAを継続的かつ自己組織的な学習モデルに拡張する。 このフレームワークは、自然法則によって進化する物理システムと計算学習を結びつける。 学習を時間ベースのプロセスとして理解することで、効率的で堅牢で生物学的にインスパイアされたAIシステムを構築するための新たな方向性を開拓します。

関連論文リスト

• A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
  Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
  論文  参考訳（メタデータ） (2024-09-18T14:57:13Z)
• Emergent learning in physical systems as feedback-based aging in a glassy landscape [0.0]
  学習力学は,フィードバック境界力の繰り返し適用に応答してシステムを緩和する老化過程に類似していることが示される。 また、エポック関数としての平均二乗誤差の平方根が、ガラス系の典型的な特徴である非指数形式をとることも観察する。
  論文  参考訳（メタデータ） (2023-09-08T15:24:55Z)
• IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
  継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。 ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。 IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
  論文  参考訳（メタデータ） (2023-06-18T05:26:49Z)
• On the Dynamics of Learning Time-Aware Behavior with Recurrent Neural Networks [2.294014185517203]
  隠れ時間変数に依存する教師付き学習タスクのファミリーを導入する。 我々は、長期記憶に対する時間認識の必要性を強調する時間的フリップフロップをエミュレートするためにRNNを訓練する。 これらのRNNは、遷移規則の周期を時間変調する周期軌道を切り替えることを学ぶ。
  論文  参考訳（メタデータ） (2023-06-12T14:01:30Z)
• Learning Neural Constitutive Laws From Motion Observations for Generalizable PDE Dynamics [97.38308257547186]
  多くのNNアプローチは、支配的PDEと物質モデルの両方を暗黙的にモデル化するエンドツーエンドモデルを学ぶ。 PDEの管理はよく知られており、学習よりも明示的に実施されるべきである、と私たちは主張する。 そこで我々は,ネットワークアーキテクチャを利用したニューラル構成則(Neural Constitutive Laws,NCLaw)と呼ばれる新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2023-04-27T17:42:24Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Bayesian Continual Learning via Spiking Neural Networks [38.518936229794214]
  我々は,学習課題の変更に適応可能なニューロモルフィックシステムの設計に向けて一歩踏み出した。 ベイズ連続学習フレームワーク内のニューラルネットワーク(SNN)をスパイクするためのオンライン学習ルールを導出する。 実数値と二値のシナプス重みに対する提案手法のインスタンス化を行う。
  論文  参考訳（メタデータ） (2022-08-29T17:11:14Z)
• Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory [110.99247009159726]
  時間差とQ-ラーニングは、ニューラルネットワークのような表現力のある非線形関数近似器によって強化される深層強化学習において重要な役割を担っている。 特に時間差学習は、関数近似器が特徴表現において線形であるときに収束する。
  論文  参考訳（メタデータ） (2020-06-08T17:25:22Z)
• Liquid Time-constant Networks [117.57116214802504]
  本稿では,時間連続リカレントニューラルネットワークモデルについて紹介する。 暗黙の非線形性によって学習システムの力学を宣言する代わりに、線形一階力学系のネットワークを構築する。 これらのニューラルネットワークは安定かつ有界な振る舞いを示し、ニューラル常微分方程式の族の中で優れた表現性をもたらす。
  論文  参考訳（メタデータ） (2020-06-08T09:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。