論文の概要: Structured Knowledge Accumulation: An Autonomous Framework for Layer-Wise Entropy Reduction in Neural Learning

• arxiv url: http://arxiv.org/abs/2503.13942v1
• Date: Tue, 18 Mar 2025 06:14:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 14:18:09.817073
• Title: Structured Knowledge Accumulation: An Autonomous Framework for Layer-Wise Entropy Reduction in Neural Learning
• Title（参考訳）: 構造化知識蓄積:ニューラルネットワークにおける層幅エントロピー低減のための自律的フレームワーク
• Authors: Bouarfa Mahi Quantiota,
• Abstract要約: 本稿では,ニューラルネットワークにおける知識アライメントの動的層単位としてエントロピーを再解釈する構造化知識蓄積(Structured Knowledge Accumulation, SKA)フレームワークを紹介する。 SKAは知識ベクトルの観点でエントロピーを定義し、複数の層にわたる決定確率に影響を与える。 このアプローチは、勾配に基づく学習、ブリッジング情報理論、人工知能に対するスケーラブルで生物学的に妥当な代替手段を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We introduce the Structured Knowledge Accumulation (SKA) framework, which reinterprets entropy as a dynamic, layer-wise measure of knowledge alignment in neural networks. Instead of relying on traditional gradient-based optimization, SKA defines entropy in terms of knowledge vectors and their influence on decision probabilities across multiple layers. This formulation naturally leads to the emergence of activation functions such as the sigmoid as a consequence of entropy minimization. Unlike conventional backpropagation, SKA allows each layer to optimize independently by aligning its knowledge representation with changes in decision probabilities. As a result, total network entropy decreases in a hierarchical manner, allowing knowledge structures to evolve progressively. This approach provides a scalable, biologically plausible alternative to gradient-based learning, bridging information theory and artificial intelligence while offering promising applications in resource-constrained and parallel computing environments.
• Abstract（参考訳）: 本稿では,ニューラルネットワークにおける知識アライメントの動的層単位としてエントロピーを再解釈する構造化知識蓄積(Structured Knowledge Accumulation, SKA)フレームワークを紹介する。 従来の勾配に基づく最適化に頼る代わりに、SKAは知識ベクトルと複数の層にわたる決定確率に対する影響の観点からエントロピーを定義する。 この定式化は自然に、エントロピーの最小化の結果、シグモイドのような活性化関数が出現する。 従来のバックプロパゲーションとは異なり、SKAは知識表現と意思決定確率の変化を一致させることで、各レイヤを独立的に最適化することができる。 その結果、ネットワーク全体のエントロピーは階層的に減少し、知識構造が徐々に進化する。 このアプローチは、勾配に基づく学習、ブリッジ情報理論、人工知能に代わるスケーラブルで生物学的に可能な代替手段を提供すると同時に、リソース制約と並列コンピューティング環境における有望な応用を提供する。

関連論文リスト

• Structural Entropy Guided Probabilistic Coding [52.01765333755793]
  構造エントロピー誘導型確率的符号化モデルSEPCを提案する。 我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。 分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-12T00:37:53Z)
• Effective Reinforcement Learning Based on Structural Information Principles [19.82391136775341]
  本稿では, 効率的な意思決定・意思決定のための, 新規で汎用的な構造情報原則に基づくフレームワーク,すなわちSIDMを提案する。 SIDMは、様々な単一エージェントおよびマルチエージェントRLアルゴリズムに柔軟に組み込むことができ、その性能を向上させることができる。
  論文  参考訳（メタデータ） (2024-04-15T13:02:00Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  ニューラルネットワークのような予測器のための新しいトレーニング原理であるLFP(Layer-wise Feedback Propagation)を提案する。 LFPは、与えられたタスクの解決へのそれぞれの貢献に基づいて、個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分を補強し,有害な部分を弱めるという欲求的アプローチを実現する。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Reparameterization through Spatial Gradient Scaling [69.27487006953852]
  リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。 本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-05T17:57:33Z)
• ConCerNet: A Contrastive Learning Based Framework for Automated Conservation Law Discovery and Trustworthy Dynamical System Prediction [82.81767856234956]
  本稿では,DNNに基づく動的モデリングの信頼性を向上させるために,ConCerNetという新しい学習フレームワークを提案する。 本手法は, 座標誤差と保存量の両方において, ベースラインニューラルネットワークよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-11T21:07:30Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• Towards the One Learning Algorithm Hypothesis: A System-theoretic Approach [0.0]
  人間の認知における普遍的な学習アーキテクチャの存在は、神経科学の実験的な発見によって支持される広範囲にわたる推測である。 i) マルチレゾリューション分析プリプロセッサ, (ii) グループ不変の特徴抽出器, (iii) プログレッシブ知識に基づく学習モジュールの3つの主成分からなる閉ループシステムを開発した。 複数の解像度で徐々に成長する知識表現を構成する新しい学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-04T05:54:33Z)
• Clustering-Based Interpretation of Deep ReLU Network [17.234442722611803]
  我々はReLU関数の非線形挙動が自然なクラスタリングを引き起こすことを認識している。 本稿では,完全連結フィードフォワードReLUニューラルネットワークの解釈可能性を高める手法を提案する。
  論文  参考訳（メタデータ） (2021-10-13T09:24:11Z)
• Entropic alternatives to initialization [0.0]
  統計物理学および情報理論の言語における異方性局所的エントロピー滑らか化の解析を行う。 我々は、再正規化の物理と畳み込みネットワークの時空構造に関するいくつかの側面を論じる。
  論文  参考訳（メタデータ） (2021-07-16T08:17:32Z)
• Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
  本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。 我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
  論文  参考訳（メタデータ） (2021-06-03T00:02:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。