論文の概要: Energy-Efficient Information Representation in MNIST Classification Using Biologically Inspired Learning

• arxiv url: http://arxiv.org/abs/2603.00588v1
• Date: Sat, 28 Feb 2026 10:38:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-03 19:50:56.278678
• Title: Energy-Efficient Information Representation in MNIST Classification Using Biologically Inspired Learning
• Title（参考訳）: バイオインスパイアされた学習を用いたMNIST分類におけるエネルギー効率の良い情報表現
• Authors: Patrick Stricker, Florian Röhrbein, Andreas Knoblauch,
• Abstract要約: 我々は、情報理論の概念を用いて、これまで開発された生物学的にインスパイアされた学習規則を分析した。 脳の構造的可塑性をエミュレートし、シナプスの本質的な数だけを保持する。 また、ネットワークアーキテクチャの事前最適化の必要性を排除し、適応性を高め、新しい記憶のために「空間」を保留する脳の能力を反映する。
• 参考スコア（独自算出の注目度）: 1.0787328610467803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient representation learning is essential for optimal information storage and classification. However, it is frequently overlooked in artificial neural networks (ANNs). This neglect results in networks that can become overparameterized by factors of up to 13, increasing redundancy and energy consumption. As the demand for large language models (LLMs) and their scale increase, these issues are further highlighted, raising significant ethical and environmental concerns. We analyze our previously developed biologically inspired learning rule using information-theoretic concepts, evaluating its efficiency on the MNIST classification task. The proposed rule, which emulates the brain's structural plasticity, naturally prevents overparameterization by optimizing synaptic usage and retaining only the essential number of synapses. Furthermore, it outperforms backpropagation (BP) in terms of efficiency and storage capacity. It also eliminates the need for pre-optimization of network architecture, enhances adaptability, and reflects the brain's ability to reserve 'space' for new memories. This approach advances scalable and energy-efficient AI and provides a promising framework for developing brain-inspired models that optimize resource allocation and adaptability.
• Abstract（参考訳）: 効率的な表現学習は最適な情報記憶と分類に不可欠である。 しかし、人工知能(ANN)では見過ごされがちである。 これにより、最大13の因子によって過度にパラメータ化されるネットワークが無視され、冗長性とエネルギー消費が増大する。 大規模言語モデル(LLM)の需要と規模が増大するにつれて、これらの問題がさらに強調され、倫理的・環境的な懸念が高まっている。 我々は,MNIST分類タスクにおいて,情報理論の概念を用いて生物学的に着想を得た学習規則を解析し,その効率性を評価する。 提案したルールは、脳の構造的可塑性をエミュレートし、シナプスの使用を最適化し、必要な数のシナプスだけを保持することによって、自然に過度なパラメータ化を防いでいる。 さらに、効率とストレージ容量の点で、バックプロパゲーション(BP)よりも優れています。 また、ネットワークアーキテクチャの事前最適化の必要性を排除し、適応性を高め、新しい記憶のために「空間」を保留する脳の能力を反映する。 このアプローチはスケーラブルでエネルギー効率のよいAIを進化させ、リソース割り当てと適応性を最適化する脳にインスパイアされたモデルを開発するための有望なフレームワークを提供する。

関連論文リスト

• General Self-Prediction Enhancement for Spiking Neurons [71.01912385372577]
  スパイキングニューラルネットワーク(SNN)は、イベント駆動のスパース計算によって非常にエネルギー効率が良いが、そのトレーニングは、性能、効率、生物学的妥当性の非微分可能性とトレードオフによって困難である。 本稿では,その入力出力履歴から内部予測電流を生成し,膜電位を変調する自己予測強化スパイキングニューロン法を提案する。 この設計には2つの利点があり、失明した勾配を緩和し、トレーニングの安定性と精度を高める連続的な勾配経路を作成し、また遠位樹状突起変調とエラー駆動のシナプス塑性に類似した生物学的原理と整合する。
  論文  参考訳（メタデータ） (2026-01-29T15:08:48Z)
• A Brain-like Synergistic Core in LLMs Drives Behaviour and Learning [50.68188138112555]
  大規模言語モデルが自然に相乗的コアを開発することを示す。 中層の領域は相乗的処理を示し, 初期層と後期層は冗長性に依存していることがわかった。 この収束は、シナジスティック情報処理が知性の基本的な性質であることを示している。
  論文  参考訳（メタデータ） (2026-01-11T10:48:35Z)
• Energy-based Autoregressive Generation for Neural Population Dynamics [12.867288040044501]
  本稿では,潜在空間における時間ダイナミクスを学習するエネルギーベースのトランスフォーマーを利用した,エネルギーベースの自己回帰生成フレームワークを提案する。 EAGは、計算効率が大幅に向上し、最先端の発電品質を達成できることを示す。 これらの結果は、神経科学研究や神経工学に応用した神経集団動態に対するエネルギーベースモデリングの有効性を示す。
  論文  参考訳（メタデータ） (2025-11-18T07:11:29Z)
• Spatiotemporal Graph Learning with Direct Volumetric Information Passing and Feature Enhancement [62.91536661584656]
  本稿では,CeFeGNN(CeFeGNN)とCell-embeddedとFeature-enhanced Graph Neural Networkを学習用として提案する。 学習可能なセル属性を共通ノードエッジメッセージパッシングプロセスに埋め込むことで,地域特性の空間依存性をよりよく把握する。 各種PDEシステムと1つの実世界のデータセットを用いた実験により、CeFeGNNは他のベースラインと比較して優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-09-26T16:22:08Z)
• Memory Networks: Towards Fully Biologically Plausible Learning [2.7013801448234367]
  現在の人工ニューラルネットワークは、バックプロパゲーションやウェイトシェアリングのような技術に依存しており、脳の自然な情報処理方法と一致しない。 本稿では,逆伝播や畳み込みを回避し,単一のパスで動作させる生物学的原理にインスパイアされたメモリネットワークを提案する。
  論文  参考訳（メタデータ） (2024-09-18T06:01:35Z)
• Exploring Extreme Quantization in Spiking Language Models [7.986844499514244]
  本稿では,新しい2進/3進(1/1.58ビット)スパイクLMアーキテクチャの開発を提案する。 提案手法は,1/1.58ビットの1次スパイキングLMとして大きく進歩した。
  論文  参考訳（メタデータ） (2024-05-04T03:00:23Z)
• The Simpler The Better: An Entropy-Based Importance Metric To Reduce Neural Networks' Depth [5.869633234882029]
  本稿では,大規模モデルによって伝達される事前知識を活用する効率戦略を提案する。 本稿では,過度にパラメータ化された深層ニューラルネットワークの深さを低減するために,エントロピー・バサード・インシデンス・mEtRic (EASIER) を利用する手法を提案する。
  論文  参考訳（メタデータ） (2024-04-27T08:28:25Z)
• EMN: Brain-inspired Elastic Memory Network for Quick Domain Adaptive Feature Mapping [57.197694698750404]
  本稿では,特徴と予測のマッピングを高速に微調整するための,勾配のない新しいElastic Memory Networkを提案する。 EMNはランダムに結合したニューロンを用いて特徴とラベルの関連を記憶し、ネットワーク内のシグナルはインパルスとして伝播する。 EMNは、従来のドメイン適応手法の1%以下のタイミングコストしか必要とせず、最大10%の性能向上を達成することができる。
  論文  参考訳（メタデータ） (2024-02-04T09:58:17Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Optimizing Memory Placement using Evolutionary Graph Reinforcement Learning [56.83172249278467]
  大規模検索空間を対象とした進化グラフ強化学習(EGRL)を提案する。 我々は、推論のために、Intel NNP-Iチップ上で、我々のアプローチを直接訓練し、検証する。 また,NNP-Iコンパイラと比較して28～78%の高速化を実現している。
  論文  参考訳（メタデータ） (2020-07-14T18:50:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。