論文の概要: Thermodynamic Bound on Energy and Negentropy Costs of Inference in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2503.09980v1
• Date: Thu, 13 Mar 2025 02:35:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 21:36:22.495961
• Title: Thermodynamic Bound on Energy and Negentropy Costs of Inference in Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークにおける推論のエネルギー・ネゲントロピーコストに関する熱力学的境界
• Authors: Alexei V. Tkachenko,
• Abstract要約: 深部ニューラルネットワーク(DNN)における推論のエネルギーコストに対する基本熱力学境界の導出 DNNにおける線形演算は、原理的には可逆的に行うことができるが、非線形活性化関数は避けられないエネルギーコストを課す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The fundamental thermodynamic bound is derived for the energy cost of inference in Deep Neural Networks (DNNs). By applying Landauer's principle, we demonstrate that the linear operations in DNNs can, in principle, be performed reversibly, whereas the non-linear activation functions impose an unavoidable energy cost. The resulting theoretical lower bound on the inference energy is determined by the average number of neurons undergoing state transition for each inference. We also restate the thermodynamic bound in terms of negentropy, a metric which is more universal than energy for assessing thermodynamic cost of information processing. Concept of negentropy is further elaborated in the context of information processing in biological and engineered system as well as human intelligence. Our analysis provides insight into the physical limits of DNN efficiency and suggests potential directions for developing energy-efficient AI architectures that leverage reversible analog computing.
• Abstract（参考訳）: 基本熱力学境界は、ディープニューラルネットワーク(DNN)における推論のエネルギーコストに導かれる。 ランダウアーの原理を適用して、DNNにおける線形演算は、原則として可逆的に行うことができるのに対し、非線形活性化関数は避けられないエネルギーコストを課すことを示した。 結果として生じる推論エネルギーの理論的下界は、各推論の状態遷移を行うニューロンの平均数によって決定される。 また、情報処理の熱力学的コストを評価するためのエネルギーよりも普遍的な計量であるネゲントロピーの観点から熱力学的境界を復元する。 ネゲントロピーの概念は、生物学的および工学的なシステムにおける情報処理と人間の知性という文脈においてさらに詳しく説明されている。 我々の分析は、DNN効率の物理的限界についての洞察を与え、可逆的アナログコンピューティングを利用するエネルギー効率の良いAIアーキテクチャを開発するための潜在的方向性を提案する。

関連論文リスト

• Fractional Spike Differential Equations Neural Network with Efficient Adjoint Parameters Training [63.3991315762955]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンからインスピレーションを得て、脳に似た計算の現実的なモデルを作成する。 既存のほとんどのSNNは、マルコフ特性を持つ一階常微分方程式(ODE)によってモデル化された、神経細胞膜電圧ダイナミクスの単一時間定数を仮定している。 本研究では, 膜電圧およびスパイク列車の長期依存性を分数次力学により捉えるフラクタルSPIKE微分方程式ニューラルネットワーク (fspikeDE) を提案する。
  論文  参考訳（メタデータ） (2025-07-22T18:20:56Z)
• Architecture of Information [0.0]
  フォーマルニューロンと多層人工ニューラルネットワーク(ANN)のエネルギー景観構築へのアプローチを探る。 フォーマルニューロンとANNモデルにおける情報的および熱力学的エントロピーの研究は、情報的エントロピーのエネルギー的性質に関する結論をもたらす。 本研究は, システムの内部エネルギーと外部エネルギーの相互作用プロセスの観点から, 情報の形式的定義を定式化できるようにする。
  論文  参考訳（メタデータ） (2025-03-21T14:48:41Z)
• Sustainable AI: Mathematical Foundations of Spiking Neural Networks [46.76155269576732]
  生物学的ニューロンにインスパイアされたスパイクニューラルネットワークは、潜在的な計算とエネルギー効率の向上に有望な代替手段を提供する。 本稿では,学習理論のレンズによるスパイキングネットワークの計算特性について考察する。
  論文  参考訳（メタデータ） (2025-03-03T19:44:12Z)
• Thermodynamic computing out of equilibrium [0.0]
  本稿では, 任意の非線形計算を平衡内外で行うことのできる熱力学計算機の設計について述べる。 簡単な熱力学回路は、熱浴と接触する自由度を変動させ、入力の非線形機能であるアクティビティを表示する。 熱力学ニューラルネットワークのディジタルモデルをシミュレートし、そのパラメータを遺伝的アルゴリズムで調整し、特定の観測時間で非線形計算を行うことを示す。
  論文  参考訳（メタデータ） (2024-12-22T22:51:51Z)
• Physics-Informed Regularization for Domain-Agnostic Dynamical System Modeling [41.82469276824927]
  本稿では,幅広い力学系に対して高精度なモデリングを実現するフレームワークを提案する。 保守的なシステムのエネルギーを保ちつつ、非保守的で可逆的なシステムの強い誘導バイアスとして機能する。 ニューラル常微分方程式モデルにTRS損失を組み込むことにより、提案モデルであるTREATは様々な物理系において優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-08T21:04:01Z)
• DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
  本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。 DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。 経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Neural Message Passing Induced by Energy-Constrained Diffusion [79.9193447649011]
  本稿では,MPNNのメカニズムを理解するための原理的解釈可能なフレームワークとして,エネルギー制約付き拡散モデルを提案する。 データ構造が(グラフとして)観察されたり、部分的に観察されたり、完全に観察されなかったりした場合に、新しいモデルが有望な性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-09-13T17:54:41Z)
• Towards training digitally-tied analog blocks via hybrid gradient computation [1.800676987432211]
  フィードフォワード型エネルギーベースモデル(ff-EBM)を紹介する。 フィードフォワード部とエネルギーベース部でそれぞれ逆プロパゲーションと「eqプロパゲーション」することで、FF-EBMの勾配をエンドツーエンドに計算する新しいアルゴリズムを導出する。 我々のアプローチは、自己学習可能なアナログ計算プリミティブを既存のデジタルアクセラレータに徐々に統合する、原則的でスケーラブルで漸進的なロードマップを提供する。
  論文  参考訳（メタデータ） (2024-09-05T07:22:19Z)
• Thermodynamics-Consistent Graph Neural Networks [50.0791489606211]
  本稿では,二成分混合物の組成依存的活動係数を予測するために,ギブス自由エネルギーグラフニューラルネットワーク(GE-GNN)を提案する。 GE-GNNアーキテクチャはギブス自由エネルギーを超えるモルを予測することによって熱力学的整合性を確保する。 活性係数予測の精度と熱力学的整合性を示す。
  論文  参考訳（メタデータ） (2024-07-08T06:58:56Z)
• TANGO: Time-Reversal Latent GraphODE for Multi-Agent Dynamical Systems [43.39754726042369]
  連続グラフニューラルネットワークに基づく常微分方程式(GraphODE)により予測される前後の軌跡を整列するソフト制約として,単純かつ効果的な自己監督型正規化項を提案する。 時間反転対称性を効果的に課し、古典力学の下でより広い範囲の力学系にわたってより正確なモデル予測を可能にする。 様々な物理システムに対する実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-10-10T08:52:16Z)
• Energy Transformer [64.22957136952725]
  我々の研究は、機械学習における有望な3つのパラダイム、すなわち注意機構、エネルギーベースモデル、連想記憶の側面を組み合わせる。 本稿では,エネルギー変換器(ET,Energy Transformer)と呼ばれる新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-02-14T18:51:22Z)
• Physically Consistent Neural ODEs for Learning Multi-Physics Systems [0.0]
  本稿では, 可逆ポート・ハミルトニアンシステム (IPHS) の枠組みを利用する。 データからパラメータを学習するために,PC-NODE(Physically Consistent NODE)を提案する。 提案手法の有効性を実世界の実測値から建物熱力学を学習し,その有効性を実証する。
  論文  参考訳（メタデータ） (2022-11-11T11:20:35Z)
• Geometric Knowledge Distillation: Topology Compression for Graph Neural Networks [80.8446673089281]
  グラフトポロジ情報をグラフニューラルネットワーク(GNN)に符号化することを目的とした知識伝達の新しいパラダイムについて検討する。 本稿では,GNNのアーキテクチャに関する基礎となる多様体の幾何学的性質をカプセル化するためのニューラルヒートカーネル(NHK)を提案する。 基本的な原理的解法は、NHKを幾何学的知識蒸留(Geometric Knowledge Distillation)と呼ばれる教師モデルと学生モデルに合わせることで導かれる。
  論文  参考訳（メタデータ） (2022-10-24T08:01:58Z)
• Constructing Neural Network-Based Models for Simulating Dynamical Systems [59.0861954179401]
  データ駆動モデリングは、真のシステムの観測からシステムの力学の近似を学ぼうとする代替パラダイムである。 本稿では,ニューラルネットワークを用いた動的システムのモデル構築方法について検討する。 基礎的な概要に加えて、関連する文献を概説し、このモデリングパラダイムが克服すべき数値シミュレーションから最も重要な課題を概説する。
  論文  参考訳（メタデータ） (2021-11-02T10:51:42Z)
• Quantum Foundations of Classical Reversible Computing [0.0]
  可逆計算は、従来の非可逆的デジタルパラダイムのエネルギー効率に対する熱力学的限界を回避することができる。 ゴリーニ・コサコフスキー・スダルシャン・リンドブラッド力学(リンドブラディアン)の枠組みを複数の状態と組み合わせ、資源理論、完全な数え上げ統計学、可逆熱力学の最近の成果を取り入れた。 また,計算機の基本的な最小エネルギー散逸を速度関数として同定する研究計画を概説する。
  論文  参考訳（メタデータ） (2021-04-30T19:53:47Z)
• Thermodynamic Consistent Neural Networks for Learning Material Interfacial Mechanics [6.087530833458481]
  トラクション・セパレーション関係(TSR)は、開口中の材料界面の力学的挙動を定量的に記述する。 ニューラルネットワークはロードパスとうまく適合するが、物理の法則に従わないことが多い。 本稿では,TSRのデータ駆動モデルを構築するための熱力学的一貫したニューラルネットワーク (TCNN) を提案する。
  論文  参考訳（メタデータ） (2020-11-28T17:25:10Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)
• Thermodynamics-based Artificial Neural Networks for constitutive modeling [0.0]
  本稿では,物質点レベルでのひずみ速度独立過程のモデリングのための,データ駆動型物理ベースニューラルネットワークの新たなクラスを提案する。 熱力学の2つの基本原理は、自動微分を利用してネットワークのアーキテクチャに符号化される。 本研究では, 伸縮硬化および軟化ひずみを有するエラスト塑性材料をモデル化するためのTANNの広範囲な適用性を示す。
  論文  参考訳（メタデータ） (2020-05-25T15:56:34Z)
• Parsimonious neural networks learn interpretable physical laws [77.34726150561087]
  本稿では、ニューラルネットワークと進化的最適化を組み合わせたパシモニクスニューラルネットワーク(PNN)を提案し、精度とパシモニクスのバランスをとるモデルを求める。 アプローチのパワーと汎用性は、古典力学のモデルを開発し、基本特性から材料の融解温度を予測することによって実証される。
  論文  参考訳（メタデータ） (2020-05-08T16:15:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。