論文の概要: Thermodynamic Bound on Energy and Negentropy Costs of Inference in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2503.09980v1
• Date: Thu, 13 Mar 2025 02:35:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 21:36:22.495961
• Title: Thermodynamic Bound on Energy and Negentropy Costs of Inference in Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークにおける推論のエネルギー・ネゲントロピーコストに関する熱力学的境界
• Authors: Alexei V. Tkachenko,
• Abstract要約: 深部ニューラルネットワーク(DNN)における推論のエネルギーコストに対する基本熱力学境界の導出 DNNにおける線形演算は、原理的には可逆的に行うことができるが、非線形活性化関数は避けられないエネルギーコストを課す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The fundamental thermodynamic bound is derived for the energy cost of inference in Deep Neural Networks (DNNs). By applying Landauer's principle, we demonstrate that the linear operations in DNNs can, in principle, be performed reversibly, whereas the non-linear activation functions impose an unavoidable energy cost. The resulting theoretical lower bound on the inference energy is determined by the average number of neurons undergoing state transition for each inference. We also restate the thermodynamic bound in terms of negentropy, a metric which is more universal than energy for assessing thermodynamic cost of information processing. Concept of negentropy is further elaborated in the context of information processing in biological and engineered system as well as human intelligence. Our analysis provides insight into the physical limits of DNN efficiency and suggests potential directions for developing energy-efficient AI architectures that leverage reversible analog computing.
• Abstract（参考訳）: 基本熱力学境界は、ディープニューラルネットワーク(DNN)における推論のエネルギーコストに導かれる。 ランダウアーの原理を適用して、DNNにおける線形演算は、原則として可逆的に行うことができるのに対し、非線形活性化関数は避けられないエネルギーコストを課すことを示した。 結果として生じる推論エネルギーの理論的下界は、各推論の状態遷移を行うニューロンの平均数によって決定される。 また、情報処理の熱力学的コストを評価するためのエネルギーよりも普遍的な計量であるネゲントロピーの観点から熱力学的境界を復元する。 ネゲントロピーの概念は、生物学的および工学的なシステムにおける情報処理と人間の知性という文脈においてさらに詳しく説明されている。 我々の分析は、DNN効率の物理的限界についての洞察を与え、可逆的アナログコンピューティングを利用するエネルギー効率の良いAIアーキテクチャを開発するための潜在的方向性を提案する。

関連論文リスト

• Architecture of Information [0.0]
  フォーマルニューロンと多層人工ニューラルネットワーク(ANN)のエネルギー景観構築へのアプローチを探る。 フォーマルニューロンとANNモデルにおける情報的および熱力学的エントロピーの研究は、情報的エントロピーのエネルギー的性質に関する結論をもたらす。 本研究は, システムの内部エネルギーと外部エネルギーの相互作用プロセスの観点から, 情報の形式的定義を定式化できるようにする。
  論文  参考訳（メタデータ） (2025-03-21T14:48:41Z)
• Sustainable AI: Mathematical Foundations of Spiking Neural Networks [46.76155269576732]
  生物学的ニューロンにインスパイアされたスパイクニューラルネットワークは、潜在的な計算とエネルギー効率の向上に有望な代替手段を提供する。 本稿では,学習理論のレンズによるスパイキングネットワークの計算特性について考察する。
  論文  参考訳（メタデータ） (2025-03-03T19:44:12Z)
• Thermodynamic computing out of equilibrium [0.0]
  本稿では, 任意の非線形計算を平衡内外で行うことのできる熱力学計算機の設計について述べる。 簡単な熱力学回路は、熱浴と接触する自由度を変動させ、入力の非線形機能であるアクティビティを表示する。 熱力学ニューラルネットワークのディジタルモデルをシミュレートし、そのパラメータを遺伝的アルゴリズムで調整し、特定の観測時間で非線形計算を行うことを示す。
  論文  参考訳（メタデータ） (2024-12-22T22:51:51Z)
• DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
  本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。 DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。 経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• Neural Message Passing Induced by Energy-Constrained Diffusion [79.9193447649011]
  本稿では,MPNNのメカニズムを理解するための原理的解釈可能なフレームワークとして,エネルギー制約付き拡散モデルを提案する。 データ構造が(グラフとして)観察されたり、部分的に観察されたり、完全に観察されなかったりした場合に、新しいモデルが有望な性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-09-13T17:54:41Z)
• Thermodynamics-Consistent Graph Neural Networks [50.0791489606211]
  本稿では,二成分混合物の組成依存的活動係数を予測するために,ギブス自由エネルギーグラフニューラルネットワーク(GE-GNN)を提案する。 GE-GNNアーキテクチャはギブス自由エネルギーを超えるモルを予測することによって熱力学的整合性を確保する。 活性係数予測の精度と熱力学的整合性を示す。
  論文  参考訳（メタデータ） (2024-07-08T06:58:56Z)
• Energy Transformer [64.22957136952725]
  我々の研究は、機械学習における有望な3つのパラダイム、すなわち注意機構、エネルギーベースモデル、連想記憶の側面を組み合わせる。 本稿では,エネルギー変換器(ET,Energy Transformer)と呼ばれる新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-02-14T18:51:22Z)
• Geometric Knowledge Distillation: Topology Compression for Graph Neural Networks [80.8446673089281]
  グラフトポロジ情報をグラフニューラルネットワーク(GNN)に符号化することを目的とした知識伝達の新しいパラダイムについて検討する。 本稿では,GNNのアーキテクチャに関する基礎となる多様体の幾何学的性質をカプセル化するためのニューラルヒートカーネル(NHK)を提案する。 基本的な原理的解法は、NHKを幾何学的知識蒸留(Geometric Knowledge Distillation)と呼ばれる教師モデルと学生モデルに合わせることで導かれる。
  論文  参考訳（メタデータ） (2022-10-24T08:01:58Z)
• Quantum Foundations of Classical Reversible Computing [0.0]
  可逆計算は、従来の非可逆的デジタルパラダイムのエネルギー効率に対する熱力学的限界を回避することができる。 ゴリーニ・コサコフスキー・スダルシャン・リンドブラッド力学(リンドブラディアン)の枠組みを複数の状態と組み合わせ、資源理論、完全な数え上げ統計学、可逆熱力学の最近の成果を取り入れた。 また,計算機の基本的な最小エネルギー散逸を速度関数として同定する研究計画を概説する。
  論文  参考訳（メタデータ） (2021-04-30T19:53:47Z)
• Thermodynamic Consistent Neural Networks for Learning Material Interfacial Mechanics [6.087530833458481]
  トラクション・セパレーション関係(TSR)は、開口中の材料界面の力学的挙動を定量的に記述する。 ニューラルネットワークはロードパスとうまく適合するが、物理の法則に従わないことが多い。 本稿では,TSRのデータ駆動モデルを構築するための熱力学的一貫したニューラルネットワーク (TCNN) を提案する。
  論文  参考訳（メタデータ） (2020-11-28T17:25:10Z)
• Parsimonious neural networks learn interpretable physical laws [77.34726150561087]
  本稿では、ニューラルネットワークと進化的最適化を組み合わせたパシモニクスニューラルネットワーク(PNN)を提案し、精度とパシモニクスのバランスをとるモデルを求める。 アプローチのパワーと汎用性は、古典力学のモデルを開発し、基本特性から材料の融解温度を予測することによって実証される。
  論文  参考訳（メタデータ） (2020-05-08T16:15:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。