論文の概要: Thermodynamic bounds on energy use in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2503.09980v2
• Date: Wed, 18 Jun 2025 04:00:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 16:34:05.338737
• Title: Thermodynamic bounds on energy use in Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークにおけるエネルギー利用に関する熱力学的検討
• Authors: Alexei V. Tkachenko,
• Abstract要約: アナログ物理基板上に実装されたディープニューラルネットワーク(DNN)は,熱力学的制約が著しく異なる条件下で動作可能であることを示す。 我々は、動的および準静的の2種類のアナログ系を区別する。 この結果から, アナログ実装は, 推論においてディジタル実装よりも優れているが, トレーニングの熱力学的コストは, 両者のパラダイムでも同様に大きくなることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Landauer's principle sets a fundamental energy limit for irreversible digital computation, we show that Deep Neural Networks (DNNs) implemented on analog physical substrates can operate under markedly different thermodynamic constraints. We distinguish between two classes of analog systems: dynamic and quasi-static. In dynamic systems, energy dissipation arises from neuron resets, with a lower bound governed by Landauer's principle. To analyse a quasi-static analog platform, we construct an explicit mapping of a generic feedforward DNN onto a physical system described by a model Hamiltonian. In this framework, inference can proceed reversibly, with no minimum free energy cost imposed by thermodynamics. We further analyze the training process in quasi-static analog networks and derive a fundamental lower bound on its energy cost, rooted in the interplay between thermal and statistical noise. Our results suggest that while analog implementations can outperform digital ones during inference, the thermodynamic cost of training scales similarly in both paradigms.
• Abstract（参考訳）: ランダウアーの原理は、不可逆デジタル計算の基本的なエネルギー限界を定めているが、アナログ物理基板上に実装されたディープニューラルネットワーク(DNN)は、明らかに異なる熱力学的制約の下で動作可能であることを示す。 我々は、動的および準静的の2種類のアナログ系を区別する。 力学系では、エネルギーの散逸はニューロンのリセットから生じ、ランダウアーの原理によって下界が支配される。 準静的なアナログプラットフォームを解析するために、モデルハミルトニアンにより記述された物理系への一般フィードフォワードDNNの明示的なマッピングを構築する。 この枠組みでは、熱力学によって課される最小自由エネルギーコストなしで、推論は可逆的に進行することができる。 さらに、準静電アナログネットワークにおけるトレーニングプロセスを分析し、熱雑音と統計雑音の相互作用に根ざした、そのエネルギーコストの基本的な下限を導出する。 この結果から, アナログ実装は, 推論においてディジタル実装よりも優れているが, トレーニングの熱力学的コストは, 両者のパラダイムでも同様に大きくなることが示唆された。

関連論文リスト

• Architecture of Information [0.0]
  フォーマルニューロンと多層人工ニューラルネットワーク(ANN)のエネルギー景観構築へのアプローチを探る。 フォーマルニューロンとANNモデルにおける情報的および熱力学的エントロピーの研究は、情報的エントロピーのエネルギー的性質に関する結論をもたらす。 本研究は, システムの内部エネルギーと外部エネルギーの相互作用プロセスの観点から, 情報の形式的定義を定式化できるようにする。
  論文  参考訳（メタデータ） (2025-03-21T14:48:41Z)
• Sustainable AI: Mathematical Foundations of Spiking Neural Networks [46.76155269576732]
  生物学的ニューロンにインスパイアされたスパイクニューラルネットワークは、潜在的な計算とエネルギー効率の向上に有望な代替手段を提供する。 本稿では,学習理論のレンズによるスパイキングネットワークの計算特性について考察する。
  論文  参考訳（メタデータ） (2025-03-03T19:44:12Z)
• Thermodynamic computing out of equilibrium [0.0]
  本稿では, 任意の非線形計算を平衡内外で行うことのできる熱力学計算機の設計について述べる。 簡単な熱力学回路は、熱浴と接触する自由度を変動させ、入力の非線形機能であるアクティビティを表示する。 熱力学ニューラルネットワークのディジタルモデルをシミュレートし、そのパラメータを遺伝的アルゴリズムで調整し、特定の観測時間で非線形計算を行うことを示す。
  論文  参考訳（メタデータ） (2024-12-22T22:51:51Z)
• DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
  本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。 DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。 経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• Neural Message Passing Induced by Energy-Constrained Diffusion [79.9193447649011]
  本稿では,MPNNのメカニズムを理解するための原理的解釈可能なフレームワークとして,エネルギー制約付き拡散モデルを提案する。 データ構造が(グラフとして)観察されたり、部分的に観察されたり、完全に観察されなかったりした場合に、新しいモデルが有望な性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-09-13T17:54:41Z)
• Thermodynamics-Consistent Graph Neural Networks [50.0791489606211]
  本稿では,二成分混合物の組成依存的活動係数を予測するために,ギブス自由エネルギーグラフニューラルネットワーク(GE-GNN)を提案する。 GE-GNNアーキテクチャはギブス自由エネルギーを超えるモルを予測することによって熱力学的整合性を確保する。 活性係数予測の精度と熱力学的整合性を示す。
  論文  参考訳（メタデータ） (2024-07-08T06:58:56Z)
• Energy Transformer [64.22957136952725]
  我々の研究は、機械学習における有望な3つのパラダイム、すなわち注意機構、エネルギーベースモデル、連想記憶の側面を組み合わせる。 本稿では,エネルギー変換器(ET,Energy Transformer)と呼ばれる新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-02-14T18:51:22Z)
• Geometric Knowledge Distillation: Topology Compression for Graph Neural Networks [80.8446673089281]
  グラフトポロジ情報をグラフニューラルネットワーク(GNN)に符号化することを目的とした知識伝達の新しいパラダイムについて検討する。 本稿では,GNNのアーキテクチャに関する基礎となる多様体の幾何学的性質をカプセル化するためのニューラルヒートカーネル(NHK)を提案する。 基本的な原理的解法は、NHKを幾何学的知識蒸留(Geometric Knowledge Distillation)と呼ばれる教師モデルと学生モデルに合わせることで導かれる。
  論文  参考訳（メタデータ） (2022-10-24T08:01:58Z)
• Quantum Foundations of Classical Reversible Computing [0.0]
  可逆計算は、従来の非可逆的デジタルパラダイムのエネルギー効率に対する熱力学的限界を回避することができる。 ゴリーニ・コサコフスキー・スダルシャン・リンドブラッド力学(リンドブラディアン)の枠組みを複数の状態と組み合わせ、資源理論、完全な数え上げ統計学、可逆熱力学の最近の成果を取り入れた。 また,計算機の基本的な最小エネルギー散逸を速度関数として同定する研究計画を概説する。
  論文  参考訳（メタデータ） (2021-04-30T19:53:47Z)
• Thermodynamic Consistent Neural Networks for Learning Material Interfacial Mechanics [6.087530833458481]
  トラクション・セパレーション関係(TSR)は、開口中の材料界面の力学的挙動を定量的に記述する。 ニューラルネットワークはロードパスとうまく適合するが、物理の法則に従わないことが多い。 本稿では,TSRのデータ駆動モデルを構築するための熱力学的一貫したニューラルネットワーク (TCNN) を提案する。
  論文  参考訳（メタデータ） (2020-11-28T17:25:10Z)
• Parsimonious neural networks learn interpretable physical laws [77.34726150561087]
  本稿では、ニューラルネットワークと進化的最適化を組み合わせたパシモニクスニューラルネットワーク(PNN)を提案し、精度とパシモニクスのバランスをとるモデルを求める。 アプローチのパワーと汎用性は、古典力学のモデルを開発し、基本特性から材料の融解温度を予測することによって実証される。
  論文  参考訳（メタデータ） (2020-05-08T16:15:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。