論文の概要: Thermodynamic bounds on energy use in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2503.09980v2
• Date: Wed, 18 Jun 2025 04:00:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 16:34:05.338737
• Title: Thermodynamic bounds on energy use in Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークにおけるエネルギー利用に関する熱力学的検討
• Authors: Alexei V. Tkachenko,
• Abstract要約: アナログ物理基板上に実装されたディープニューラルネットワーク(DNN)は,熱力学的制約が著しく異なる条件下で動作可能であることを示す。 我々は、動的および準静的の2種類のアナログ系を区別する。 この結果から, アナログ実装は, 推論においてディジタル実装よりも優れているが, トレーニングの熱力学的コストは, 両者のパラダイムでも同様に大きくなることが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While Landauer's principle sets a fundamental energy limit for irreversible digital computation, we show that Deep Neural Networks (DNNs) implemented on analog physical substrates can operate under markedly different thermodynamic constraints. We distinguish between two classes of analog systems: dynamic and quasi-static. In dynamic systems, energy dissipation arises from neuron resets, with a lower bound governed by Landauer's principle. To analyse a quasi-static analog platform, we construct an explicit mapping of a generic feedforward DNN onto a physical system described by a model Hamiltonian. In this framework, inference can proceed reversibly, with no minimum free energy cost imposed by thermodynamics. We further analyze the training process in quasi-static analog networks and derive a fundamental lower bound on its energy cost, rooted in the interplay between thermal and statistical noise. Our results suggest that while analog implementations can outperform digital ones during inference, the thermodynamic cost of training scales similarly in both paradigms.
• Abstract（参考訳）: ランダウアーの原理は、不可逆デジタル計算の基本的なエネルギー限界を定めているが、アナログ物理基板上に実装されたディープニューラルネットワーク(DNN)は、明らかに異なる熱力学的制約の下で動作可能であることを示す。 我々は、動的および準静的の2種類のアナログ系を区別する。 力学系では、エネルギーの散逸はニューロンのリセットから生じ、ランダウアーの原理によって下界が支配される。 準静的なアナログプラットフォームを解析するために、モデルハミルトニアンにより記述された物理系への一般フィードフォワードDNNの明示的なマッピングを構築する。 この枠組みでは、熱力学によって課される最小自由エネルギーコストなしで、推論は可逆的に進行することができる。 さらに、準静電アナログネットワークにおけるトレーニングプロセスを分析し、熱雑音と統計雑音の相互作用に根ざした、そのエネルギーコストの基本的な下限を導出する。 この結果から, アナログ実装は, 推論においてディジタル実装よりも優れているが, トレーニングの熱力学的コストは, 両者のパラダイムでも同様に大きくなることが示唆された。

関連論文リスト

• Fractional Spike Differential Equations Neural Network with Efficient Adjoint Parameters Training [63.3991315762955]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンからインスピレーションを得て、脳に似た計算の現実的なモデルを作成する。 既存のほとんどのSNNは、マルコフ特性を持つ一階常微分方程式(ODE)によってモデル化された、神経細胞膜電圧ダイナミクスの単一時間定数を仮定している。 本研究では, 膜電圧およびスパイク列車の長期依存性を分数次力学により捉えるフラクタルSPIKE微分方程式ニューラルネットワーク (fspikeDE) を提案する。
  論文  参考訳（メタデータ） (2025-07-22T18:20:56Z)
• Architecture of Information [0.0]
  フォーマルニューロンと多層人工ニューラルネットワーク(ANN)のエネルギー景観構築へのアプローチを探る。 フォーマルニューロンとANNモデルにおける情報的および熱力学的エントロピーの研究は、情報的エントロピーのエネルギー的性質に関する結論をもたらす。 本研究は, システムの内部エネルギーと外部エネルギーの相互作用プロセスの観点から, 情報の形式的定義を定式化できるようにする。
  論文  参考訳（メタデータ） (2025-03-21T14:48:41Z)
• Sustainable AI: Mathematical Foundations of Spiking Neural Networks [46.76155269576732]
  生物学的ニューロンにインスパイアされたスパイクニューラルネットワークは、潜在的な計算とエネルギー効率の向上に有望な代替手段を提供する。 本稿では,学習理論のレンズによるスパイキングネットワークの計算特性について考察する。
  論文  参考訳（メタデータ） (2025-03-03T19:44:12Z)
• Thermodynamic computing out of equilibrium [0.0]
  本稿では, 任意の非線形計算を平衡内外で行うことのできる熱力学計算機の設計について述べる。 簡単な熱力学回路は、熱浴と接触する自由度を変動させ、入力の非線形機能であるアクティビティを表示する。 熱力学ニューラルネットワークのディジタルモデルをシミュレートし、そのパラメータを遺伝的アルゴリズムで調整し、特定の観測時間で非線形計算を行うことを示す。
  論文  参考訳（メタデータ） (2024-12-22T22:51:51Z)
• Physics-Informed Regularization for Domain-Agnostic Dynamical System Modeling [41.82469276824927]
  本稿では,幅広い力学系に対して高精度なモデリングを実現するフレームワークを提案する。 保守的なシステムのエネルギーを保ちつつ、非保守的で可逆的なシステムの強い誘導バイアスとして機能する。 ニューラル常微分方程式モデルにTRS損失を組み込むことにより、提案モデルであるTREATは様々な物理系において優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-08T21:04:01Z)
• DimOL: Dimensional Awareness as A New 'Dimension' in Operator Learning [63.5925701087252]
  本稿では,DimOL(Dimension-aware Operator Learning)を紹介し,次元解析から洞察を得る。 DimOLを実装するために,FNOおよびTransformerベースのPDEソルバにシームレスに統合可能なProdLayerを提案する。 経験的に、DimOLモデルはPDEデータセット内で最大48%のパフォーマンス向上を達成する。
  論文  参考訳（メタデータ） (2024-10-08T10:48:50Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Neural Message Passing Induced by Energy-Constrained Diffusion [79.9193447649011]
  本稿では,MPNNのメカニズムを理解するための原理的解釈可能なフレームワークとして,エネルギー制約付き拡散モデルを提案する。 データ構造が(グラフとして)観察されたり、部分的に観察されたり、完全に観察されなかったりした場合に、新しいモデルが有望な性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-09-13T17:54:41Z)
• Towards training digitally-tied analog blocks via hybrid gradient computation [1.800676987432211]
  フィードフォワード型エネルギーベースモデル(ff-EBM)を紹介する。 フィードフォワード部とエネルギーベース部でそれぞれ逆プロパゲーションと「eqプロパゲーション」することで、FF-EBMの勾配をエンドツーエンドに計算する新しいアルゴリズムを導出する。 我々のアプローチは、自己学習可能なアナログ計算プリミティブを既存のデジタルアクセラレータに徐々に統合する、原則的でスケーラブルで漸進的なロードマップを提供する。
  論文  参考訳（メタデータ） (2024-09-05T07:22:19Z)
• Thermodynamics-Consistent Graph Neural Networks [50.0791489606211]
  本稿では,二成分混合物の組成依存的活動係数を予測するために,ギブス自由エネルギーグラフニューラルネットワーク(GE-GNN)を提案する。 GE-GNNアーキテクチャはギブス自由エネルギーを超えるモルを予測することによって熱力学的整合性を確保する。 活性係数予測の精度と熱力学的整合性を示す。
  論文  参考訳（メタデータ） (2024-07-08T06:58:56Z)
• TANGO: Time-Reversal Latent GraphODE for Multi-Agent Dynamical Systems [43.39754726042369]
  連続グラフニューラルネットワークに基づく常微分方程式(GraphODE)により予測される前後の軌跡を整列するソフト制約として,単純かつ効果的な自己監督型正規化項を提案する。 時間反転対称性を効果的に課し、古典力学の下でより広い範囲の力学系にわたってより正確なモデル予測を可能にする。 様々な物理システムに対する実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-10-10T08:52:16Z)
• Energy Transformer [64.22957136952725]
  我々の研究は、機械学習における有望な3つのパラダイム、すなわち注意機構、エネルギーベースモデル、連想記憶の側面を組み合わせる。 本稿では,エネルギー変換器(ET,Energy Transformer)と呼ばれる新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-02-14T18:51:22Z)
• Physically Consistent Neural ODEs for Learning Multi-Physics Systems [0.0]
  本稿では, 可逆ポート・ハミルトニアンシステム (IPHS) の枠組みを利用する。 データからパラメータを学習するために,PC-NODE(Physically Consistent NODE)を提案する。 提案手法の有効性を実世界の実測値から建物熱力学を学習し,その有効性を実証する。
  論文  参考訳（メタデータ） (2022-11-11T11:20:35Z)
• Geometric Knowledge Distillation: Topology Compression for Graph Neural Networks [80.8446673089281]
  グラフトポロジ情報をグラフニューラルネットワーク(GNN)に符号化することを目的とした知識伝達の新しいパラダイムについて検討する。 本稿では,GNNのアーキテクチャに関する基礎となる多様体の幾何学的性質をカプセル化するためのニューラルヒートカーネル(NHK)を提案する。 基本的な原理的解法は、NHKを幾何学的知識蒸留(Geometric Knowledge Distillation)と呼ばれる教師モデルと学生モデルに合わせることで導かれる。
  論文  参考訳（メタデータ） (2022-10-24T08:01:58Z)
• Constructing Neural Network-Based Models for Simulating Dynamical Systems [59.0861954179401]
  データ駆動モデリングは、真のシステムの観測からシステムの力学の近似を学ぼうとする代替パラダイムである。 本稿では,ニューラルネットワークを用いた動的システムのモデル構築方法について検討する。 基礎的な概要に加えて、関連する文献を概説し、このモデリングパラダイムが克服すべき数値シミュレーションから最も重要な課題を概説する。
  論文  参考訳（メタデータ） (2021-11-02T10:51:42Z)
• Quantum Foundations of Classical Reversible Computing [0.0]
  可逆計算は、従来の非可逆的デジタルパラダイムのエネルギー効率に対する熱力学的限界を回避することができる。 ゴリーニ・コサコフスキー・スダルシャン・リンドブラッド力学(リンドブラディアン)の枠組みを複数の状態と組み合わせ、資源理論、完全な数え上げ統計学、可逆熱力学の最近の成果を取り入れた。 また,計算機の基本的な最小エネルギー散逸を速度関数として同定する研究計画を概説する。
  論文  参考訳（メタデータ） (2021-04-30T19:53:47Z)
• Thermodynamic Consistent Neural Networks for Learning Material Interfacial Mechanics [6.087530833458481]
  トラクション・セパレーション関係(TSR)は、開口中の材料界面の力学的挙動を定量的に記述する。 ニューラルネットワークはロードパスとうまく適合するが、物理の法則に従わないことが多い。 本稿では,TSRのデータ駆動モデルを構築するための熱力学的一貫したニューラルネットワーク (TCNN) を提案する。
  論文  参考訳（メタデータ） (2020-11-28T17:25:10Z)
• Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
  本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。 数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。 我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
  論文  参考訳（メタデータ） (2020-06-02T23:38:35Z)
• Thermodynamics-based Artificial Neural Networks for constitutive modeling [0.0]
  本稿では,物質点レベルでのひずみ速度独立過程のモデリングのための,データ駆動型物理ベースニューラルネットワークの新たなクラスを提案する。 熱力学の2つの基本原理は、自動微分を利用してネットワークのアーキテクチャに符号化される。 本研究では, 伸縮硬化および軟化ひずみを有するエラスト塑性材料をモデル化するためのTANNの広範囲な適用性を示す。
  論文  参考訳（メタデータ） (2020-05-25T15:56:34Z)
• Parsimonious neural networks learn interpretable physical laws [77.34726150561087]
  本稿では、ニューラルネットワークと進化的最適化を組み合わせたパシモニクスニューラルネットワーク(PNN)を提案し、精度とパシモニクスのバランスをとるモデルを求める。 アプローチのパワーと汎用性は、古典力学のモデルを開発し、基本特性から材料の融解温度を予測することによって実証される。
  論文  参考訳（メタデータ） (2020-05-08T16:15:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。