論文の概要: Information Physics of Intelligence: Unifying Logical Depth and Entropy under Thermodynamic Constraints

• arxiv url: http://arxiv.org/abs/2511.19156v1
• Date: Mon, 24 Nov 2025 14:24:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-25 18:34:25.249586
• Title: Information Physics of Intelligence: Unifying Logical Depth and Entropy under Thermodynamic Constraints
• Title（参考訳）: 情報物理:熱力学的制約下における論理的深さとエントロピーの統一
• Authors: Jianfeng Xu, Zeyan Li,
• Abstract要約: 本稿では,情報処理を存在論的状態からキャリア状態へのマッピングを可能にする理論的枠組みを提案する。 与えられた論理深度から対象状態を計算するのに必要な有効な作業量を定量化する,新しい計量である導出エントロピーを導入する。 このことから, 導出エントロピーの最小化は, 生物と人工知能の双方の進化に支配的な原則であることが示唆された。
• 参考スコア（独自算出の注目度）: 7.411478588468014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid scaling of artificial intelligence models has revealed a fundamental tension between model capacity (storage) and inference efficiency (computation). While classical information theory focuses on transmission and storage limits, it lacks a unified physical framework to quantify the thermodynamic costs of generating information from compressed laws versus retrieving it from memory. In this paper, we propose a theoretical framework that treats information processing as an enabling mapping from ontological states to carrier states. We introduce a novel metric, Derivation Entropy, which quantifies the effective work required to compute a target state from a given logical depth. By analyzing the interplay between Shannon entropy (storage) and computational complexity (time/energy), we demonstrate the existence of a critical phase transition point. Below this threshold, memory retrieval is thermodynamically favorable; above it, generative computation becomes the optimal strategy. This "Energy-Time-Space" conservation law provides a physical explanation for the efficiency of generative models and offers a rigorous mathematical bound for designing next-generation, energy-efficient AI architectures. Our findings suggest that the minimization of Derivation Entropy is a governing principle for the evolution of both biological and artificial intelligence.
• Abstract（参考訳）: 人工知能モデルの急速なスケーリングにより、モデルキャパシティ(ストレージ)と推論効率(計算)の根本的な緊張が明らかになった。 古典的な情報理論は伝送と記憶の限界に焦点を当てているが、圧縮された法則から情報を取り出すか、記憶から取り出すかという熱力学的コストを定量化するための統一された物理的枠組みは欠如している。 本稿では,情報処理を存在論的状態からキャリア状態へのマッピングを可能にする理論的枠組みを提案する。 与えられた論理深度から対象状態を計算するのに必要な有効な作業量を定量化する,新しい計量である導出エントロピーを導入する。 シャノンエントロピー(記憶)と計算複雑性(時間/エネルギー)の相互作用を解析することにより、臨界相転移点の存在を実証する。 このしきい値の下には、メモリの検索が熱力学的に有利であり、その上、生成計算が最適戦略となる。 この「エネルギー時空間」保存法は、生成モデルの効率を物理的に説明し、次世代のエネルギー効率の高いAIアーキテクチャを設計するための厳密な数学的境界を提供する。 このことから, 導出エントロピーの最小化は, 生物と人工知能の双方の進化に支配的な原則であることが示唆された。

関連論文リスト

• Erasure cost of a quantum process: A thermodynamic meaning of the dynamical min-entropy [1.1827829754757404]
  量子過程の消去(および準備)に伴う熱力学的コストについて検討する。 我々は、削減されたダイナミクスの敵の消去コストに焦点をあてる。 この洞察は熱力学、情報理論、量子計算の基本的な限界を橋渡しする。
  論文  参考訳（メタデータ） (2025-06-05T17:53:17Z)
• Entropy-Based Block Pruning for Efficient Large Language Models [81.18339597023187]
  性能を維持しつつ効率を向上するエントロピー型プルーニング戦略を提案する。 経験的分析により、隠れ表現のエントロピーは初期ブロックでは減少するが、その後のほとんどのブロックでは徐々に増加することが明らかとなった。
  論文  参考訳（メタデータ） (2025-04-04T03:42:34Z)
• Thermodynamic bounds on energy use in Deep Neural Networks [0.0]
  アナログ物理基板上に実装されたディープニューラルネットワーク(DNN)は,熱力学的制約が著しく異なる条件下で動作可能であることを示す。 我々は、動的および準静的の2種類のアナログ系を区別する。 この結果から, アナログ実装は, 推論においてディジタル実装よりも優れているが, トレーニングの熱力学的コストは, 両者のパラダイムでも同様に大きくなることが示唆された。
  論文  参考訳（メタデータ） (2025-03-13T02:35:07Z)
• Informational Embodiment: Computational role of information structure in codes and robots [48.00447230721026]
  我々は,センサの精度,モータの精度,配置,体形状,ロボットの情報構造や計算符号の形状について,情報理論(IT)を考察する。 本研究は,本質的な騒音や物質的制約にもかかわらず,情報の伝達・伝達を行う物理的通信路としてロボットの身体を想定する。 我々は、誤り訂正やノイズに対する堅牢性、パシモニーといった情報容量の観点から、シャノン限界に達したITで使用される効率的なコードの特別なクラスを紹介します。
  論文  参考訳（メタデータ） (2024-08-23T09:59:45Z)
• Topology Optimization of Random Memristors for Input-Aware Dynamic SNN [44.38472635536787]
  入力対応動的旋回型スパイクニューラルネットワーク(PRIME)のプルーニング最適化について紹介する。 信号表現の面では、PRIMEは脳固有のスパイキング機構をエミュレートするために、漏れやすい統合と発火のニューロンを使用する。 計算深度の動的調整にインスパイアされた再構成性のために、PRIMEは入力対応の動的早期停止ポリシーを採用している。
  論文  参考訳（メタデータ） (2024-07-26T09:35:02Z)
• Solving reaction dynamics with quantum computing algorithms [42.408991654684876]
  線形応答によって支配される異なる反応を記述することに関連する応答関数の量子アルゴリズムについて検討する。 我々は原子核物理学の応用に焦点をあて、格子上の量子ビット効率のマッピングを検討し、現実的な散乱シミュレーションに必要な大量の量を効率的に表現することができる。
  論文  参考訳（メタデータ） (2024-03-30T00:21:46Z)
• Energy Transformer [64.22957136952725]
  我々の研究は、機械学習における有望な3つのパラダイム、すなわち注意機構、エネルギーベースモデル、連想記憶の側面を組み合わせる。 本稿では,エネルギー変換器(ET,Energy Transformer)と呼ばれる新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-02-14T18:51:22Z)
• Quantum Foundations of Classical Reversible Computing [0.0]
  可逆計算は、従来の非可逆的デジタルパラダイムのエネルギー効率に対する熱力学的限界を回避することができる。 ゴリーニ・コサコフスキー・スダルシャン・リンドブラッド力学(リンドブラディアン)の枠組みを複数の状態と組み合わせ、資源理論、完全な数え上げ統計学、可逆熱力学の最近の成果を取り入れた。 また,計算機の基本的な最小エネルギー散逸を速度関数として同定する研究計画を概説する。
  論文  参考訳（メタデータ） (2021-04-30T19:53:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。