Fugu-MT 論文翻訳(概要): Understanding Deep Learning via Entropy Space Theory

論文の概要: Understanding Deep Learning via Entropy Space Theory

arxiv url: http://arxiv.org/abs/2608.29279v1
Date: Sat, 29 Aug 2026 14:05:57 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-01 18:31:30.910822
Title: Understanding Deep Learning via Entropy Space Theory
Title（参考訳）: エントロピー空間理論による深層学習の理解
Abstract要約: エントロピー空間は、トポロジカル構造によってどんな深層学習モデルのあらゆる可能性をカバーすることができる。この理論は、深層学習の数学的基礎のための新しい先駆的枠組みを提供する。
参考スコア（独自算出の注目度）: 14.12103715873018
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep learning is often criticized for its theoretical research lagging behind practice. To make deep learning easier to understand, the entropy space theory is first introduced here. The entropy space can cover all the possibilities of any deep learning model by topological structure. It is independent of network parameters. Through the designed fundamental operations and norm, entropy space is proven to be a normed space within the formal axiomatic framework. Based on the theory, a unified coordinate system is proposed. It can coordinatize every state of a model and rank them by compression of the maximal value of information entropy. The theory offers a novel priori framework for mathematical fundamentals of deep learning.
Abstract（参考訳）: 深層学習は、その理論的研究が実践に遅れているとしてしばしば批判される。深層学習をより理解しやすくするために、エントロピー空間理論が最初に導入された。エントロピー空間は、トポロジカル構造によってどんな深層学習モデルのあらゆる可能性をカバーすることができる。ネットワークパラメータとは独立している。設計された基本的な操作とノルムにより、エントロピー空間は形式的公理的枠組みの中でノルム空間であることが証明される。この理論に基づいて統一座標系を提案する。モデルの全状態をコーディネートし、情報エントロピーの最大値の圧縮によってそれらをランク付けすることができる。この理論は、深層学習の数学的基礎のための新しい先駆的枠組みを提供する。

関連論文リスト

Informational Frustration in Neural Manifolds: Shannon Bottlenecks and the Limits of Learnability [0.0]
本稿では,情報理論,トポロジ,統計力学を結合して深層学習の限界をマップする統合フレームワークを提案する。データ多様体のシャノンエントロピーが関数の決定境界のトポロジ的エントロピーを上回っている場合、ネットワークが真に対象関数を学習できるという法則である。グローキング」という謎的な現象は、実際にはエントロピーリリース(Entropic Release)であり、ボトルネックを解き放つために、ウェイトが突然再編成されることが示されています。
論文参考訳（メタデータ） (2026-06-29T16:20:02Z)
There Will Be a Scientific Theory of Deep Learning [62.690977616250954]
我々は、深層学習の科学的理論が出現しつつあることを主張する。我々は、そのような理論を導く5つの成長する仕事の体を同定する。我々は、新しい理論は学習過程の力学と考えるのが一番良いと論じる。
論文参考訳（メタデータ） (2026-04-23T13:58:12Z)
Newton to Einstein: Axiom-Based Discovery via Game Design [55.30047000068118]
本稿では,ルール進化システムとして科学調査を再放送するゲームデザインフレームワークを提案する。固定された仮定内で動作する従来のMLアプローチとは異なり、本手法は新たな理論構造の発見を可能にする。
論文参考訳（メタデータ） (2025-09-05T18:59:18Z)
Deep Learning is Not So Mysterious or Different [54.5330466151362]
我々は、異常な一般化行動はニューラルネットワークとは異なるものではないと主張している。我々はこれらの現象を説明する上で重要な統一原理として、軟性誘導バイアスを提示する。また、ディープラーニングが、表現学習の能力など、他の方法と相対的に異なる点を強調します。
論文参考訳（メタデータ） (2025-03-03T22:56:04Z)
Envisioning Future Deep Learning Theories: Some Basic Concepts and Characteristics [30.365274034429508]
将来的な深層学習理論は,3つの特徴を継承すべきである,と我々は主張する。階層構造型ネットワークアーキテクチャ, 勾配法を用いてテキストに最適化されたパラメータ, テキスト圧縮的に進化するデータからの情報。我々はこれらの特徴をTextitneurashedと呼ばれるグラフィカルモデルに統合し、ディープラーニングにおける一般的な経験的パターンを効果的に説明する。
論文参考訳（メタデータ） (2021-12-17T19:51:26Z)
Unified Field Theory for Deep and Recurrent Neural Networks [56.735884560668985]
本稿では,再帰的ネットワークと深層ネットワークの両方に対する平均場理論の統一的,体系的な導出について述べる。平均場理論への収束は、ディープネットワークよりもリカレントネットワークの方が典型的に遅い。提案手法はガウス過程が1/n$の体系的展開の最下位次数であることを示す。
論文参考訳（メタデータ） (2021-12-10T15:06:11Z)
An Empirical Investigation into Deep and Shallow Rule Learning [0.0]
本稿では,深層ルール学習と浅層ルール学習を一様一般アルゴリズムで実証的に比較する。人工および実世界のベンチマークデータを用いた実験は、深いルールネットワークが浅いネットワークより優れていることを示している。
論文参考訳（メタデータ） (2021-06-18T17:43:17Z)
Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
論文参考訳（メタデータ） (2021-06-15T05:30:17Z)
The Autodidactic Universe [0.8795040582681388]
宇宙が自身の物理法則を学習する宇宙論へのアプローチを提案する。我々はこれらの行列モデルをゲージ/重力理論と学習機械の数学的モデルの両方に対応づけたマップを発見する。自律的なシステムでは,教師のいない学習がどのような意味を持つのかを詳細に議論する。
論文参考訳（メタデータ） (2021-03-29T02:25:02Z)
Recent advances in deep learning theory [104.01582662336256]
本稿では,近年のディープラーニング理論の進歩をレビューし,整理する。文献は,(1)深層学習の一般化可能性を分析する複雑性とキャパシティに基づくアプローチ,(2)勾配降下とその変種をモデル化するための微分方程式とその力学系,(3)動的システムの軌道を駆動する損失景観の幾何学的構造,(5)ネットワークアーキテクチャにおけるいくつかの特別な構造の理論的基礎,の6つのグループに分類される。
論文参考訳（メタデータ） (2020-12-20T14:16:41Z)
Deep Learning is Singular, and That's Good [31.985399645173022]
特異モデルにおいて、パラメータの最適集合は特異点を持つ解析集合を形成し、古典的な統計的推論は適用できない。これは、ニューラルネットワークが特異であり、ヘッセンの行列式やラプラス近似を用いた場合の「分割」が適切でないため、ディープラーニングにとって重要である。深層学習の根本的な問題に対処する可能性にもかかわらず、特異学習理論は深層学習理論の発達過程にほとんど浸透しなかったようである。
論文参考訳（メタデータ） (2020-10-22T09:33:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。