論文の概要: An entropy formula for the Deep Linear Network

• arxiv url: http://arxiv.org/abs/2509.09088v1
• Date: Thu, 11 Sep 2025 01:40:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-12 16:52:24.194565
• Title: An entropy formula for the Deep Linear Network
• Title（参考訳）: ディープ線形ネットワークのエントロピー公式
• Authors: Govind Menon, Tianmin Yu,
• Abstract要約: 主なツールは、オーバーパラメトリゼーションを分析するためにグループアクションを使用することである。 群軌道によるパラメータ空間における平衡多様体の葉状はボルツマンエントロピーの定義と計算に使用される。 主要な技術的ステップは、平衡多様体の接空間に対する正規直交基底の明示的な構成である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the Riemannian geometry of the Deep Linear Network (DLN) as a foundation for a thermodynamic description of the learning process. The main tools are the use of group actions to analyze overparametrization and the use of Riemannian submersion from the space of parameters to the space of observables. The foliation of the balanced manifold in the parameter space by group orbits is used to define and compute a Boltzmann entropy. We also show that the Riemannian geometry on the space of observables defined in [2] is obtained by Riemannian submersion of the balanced manifold. The main technical step is an explicit construction of an orthonormal basis for the tangent space of the balanced manifold using the theory of Jacobi matrices.
• Abstract（参考訳）: 本研究では,Deep Linear Network (DLN) のリーマン幾何学を学習過程の熱力学的記述の基礎として研究する。 主なツールは、オーバーパラメトリゼーションを分析するためのグループアクションの使用と、パラメータの空間から可観測空間へのリーマン沈み込みの使用である。 群軌道によるパラメータ空間における平衡多様体の葉状はボルツマンエントロピーの定義と計算に使用される。 また、 [2] で定義される可観測空間上のリーマン幾何学は、平衡多様体のリーマン沈めによって得られることを示す。 主な技術的ステップは、ヤコビ行列の理論を用いて、平衡多様体の接空間の正則基底を明示的に構成することである。

関連論文リスト

• Riemann$^2$: Learning Riemannian Submanifolds from Riemannian Data [12.424539896723603]
  潜在変数モデルは、高次元データから低次元多様体を学習するための強力なツールである。 本稿では,ロボットの動作合成や脳コネクトームの解析など,さまざまな領域における複雑なタスクの処理を可能にする。
  論文  参考訳（メタデータ） (2025-03-07T16:08:53Z)
• The geometry of the deep linear network [0.0]
  いくつかの著者による厳密な結果は、深層学習のための熱力学フレームワークに統合される。 DLNと数学の他の分野との関係について、いくつかのオープンな質問とともに議論する。
  論文  参考訳（メタデータ） (2024-11-13T20:15:50Z)
• RMLR: Extending Multinomial Logistic Regression into General Geometries [64.16104856124029]
  我々のフレームワークは、最小限の幾何学的性質しか必要とせず、広い適用性を示す。 SPD MLRの5つのファミリーを5種類のパワー変形測定値に基づいて開発する。 回転行列上では、人気のある双不変計量に基づいてリー MLR を提案する。
  論文  参考訳（メタデータ） (2024-09-28T18:38:21Z)
• Product Geometries on Cholesky Manifolds with Applications to SPD Manifolds [65.04845593770727]
  シンメトリー正定値(SPD)多様体上の2つの新しい測度をコレスキー多様体を通して提示する。 私たちのメトリクスは使いやすく、計算効率が良く、数値的に安定しています。
  論文  参考訳（メタデータ） (2024-07-02T18:46:13Z)
• The Fisher-Rao geometry of CES distributions [50.50897590847961]
  Fisher-Rao情報幾何学は、ツールを微分幾何学から活用することができる。 楕円分布の枠組みにおけるこれらの幾何学的ツールの実用的利用について述べる。
  論文  参考訳（メタデータ） (2023-10-02T09:23:32Z)
• A singular Riemannian geometry approach to Deep Neural Networks I. Theoretical foundations [77.86290991564829]
  ディープニューラルネットワークは、音声認識、機械翻訳、画像解析など、いくつかの科学領域で複雑な問題を解決するために広く使われている。 我々は、リーマン計量を備えた列の最後の多様体で、多様体間の写像の特定の列を研究する。 このようなシーケンスのマップの理論的性質について検討し、最終的に実践的な関心を持つニューラルネットワークの実装間のマップのケースに焦点を当てる。
  論文  参考訳（メタデータ） (2021-12-17T11:43:30Z)
• A Unifying and Canonical Description of Measure-Preserving Diffusions [60.59592461429012]
  ユークリッド空間における測度保存拡散の完全なレシピは、最近、いくつかのMCMCアルゴリズムを単一のフレームワークに統合した。 我々は、この構成を任意の多様体に改善し一般化する幾何学理論を開発する。
  論文  参考訳（メタデータ） (2021-05-06T17:36:55Z)
• Geometric Approach Towards Complete Logarithmic Sobolev Inequalities [15.86478274881752]
  本稿では,すべての有限次元対称量子マルコフ半群に対するエントロピー崩壊推定を証明するために,非リーマン幾何学からのカルノ・カラテオドイ距離を用いる。 我々のアプローチは、転移原理、$t$-designsの存在、コンパクトリー群のリーマン下直径に依存し、スペクトルギャップの見積もりを推定する。
  論文  参考訳（メタデータ） (2021-02-08T18:48:15Z)
• Nested Grassmannians for Dimensionality Reduction with Applications [7.106986689736826]
  等質リーマン多様体のネスト列を構成するための新しい枠組みを提案する。 我々は、提案されたフレームワークをグラスマン多様体に適用することに集中し、ネストしたグラスマン多様体(NG)を生み出した。 具体的には、各平面(2D) 形状は複素グラスマン多様体である複素射影空間の点として表すことができる。 提案したNG構造を用いて,教師付き次元減少問題と教師なし次元減少問題に対するアルゴリズムをそれぞれ開発する。
  論文  参考訳（メタデータ） (2020-10-27T20:09:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。