論文の概要: Deterministic Bounds and Random Estimates of Metric Tensors on Neuromanifolds

• arxiv url: http://arxiv.org/abs/2505.13614v1
• Date: Mon, 19 May 2025 18:01:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:52.470751
• Title: Deterministic Bounds and Random Estimates of Metric Tensors on Neuromanifolds
• Title（参考訳）: 神経マニフォールド上の計量テンソルの決定論的境界とランダム推定
• Authors: Ke Sun,
• Abstract要約: 我々は、ハッチンソンのトレース推定器に基づいて、計量テンソルとその境界の非バイアスランダム推定を導入する。 単一の後方通過を通して効率的に評価することができ、対角線、またはブロック対角線、またはフルテンソルを推定することができる。
• 参考スコア（独自算出の注目度）: 2.3892287061487982
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The high dimensional parameter space of modern deep neural networks -- the neuromanifold -- is endowed with a unique metric tensor defined by the Fisher information, estimating which is crucial for both theory and practical methods in deep learning. To analyze this tensor for classification networks, we return to a low dimensional space of probability distributions -- the core space -- and carefully analyze the spectrum of its Riemannian metric. We extend our discoveries there into deterministic bounds of the metric tensor on the neuromanifold. We introduce an unbiased random estimate of the metric tensor and its bounds based on Hutchinson's trace estimator. It can be evaluated efficiently through a single backward pass and can be used to estimate the diagonal, or block diagonal, or the full tensor. Its quality is guaranteed with a standard deviation bounded by the true value up to scaling.
• Abstract（参考訳）: 現代のディープニューラルネットワークの高次元パラメータ空間 -- ニューロマニフォールド -- は、フィッシャー情報によって定義されたユニークな計量テンソルによって与えられる。 分類網のこのテンソルを解析するために、確率分布の低次元空間(コア空間)に戻り、リーマン計量のスペクトルを慎重に解析する。 我々はそこでの発見を、神経多様体上の計量テンソルの決定論的境界に拡張する。 我々は、ハッチンソンのトレース推定器に基づいて、計量テンソルとその境界の非バイアスランダム推定を導入する。 単一の後方通過を通して効率的に評価することができ、対角線、またはブロック対角線、またはフルテンソルを推定することができる。 その品質は、スケーリングまでの真の価値によって制限された標準偏差によって保証されます。

関連論文リスト

• Low-variance observable estimation with informationally-complete measurements and tensor networks [0.7366405857677227]
  本稿では, 統計誤差の低い複数の観測値の偏りのない推定値を提供する手法を提案する。 この手法はテンソルネットワークに基づく測定データの観測可能な古典的最適化から成り立っている。 低結合次元のテンソルネットワークを用いた場合においても最適推定がいかにできるかを示す。
  論文  参考訳（メタデータ） (2024-07-03T08:55:37Z)
• Sparse deep neural networks for nonparametric estimation in high-dimensional sparse regression [4.983567824636051]
  本研究は、非パラメトリック推定とパラメトリックスパースディープニューラルネットワークを初めて組み合わせたものである。 偏微分の非パラメトリック推定は非線形変数選択にとって非常に重要であるため、現在の結果はディープニューラルネットワークの解釈可能性に有望な未来を示すものである。
  論文  参考訳（メタデータ） (2024-06-26T07:41:41Z)
• Trade-Offs of Diagonal Fisher Information Matrix Estimators [53.35448232352667]
  Fisher情報行列は、ニューラルネットワークのパラメータ空間の局所幾何学を特徴付けるのに使うことができる。 精度とサンプルの複雑さが関連する分散に依存する2つの人気推定器について検討する。 分散のバウンダリを導出し、回帰と分類のためにニューラルネットワークでそれらをインスタンス化する。
  論文  参考訳（メタデータ） (2024-02-08T03:29:10Z)
• Stochastic Marginal Likelihood Gradients using Neural Tangent Kernels [78.6096486885658]
  線形化されたラプラス近似に下界を導入する。 これらの境界は漸進的な最適化が可能であり、推定精度と計算複雑性とのトレードオフを可能にする。
  論文  参考訳（メタデータ） (2023-06-06T19:02:57Z)
• Kernel-based off-policy estimation without overlap: Instance optimality beyond semiparametric efficiency [53.90687548731265]
  本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。 任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
  論文  参考訳（メタデータ） (2023-01-16T02:57:37Z)
• Intrinsic dimension estimation for discrete metrics [65.5438227932088]
  本稿では,離散空間に埋め込まれたデータセットの内在次元(ID)を推定するアルゴリズムを提案する。 我々は,その精度をベンチマークデータセットで示すとともに,種鑑定のためのメダゲノミクスデータセットの分析に応用する。 このことは、列の空間の高次元性にもかかわらず、蒸発圧が低次元多様体に作用することを示唆している。
  論文  参考訳（メタデータ） (2022-07-20T06:38:36Z)
• Error Analysis of Tensor-Train Cross Approximation [88.83467216606778]
  我々は, テンソル全体の精度保証を行う。 結果は数値実験により検証され、高次テンソルに対するクロス近似の有用性に重要な意味を持つ可能性がある。
  論文  参考訳（メタデータ） (2022-07-09T19:33:59Z)
• Neural Estimation of Statistical Divergences [24.78742908726579]
  ニューラルネットワーク(NN)による経験的変動形態のパラメトリゼーションによる統計的発散推定の一手法 特に、近似と経験的推定という2つのエラー源の間には、根本的なトレードオフがある。 NN成長速度がわずかに異なる神経推定器は、最小値の最適値に近づき、パラメトリック収束率を対数因子まで達成できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:42:44Z)
• Tensor-Train Networks for Learning Predictive Modeling of Multidimensional Data [0.0]
  有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。 本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。 TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2021-01-22T16:14:38Z)
• Estimation theory and gravity [0.0]
  古典的距離背景上の極小結合自由量子スカラー場のユークリッドパス積分測度が、背景距離が与えられたフィールド構成を観測する確率であると解釈された場合、最大推定値は「観測された」フィールドの応力-エネルギーテンソルを源としてアインシュタイン場方程式を満足する。
  論文  参考訳（メタデータ） (2020-03-03T06:23:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。