論文の概要: The Exact Asymptotic Form of Bayesian Generalization Error in Latent Dirichlet Allocation

• arxiv url: http://arxiv.org/abs/2008.01304v2
• Date: Mon, 25 Jan 2021 15:49:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-02 23:48:31.834420
• Title: The Exact Asymptotic Form of Bayesian Generalization Error in Latent Dirichlet Allocation
• Title（参考訳）: 潜伏ディリクレ転位におけるベイズ一般化誤差の異常漸近形式
• Authors: Naoki Hayashi
• Abstract要約: 代数幾何学を用いた学習の理論解析により、その一般化誤差と限界確率の正確な形を与える。 数値実験は理論結果と一致している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Latent Dirichlet allocation (LDA) obtains essential information from data by using Bayesian inference. It is applied to knowledge discovery via dimension reducing and clustering in many fields. However, its generalization error had not been yet clarified since it is a singular statistical model where there is no one-to-one mapping from parameters to probability distributions. In this paper, we give the exact asymptotic form of its generalization error and marginal likelihood, by theoretical analysis of its learning coefficient using algebraic geometry. The theoretical result shows that the Bayesian generalization error in LDA is expressed in terms of that in matrix factorization and a penalty from the simplex restriction of LDA's parameter region. A numerical experiment is consistent to the theoretical result.
• Abstract（参考訳）: 潜在ディリクレ割り当て(LDA)はベイズ推定を用いてデータから必須情報を取得する。 多くの分野における次元減少とクラスタリングによる知識発見に適用される。 しかし、パラメータから確率分布への1対1マッピングが存在しない特異な統計モデルであるため、その一般化誤差はまだ明らかになっていない。 本稿では,代数幾何学を用いた学習係数の理論解析により,その一般化誤差と限界確率の正確な漸近形式を与える。 理論的な結果は、LDAにおけるベイズ一般化誤差が、行列分解とLDAのパラメータ領域の単純制限によるペナルティで表されることを示している。 数値実験は理論結果と一致している。

関連論文リスト

• Entrywise error bounds for low-rank approximations of kernel matrices [55.524284152242096]
  切り抜き固有分解を用いて得られたカーネル行列の低ランク近似に対するエントリーワイド誤差境界を導出する。 重要な技術的革新は、小さな固有値に対応するカーネル行列の固有ベクトルの非局在化結果である。 我々は、合成および実世界のデータセットの集合に関する実証的研究により、我々の理論を検証した。
  論文  参考訳（メタデータ） (2024-05-23T12:26:25Z)
• Generalized Laplace Approximation [23.185126261153236]
  我々は、ベイズ的不整合を不特定性をモデル化し、不適切な先行をモデル化するために、統一された理論的枠組みを導入する。 正規化損失関数のヘッセン行列に対する簡単な調整を含む一般化ラプラス近似を提案する。 我々は、最先端のニューラルネットワークと実世界のデータセット上での一般化されたLaplace近似の性能と特性を評価する。
  論文  参考訳（メタデータ） (2024-05-22T11:11:42Z)
• Intrinsic Bayesian Cramér-Rao Bound with an Application to Covariance Matrix Estimation [49.67011673289242]
  本稿では, 推定パラメータが滑らかな多様体内にある推定問題に対して, 新たな性能境界を提案する。 これはパラメータ多様体の幾何学と推定誤差測度の本質的な概念を誘導する。
  論文  参考訳（メタデータ） (2023-11-08T15:17:13Z)
• Modify Training Directions in Function Space to Reduce Generalization Error [9.821059922409091]
  本稿では,ニューラルネットワーク関数空間におけるニューラルタンジェントカーネルとフィッシャー情報行列の固有分解に基づく自然勾配降下法を提案する。 固有分解と統計理論から理論的手法を用いて学習したニューラルネットワーク関数の一般化誤差を明示的に導出する。
  論文  参考訳（メタデータ） (2023-07-25T07:11:30Z)
• The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
  この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。 測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
  論文  参考訳（メタデータ） (2023-06-22T23:14:57Z)
• Learning Linear Causal Representations from Interventions under General Nonlinear Mixing [52.66151568785088]
  介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。 これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
  論文  参考訳（メタデータ） (2023-06-04T02:32:12Z)
• Upper Bound of Real Log Canonical Threshold of Tensor Decomposition and its Application to Bayesian Inference [0.15229257192293197]
  テンソル分解における実対数正準しきい値(RLCT)の上限を与える。 数値実験により,その数学的性質についても考察する。
  論文  参考訳（メタデータ） (2023-03-10T06:31:30Z)
• Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics for Convex Losses in High-Dimension [25.711297863946193]
  我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。 一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:44:58Z)
• Error Bounds of the Invariant Statistics in Machine Learning of Ergodic It\^o Diffusions [8.627408356707525]
  エルゴード的伊藤拡散の機械学習の理論的基盤について検討する。 ドリフト係数と拡散係数の学習における誤差に対する1点および2点不変統計量の誤差の線形依存性を導出する。
  論文  参考訳（メタデータ） (2021-05-21T02:55:59Z)
• Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
  帰納バイアスは 経験的に過剰フィットを防げる中心的存在です この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。 我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
  論文  参考訳（メタデータ） (2021-03-23T17:15:53Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。