論文の概要: SGLD-Based Information Criteria and the Over-Parameterized Regime

• arxiv url: http://arxiv.org/abs/2306.05583v1
• Date: Thu, 8 Jun 2023 22:54:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-12 15:16:17.214642
• Title: SGLD-Based Information Criteria and the Over-Parameterized Regime
• Title（参考訳）: SGLDに基づく情報基準と過度パラメータ化レジーム
• Authors: Haobo Chen, Yuheng Bu and Gregory W. Wornell
• Abstract要約: 二重発散は、補間しきい値を超えた学習アルゴリズムのテスト損失の予期せぬ減少を指す。 Akaike Langevin dynamics(SGLD)が学習したモデルに対して、情報リスクフレームワークを用いてこれらの分析を更新し、BICを提供する。 改良されたSGLDベースのBICは, 複発曲線を追尾できることを実証した。
• 参考スコア（独自算出の注目度）: 23.05685033452972
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Double-descent refers to the unexpected drop in test loss of a learning algorithm beyond an interpolating threshold with over-parameterization, which is not predicted by information criteria in their classical forms due to the limitations in the standard asymptotic approach. We update these analyses using the information risk minimization framework and provide Akaike Information Criterion (AIC) and Bayesian Information Criterion (BIC) for models learned by stochastic gradient Langevin dynamics (SGLD). Notably, the AIC and BIC penalty terms for SGLD correspond to specific information measures, i.e., symmetrized KL information and KL divergence. We extend this information-theoretic analysis to over-parameterized models by characterizing the SGLD-based BIC for the random feature model in the regime where the number of parameters $p$ and the number of samples $n$ tend to infinity, with $p/n$ fixed. Our experiments demonstrate that the refined SGLD-based BIC can track the double-descent curve, providing meaningful guidance for model selection and revealing new insights into the behavior of SGLD learning algorithms in the over-parameterized regime.
• Abstract（参考訳）: ダブルディフレッシュ(Double-descent)とは、標準的な漸近的アプローチの限界により古典的な形式における情報基準によって予測されない、過パラメータ化による補間しきい値を超えた学習アルゴリズムのテスト損失の予想外の減少を指す。 本稿では,情報リスク最小化フレームワークを用いてこれらの分析を更新し,確率勾配ランゲヴィンダイナミクス(SGLD)で学習したモデルに対して,Akaike Information Criterion(AIC)とBayesian Information Criterion(BIC)を提供する。 特に、SGLDに対するAICとBICのペナルティ用語は、特定の情報手段、すなわち、対称性付きKL情報とKLの発散に対応する。 パラメータ数$p$とサンプル数$n$が無限大になり,$p/n$が固定される状況下で,ランダム特徴モデルに対するSGLDベースのBICを特徴付けることにより,この情報理論解析を過度パラメータ化モデルに拡張する。 実験により,改良したsgldベースのbicは2次元曲線を追跡でき,モデル選択のための有意義なガイダンスを提供し,過パラメータ環境におけるsgld学習アルゴリズムの挙動に関する新たな知見を明らかにした。

関連論文リスト

• Linear-cost unbiased posterior estimates for crossed effects and matrix factorization models via couplings [0.0]
  我々はブロックされたギブスサンプルラー(BGS)のカップリングに基づくマルコフ連鎖モンテカルロスキームの設計と解析を行う。 本手法は,条件付き独立ブロックを有する高次元BGSに対して設計および適用可能である。
  論文  参考訳（メタデータ） (2024-10-11T16:05:01Z)
• On uncertainty-penalized Bayesian information criterion [1.1049608786515839]
  本研究では,不確実性補償情報基準(UBIC)を用いることは,従来のBICと等価であることを示す。 その結果,UBIC と BIC の特性は無関心に保たれていることが示唆された。
  論文  参考訳（メタデータ） (2024-04-23T13:59:11Z)
• $μ$GUIDE: a framework for quantitative imaging via generalized uncertainty-driven inference using deep learning [0.0]
  $mu$GUIDEは、任意の生体物理モデルやMRI信号の表現から組織微細構造パラメータの後方分布を推定する。 得られた後続分布は、モデル定義に存在する退化をハイライトし、推定されたパラメータの不確かさとあいまいさを定量化する。
  論文  参考訳（メタデータ） (2023-12-28T13:59:43Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• A Robustness Analysis of Blind Source Separation [91.3755431537592]
  ブラインドソース分離(BSS)は、変換$f$が可逆であるが未知であるという条件の下で、その混合である$X=f(S)$から観測されていない信号を復元することを目的としている。 このような違反を分析し、その影響を$X$から$S$のブラインドリカバリに与える影響を定量化するための一般的なフレームワークを提案する。 定義された構造的仮定からの偏差に対する一般的なBSS溶出は、明示的な連続性保証という形で、利益的に分析可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-17T16:30:51Z)
• Inverting brain grey matter models with likelihood-free inference: a tool for trustable cytoarchitecture measurements [62.997667081978825]
  脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。 我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。 次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
  論文  参考訳（メタデータ） (2021-11-15T09:08:27Z)
• On Exploiting Hitting Sets for Model Reconciliation [53.81101846598925]
  ヒューマン・アウェア・プランニングにおいて、プランニング・エージェントは、その計画がなぜ最適なのかを人間に説明する必要があるかもしれない。 この手法はモデル和解と呼ばれ、エージェントはモデルと人間のモデルの違いを調和させようとする。 我々は,計画の領域を超えて拡張されたモデル和解のための論理ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-16T21:25:53Z)
• Identification of Probability weighted ARX models with arbitrary domains [75.91002178647165]
  PieceWise Affineモデルは、ハイブリッドシステムの他のクラスに対する普遍近似、局所線型性、同値性を保証する。 本研究では,任意の領域を持つ固有入力モデル(NPWARX)を用いたPieceWise Auto Regressiveの同定に着目する。 このアーキテクチャは、機械学習の分野で開発されたMixture of Expertの概念に従って考案された。
  論文  参考訳（メタデータ） (2020-09-29T12:50:33Z)
• Novel and flexible parameter estimation methods for data-consistent inversion in mechanistic modeling [0.13635858675752988]
  本稿では,レジェクションサンプリング,マルコフ連鎖モンテカルロ,GAN(Generative Adversarial Network)に基づく逆問題(SIP)の解法を提案する。 SIPの限界を克服するため、制約付き最適化に基づいてSIPを再構成し、制約付き最適化問題を解決するための新しいGANを提案する。
  論文  参考訳（メタデータ） (2020-09-17T13:13:21Z)
• On the Difference Between the Information Bottleneck and the Deep Information Bottleneck [81.89141311906552]
  本稿では,Deep Variational Information Bottleneckとその導出に必要な仮定について再考する。 後者のマルコフ連鎖のみを満たすべき$I(T;Y)$に対して下界を最適化することで、この制限を回避する方法を示す。
  論文  参考訳（メタデータ） (2019-12-31T18:31:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。