論文の概要: Gibbs-Based Information Criteria and the Over-Parameterized Regime

• arxiv url: http://arxiv.org/abs/2306.05583v2
• Date: Tue, 14 Nov 2023 03:09:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-15 18:50:25.792341
• Title: Gibbs-Based Information Criteria and the Over-Parameterized Regime
• Title（参考訳）: ギブズに基づく情報基準と過度パラメータ化レジーム
• Authors: Haobo Chen, Yuheng Bu and Gregory W. Wornell
• Abstract要約: 二重発散は、補間しきい値を超えた学習アルゴリズムのテスト損失の予期せぬ減少を指す。 我々はこれらの分析を,情報リスク最小化フレームワークを用いて更新し,Gibsアルゴリズムが学習したモデルに対して,Akaike Information Criterion(AIC)とBayesian Information Criterion(BIC)を提供する。
• 参考スコア（独自算出の注目度）: 20.22034560278484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Double-descent refers to the unexpected drop in test loss of a learning algorithm beyond an interpolating threshold with over-parameterization, which is not predicted by information criteria in their classical forms due to the limitations in the standard asymptotic approach. We update these analyses using the information risk minimization framework and provide Akaike Information Criterion (AIC) and Bayesian Information Criterion (BIC) for models learned by the Gibbs algorithm. Notably, the penalty terms for the Gibbs-based AIC and BIC correspond to specific information measures, i.e., symmetrized KL information and KL divergence. We extend this information-theoretic analysis to over-parameterized models by providing two different Gibbs-based BICs to compute the marginal likelihood of random feature models in the regime where the number of parameters $p$ and the number of samples $n$ tend to infinity, with $p/n$ fixed. Our experiments demonstrate that the Gibbs-based BIC can select the high-dimensional model and reveal the mismatch between marginal likelihood and population risk in the over-parameterized regime, providing new insights to understand double-descent.
• Abstract（参考訳）: ダブルディフレッシュ(Double-descent)とは、標準的な漸近的アプローチの限界により古典的な形式における情報基準によって予測されない、過パラメータ化による補間しきい値を超えた学習アルゴリズムのテスト損失の予想外の減少を指す。 これらの分析を情報リスク最小化フレームワークを用いて更新し,gibbsアルゴリズムで学習したモデルに対してakaike information criterion (aic) と bayesian information criterion (bic) を提供する。 特に、ギブスに基づくAICとBICの罰則は、特定の情報手段、すなわち、対称性のあるKL情報とKLの発散に対応する。 この情報理論解析を2つの異なるgibbsベースのbicsを提供して、パラメータの$p$とサンプルの$n$が無限大になりがちで固定化された状態におけるランダム特徴モデルの限界可能性を計算することによって、過剰パラメータモデルに拡張する。 以上の結果から,gibbsベースのbicは,高次元モデルを選択し,過度にパラメータ化された体制における周縁確率と人口リスクのミスマッチを明らかにした。

関連論文リスト

• Linear-cost unbiased posterior estimates for crossed effects and matrix factorization models via couplings [0.0]
  我々はブロックされたギブスサンプルラー(BGS)のカップリングに基づくマルコフ連鎖モンテカルロスキームの設計と解析を行う。 本手法は,条件付き独立ブロックを有する高次元BGSに対して設計および適用可能である。
  論文  参考訳（メタデータ） (2024-10-11T16:05:01Z)
• On uncertainty-penalized Bayesian information criterion [1.1049608786515839]
  本研究では,不確実性補償情報基準(UBIC)を用いることは,従来のBICと等価であることを示す。 その結果,UBIC と BIC の特性は無関心に保たれていることが示唆された。
  論文  参考訳（メタデータ） (2024-04-23T13:59:11Z)
• $μ$GUIDE: a framework for quantitative imaging via generalized uncertainty-driven inference using deep learning [0.0]
  $mu$GUIDEは、任意の生体物理モデルやMRI信号の表現から組織微細構造パラメータの後方分布を推定する。 得られた後続分布は、モデル定義に存在する退化をハイライトし、推定されたパラメータの不確かさとあいまいさを定量化する。
  論文  参考訳（メタデータ） (2023-12-28T13:59:43Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• A Robustness Analysis of Blind Source Separation [91.3755431537592]
  ブラインドソース分離(BSS)は、変換$f$が可逆であるが未知であるという条件の下で、その混合である$X=f(S)$から観測されていない信号を復元することを目的としている。 このような違反を分析し、その影響を$X$から$S$のブラインドリカバリに与える影響を定量化するための一般的なフレームワークを提案する。 定義された構造的仮定からの偏差に対する一般的なBSS溶出は、明示的な連続性保証という形で、利益的に分析可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-17T16:30:51Z)
• Inverting brain grey matter models with likelihood-free inference: a tool for trustable cytoarchitecture measurements [62.997667081978825]
  脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。 我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。 次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
  論文  参考訳（メタデータ） (2021-11-15T09:08:27Z)
• On Exploiting Hitting Sets for Model Reconciliation [53.81101846598925]
  ヒューマン・アウェア・プランニングにおいて、プランニング・エージェントは、その計画がなぜ最適なのかを人間に説明する必要があるかもしれない。 この手法はモデル和解と呼ばれ、エージェントはモデルと人間のモデルの違いを調和させようとする。 我々は,計画の領域を超えて拡張されたモデル和解のための論理ベースのフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-16T21:25:53Z)
• Identification of Probability weighted ARX models with arbitrary domains [75.91002178647165]
  PieceWise Affineモデルは、ハイブリッドシステムの他のクラスに対する普遍近似、局所線型性、同値性を保証する。 本研究では,任意の領域を持つ固有入力モデル(NPWARX)を用いたPieceWise Auto Regressiveの同定に着目する。 このアーキテクチャは、機械学習の分野で開発されたMixture of Expertの概念に従って考案された。
  論文  参考訳（メタデータ） (2020-09-29T12:50:33Z)
• Novel and flexible parameter estimation methods for data-consistent inversion in mechanistic modeling [0.13635858675752988]
  本稿では,レジェクションサンプリング,マルコフ連鎖モンテカルロ,GAN(Generative Adversarial Network)に基づく逆問題(SIP)の解法を提案する。 SIPの限界を克服するため、制約付き最適化に基づいてSIPを再構成し、制約付き最適化問題を解決するための新しいGANを提案する。
  論文  参考訳（メタデータ） (2020-09-17T13:13:21Z)
• On the Difference Between the Information Bottleneck and the Deep Information Bottleneck [81.89141311906552]
  本稿では,Deep Variational Information Bottleneckとその導出に必要な仮定について再考する。 後者のマルコフ連鎖のみを満たすべき$I(T;Y)$に対して下界を最適化することで、この制限を回避する方法を示す。
  論文  参考訳（メタデータ） (2019-12-31T18:31:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。