論文の概要: The Interpolating Information Criterion for Overparameterized Models

• arxiv url: http://arxiv.org/abs/2307.07785v1
• Date: Sat, 15 Jul 2023 12:09:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-18 17:47:25.756886
• Title: The Interpolating Information Criterion for Overparameterized Models
• Title（参考訳）: 過パラメータ化モデルの補間情報基準
• Authors: Liam Hodgkinson, Chris van der Heide, Robert Salomone, Fred Roosta, Michael W. Mahoney
• Abstract要約: 補間情報基準(Interpolating Information Criterion)は,モデル選択に事前選択を自然に取り入れたモデル品質の尺度であることを示す。 我々の新しい情報基準は、モデルの事前の誤特定、幾何学的およびスペクトル的特性を考慮に入れており、既知の経験的および理論的挙動と数値的に一致している。
• 参考スコア（独自算出の注目度）: 49.283527214211446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The problem of model selection is considered for the setting of interpolating estimators, where the number of model parameters exceeds the size of the dataset. Classical information criteria typically consider the large-data limit, penalizing model size. However, these criteria are not appropriate in modern settings where overparameterized models tend to perform well. For any overparameterized model, we show that there exists a dual underparameterized model that possesses the same marginal likelihood, thus establishing a form of Bayesian duality. This enables more classical methods to be used in the overparameterized setting, revealing the Interpolating Information Criterion, a measure of model quality that naturally incorporates the choice of prior into the model selection. Our new information criterion accounts for prior misspecification, geometric and spectral properties of the model, and is numerically consistent with known empirical and theoretical behavior in this regime.
• Abstract（参考訳）: モデル選択の問題は補間推定器の設定において考慮され、モデルパラメータの数はデータセットのサイズを超える。 古典的な情報基準は通常、大きなデータ制限、ペナルティ化モデルサイズを考慮する。 しかし、過パラメータモデルがうまく機能する現代の環境では、これらの基準は適切ではない。 任意の超パラメータモデルに対して、同じ限界確率を持つ双対劣パラメータモデルが存在することを示し、ベイズ双対性の形式を確立する。 これにより、より古典的なメソッドを過度にパラメータ化された設定で使用することが可能になり、補間情報基準(Interpolating Information Criterion)が明らかにされる。 我々の新しい情報基準は, 事前の誤特定, 幾何学的, スペクトル的特性を考慮し, 本手法における既知の経験的および理論的挙動と数値的に整合する。

関連論文リスト

• Continuous Language Model Interpolation for Dynamic and Controllable Text Generation [7.535219325248997]
  私たちは、モデルが多様な、そしてしばしば変化する、ユーザの好みに動的に適応しなければならない、困難なケースに注目します。 線形重みに基づく適応手法を活用し、連続的なマルチドメイン補間子としてキャストする。 重みの変化がモデル出力の予測可能かつ一貫した変化をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-04-10T15:55:07Z)
• Conditional Korhunen-Lo\'{e}ve regression model with Basis Adaptation for high-dimensional problems: uncertainty quantification and inverse modeling [62.997667081978825]
  本稿では,物理系の観測可能な応答のサロゲートモデルの精度を向上させる手法を提案する。 本研究では,定常水理応答のBasis Adaptation (BA)法による代理モデル構築に提案手法を適用した。
  論文  参考訳（メタデータ） (2023-07-05T18:14:38Z)
• Active-Learning-Driven Surrogate Modeling for Efficient Simulation of Parametric Nonlinear Systems [0.0]
  支配方程式がなければ、パラメトリック還元次代理モデルを非侵襲的に構築する必要がある。 我々の研究は、パラメータのスナップショットを効率的に表示するための非侵入的最適性基準を提供する。 カーネルベースの浅層ニューラルネットワークを用いた能動的学習駆動サロゲートモデルを提案する。
  論文  参考訳（メタデータ） (2023-06-09T18:01:14Z)
• Are Neural Topic Models Broken? [81.15470302729638]
  トピックモデルの自動評価と人的評価の関係について検討する。 ニューラルトピックモデルは、確立された古典的手法と比較して、両方の点においてより悪くなる。
  論文  参考訳（メタデータ） (2022-10-28T14:38:50Z)
• Likelihood-free Model Choice for Simulator-based Models with the Jensen--Shannon Divergence [0.9884867402204268]
  JSD-Razorと呼ばれる可能性のない設定に対する一貫したスコアリング基準を導出する。 JSD-Razorと確率ベースアプローチの確立された評価基準との関係を解析した。
  論文  参考訳（メタデータ） (2022-06-08T18:16:00Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating and Auditing Generative Models [95.8037674226622]
  ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。 当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
  論文  参考訳（メタデータ） (2021-02-17T18:25:30Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Semi-nonparametric Latent Class Choice Model with a Flexible Class Membership Component: A Mixture Model Approach [6.509758931804479]
  提案したモデルは、従来のランダムユーティリティ仕様に代わるアプローチとして混合モデルを用いて潜在クラスを定式化する。 その結果,混合モデルにより潜在クラス選択モデル全体の性能が向上した。
  論文  参考訳（メタデータ） (2020-07-06T13:19:26Z)
• Assumption-lean inference for generalised linear model parameters [0.0]
  主効果推定と効果修正推定の非パラメトリックな定義を提案する。 これらのモデルが正しく指定されたとき、一般化された線形モデルにおける標準の主効果と効果の修正パラメータに還元される。 これらの推定値に対する仮定リーン推論を実現する。
  論文  参考訳（メタデータ） (2020-06-15T13:49:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。