論文の概要: Predictive Complexity Priors

• arxiv url: http://arxiv.org/abs/2006.10801v3
• Date: Wed, 21 Oct 2020 15:56:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 12:55:19.324658
• Title: Predictive Complexity Priors
• Title（参考訳）: 予測複雑性の先行
• Authors: Eric Nalisnick, Jonathan Gordon, Jos\'e Miguel Hern\'andez-Lobato
• Abstract要約: 本稿では,モデルの予測と参照モデルの予測を比較して定義する機能的先行モデルを提案する。 もともとはモデル出力で定義されていたが、変数の変更によってモデルパラメータの前の値を転送する。 我々は,高次元回帰,ニューラルネットワーク深度の推論,数ショット学習における統計的強度の共有に先立って,予測複雑性を適用した。
• 参考スコア（独自算出の注目度）: 3.5547661483076998
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Specifying a Bayesian prior is notoriously difficult for complex models such as neural networks. Reasoning about parameters is made challenging by the high-dimensionality and over-parameterization of the space. Priors that seem benign and uninformative can have unintuitive and detrimental effects on a model's predictions. For this reason, we propose predictive complexity priors: a functional prior that is defined by comparing the model's predictions to those of a reference model. Although originally defined on the model outputs, we transfer the prior to the model parameters via a change of variables. The traditional Bayesian workflow can then proceed as usual. We apply our predictive complexity prior to high-dimensional regression, reasoning over neural network depth, and sharing of statistical strength for few-shot learning.
• Abstract（参考訳）: ベイジアン事前の特定は、ニューラルネットワークのような複雑なモデルでは難しいことが知られている。 パラメータに関する推論は、空間の高次元性と過度パラメータ化によって挑戦される。 良性的かつ非形式的に見える事前は、モデルの予測に直観的かつ有害な影響を与える可能性がある。 このような理由から,モデルの予測と参照モデルの予測とを比較して定義した機能的事前という,予測的複雑性の先行性を提案する。 もともとはモデル出力で定義されていたが、変数の変更によってモデルパラメータの前の値を転送する。 伝統的なベイズワークフローは、通常通り進むことができる。 我々は,高次元回帰,ニューラルネットワーク深度の推論,数ショット学習における統計的強度の共有に先立って,予測複雑性を適用した。

関連論文リスト

• Revisiting Optimism and Model Complexity in the Wake of Overparameterized Machine Learning [6.278498348219108]
  まず、(有効)自由度という古典的な統計的概念を再解釈し、拡張することで、第一原理からモデルの複雑さを再考する。 我々は,概念的議論,理論,実験の混合を通じて,提案した複雑性尺度の有用性を実証する。
  論文  参考訳（メタデータ） (2024-10-02T06:09:57Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
  シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。 本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。 提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
  論文  参考訳（メタデータ） (2024-04-11T09:23:36Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Function-Space Regularization for Deep Bayesian Classification [33.63495888167032]
  予測空間にディリクレを前もって適用し、近似関数空間変分推論を行う。 推論を適用することで、モデルアーキテクチャやサイズに影響を与えることなく、同じ関数空間を異なるモデルと組み合わせることができる。
  論文  参考訳（メタデータ） (2023-07-12T10:17:54Z)
• Bayesian Neural Network Inference via Implicit Models and the Posterior Predictive Distribution [0.8122270502556371]
  本稿では,ベイズニューラルネットワークのような複雑なモデルにおいて,近似ベイズ推論を行うための新しい手法を提案する。 このアプローチはMarkov Chain Monte Carloよりも大規模データに対してスケーラブルである。 これは、サロゲートや物理モデルのような応用に有用であると考えています。
  論文  参考訳（メタデータ） (2022-09-06T02:43:19Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Post-mortem on a deep learning contest: a Simpson's paradox and the complementary roles of scale metrics versus shape metrics [61.49826776409194]
  我々は、ニューラルネットワーク(NN)モデルの一般化精度を予測するために、コンテストで公に利用可能にされたモデルのコーパスを分析する。 メトリクスが全体としてよく機能するが、データのサブパーティションではあまり機能しない。 本稿では,データに依存しない2つの新しい形状指標と,一連のNNのテスト精度の傾向を予測できるデータ依存指標を提案する。
  論文  参考訳（メタデータ） (2021-06-01T19:19:49Z)
• Provable Benefits of Overparameterization in Model Compression: From Double Descent to Pruning Neural Networks [38.153825455980645]
  最近の実証的な証拠は、オーバライゼーションの実践が大きなモデルのトレーニングに利益をもたらすだけでなく、軽量モデルの構築を支援することも示している。 本稿では,モデル刈り込みの高次元ツールセットを理論的に特徴付けることにより,これらの経験的発見に光を当てる。 もっとも情報に富む特徴の位置が分かっていても、我々は大きなモデルに適合し、刈り取るのがよい体制を解析的に特定する。
  論文  参考訳（メタデータ） (2020-12-16T05:13:30Z)
• Deep transformation models: Tackling complex regression problems with neural network based transformation models [0.0]
  確率回帰のための深層変換モデルを提案する。 これは、結果の不確実性を捉える最も徹底的な方法である条件付き確率分布全体を推定する。 本手法は複雑な入力データに対して有効であり,画像データにCNNアーキテクチャを適用して実演する。
  論文  参考訳（メタデータ） (2020-04-01T14:23:12Z)
• Ambiguity in Sequential Data: Predicting Uncertain Futures with Recurrent Models [110.82452096672182]
  逐次データによる曖昧な予測を扱うために,Multiple hypothesis Prediction(MHP)モデルの拡張を提案する。 また、不確実性を考慮するのに適した曖昧な問題に対する新しい尺度も導入する。
  論文  参考訳（メタデータ） (2020-03-10T09:15:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。