論文の概要: Sampling-based inference for large linear models, with application to linearised Laplace

• arxiv url: http://arxiv.org/abs/2210.04994v1
• Date: Mon, 10 Oct 2022 19:59:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 13:34:50.597682
• Title: Sampling-based inference for large linear models, with application to linearised Laplace
• Title（参考訳）: 大規模線形モデルのサンプリングに基づく推論と線形ラプラスへの応用
• Authors: Javier Antor\'an, Shreyas Padhy, Riccardo Barbano, Eric Nalisnick, David Janz, Jos\'e Miguel Hern\'andez-Lobato
• Abstract要約: ガウス多出力線形モデルを共役するスケーラブルなサンプルベースベイズ推定法を提案する。 また,古典的特徴正規化法を用いて,線形化Laplace法でこれまで強調されていた病態を解決する。
• 参考スコア（独自算出の注目度）: 2.0935101589828244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale linear models are ubiquitous throughout machine learning, with contemporary application as surrogate models for neural network uncertainty quantification; that is, the linearised Laplace method. Alas, the computational cost associated with Bayesian linear models constrains this method's application to small networks, small output spaces and small datasets. We address this limitation by introducing a scalable sample-based Bayesian inference method for conjugate Gaussian multi-output linear models, together with a matching method for hyperparameter (regularisation) selection. Furthermore, we use a classic feature normalisation method (the g-prior) to resolve a previously highlighted pathology of the linearised Laplace method. Together, these contributions allow us to perform linearised neural network inference with ResNet-18 on CIFAR100 (11M parameters, 100 output dimensions x 50k datapoints) and with a U-Net on a high-resolution tomographic reconstruction task (2M parameters, 251k output dimensions).
• Abstract（参考訳）: 大規模線形モデルは機械学習を通じてどこでも利用でき、現代のニューラルネットワークの不確実性定量化のための代理モデルとして応用されている。 残念ながら、ベイズ線形モデルに関連する計算コストは、この手法の適用を小さなネットワーク、小さな出力空間、小さなデータセットに制約する。 ガウス多出力線形モデルを共役するスケーラブルなサンプルベースベイズ推定法とハイパーパラメータ(正規化)選択のマッチング法を導入することで、この制限に対処する。 さらに, 古典的特徴正規化法 (g-prior) を用いて, 前述した線形ラプラス法の病理を解明した。 これらの貢献により,CIFAR100のResNet-18(100Mパラメータ,100アウトプットディメンションx50kデータポイント)と高分解能トモグラフィ再構成タスク(2Mパラメータ,251kアウトプットディメンション)のU-Netを用いて線形化されたニューラルネットワーク推論を行うことができる。

関連論文リスト

• Pushing the Limits of Large Language Model Quantization via the Linearity Theorem [71.3332971315821]
  本稿では,階層的$ell$再構成誤差と量子化によるモデルパープレキシティ増加との直接的な関係を確立する「線形定理」を提案する。 この知見は,(1)アダマール回転とHIGGSと呼ばれるMSE最適格子を用いた単純なデータフリーLCM量子化法,(2)非一様層ごとの量子化レベルを求める問題に対する最適解の2つの新しい応用を可能にする。
  論文  参考訳（メタデータ） (2024-11-26T15:35:44Z)
• Scalable Bayesian Inference in the Era of Deep Learning: From Gaussian Processes to Deep Neural Networks [0.5827521884806072]
  大規模なデータセットでトレーニングされた大規模なニューラルネットワークは、マシンラーニングの主要なパラダイムになっています。 この論文は、モデル不確実性を持つニューラルネットワークを装備するためのスケーラブルな手法を開発する。
  論文  参考訳（メタデータ） (2024-04-29T23:38:58Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Symplectic model reduction of Hamiltonian systems using data-driven quadratic manifolds [0.559239450391449]
  高次元ハミルトニアン系のシンプレクティックモデル還元のための2つの新しいアプローチを提案する。 提案手法の中心に位置する状態近似への二次項の追加により、本質的な低次元性を表現することができる。
  論文  参考訳（メタデータ） (2023-05-24T18:23:25Z)
• Git Re-Basin: Merging Models modulo Permutation Symmetries [3.5450828190071655]
  提案手法は,大規模ネットワークに適合する簡単なアルゴリズムを実例で示す。 我々は、独立に訓練されたモデル間のゼロモード接続の最初のデモ(私たちの知る限り)を実演する。 また、線形モード接続仮説の欠点についても論じる。
  論文  参考訳（メタデータ） (2022-09-11T10:44:27Z)
• Amortised inference of fractional Brownian motion with linear computational complexity [0.0]
  ランダムウォークのパラメータを推定するために,シミュレーションベースで償却されたベイズ推定手法を提案する。 提案手法は歩行パラメータの後方分布を確率自由な方法で学習する。 この手法を適用して、環境中の有限デコリレーション時間をさらに個々の軌道から推定できることを示す。
  論文  参考訳（メタデータ） (2022-03-15T14:43:16Z)
• Sample-Efficient Reinforcement Learning Is Feasible for Linearly Realizable MDPs with Limited Revisiting [60.98700344526674]
  線形関数表現のような低複雑度モデルがサンプル効率のよい強化学習を可能にする上で重要な役割を果たしている。 本稿では,オンライン/探索的な方法でサンプルを描画するが,制御不能な方法で以前の状態をバックトラックし,再訪することができる新しいサンプリングプロトコルについて検討する。 この設定に合わせたアルゴリズムを開発し、特徴次元、地平線、逆の準最適ギャップと実際にスケールするサンプル複雑性を実現するが、状態/作用空間のサイズではない。
  論文  参考訳（メタデータ） (2021-05-17T17:22:07Z)
• Deep Magnification-Flexible Upsampling over 3D Point Clouds [103.09504572409449]
  本稿では,高密度点雲を生成するためのエンドツーエンド学習ベースのフレームワークを提案する。 まずこの問題を明示的に定式化し、重みと高次近似誤差を判定する。 そこで我々は,高次改良とともに,統一重みとソート重みを適応的に学習する軽量ニューラルネットワークを設計する。
  論文  参考訳（メタデータ） (2020-11-25T14:00:18Z)
• Generalized Matrix Factorization: efficient algorithms for fitting generalized linear latent variable models to large data arrays [62.997667081978825]
  一般化線形潜在変数モデル(GLLVM)は、そのような因子モデルを非ガウス応答に一般化する。 GLLVMのモデルパラメータを推定する現在のアルゴリズムは、集約的な計算を必要とし、大規模なデータセットにスケールしない。 本稿では,GLLVMを高次元データセットに適用するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-10-06T04:28:19Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。