論文の概要: Last Layer Marginal Likelihood for Invariance Learning
- arxiv url: http://arxiv.org/abs/2106.07512v1
- Date: Mon, 14 Jun 2021 15:40:51 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-15 16:26:07.317890
- Title: Last Layer Marginal Likelihood for Invariance Learning
- Title（参考訳）: 不分散学習のためのラスト層限界確率
- Authors: Pola Elisabeth Schw\"obel, Martin J{\o}rgensen, Sebastian W. Ober,
Mark van der Wilk
- Abstract要約: 我々は、より大きな確率関数のクラスに対する推論を行うことができるような、限界確率に対する新しい下界を導入する。
我々は、最後の層にガウス的プロセスを持つアーキテクチャを使用することで、このアプローチをニューラルネットワークに導入することに取り組んでいます。
- 参考スコア（独自算出の注目度）: 12.00078928875924
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data augmentation is often used to incorporate inductive biases into models.
Traditionally, these are hand-crafted and tuned with cross validation. The
Bayesian paradigm for model selection provides a path towards end-to-end
learning of invariances using only the training data, by optimising the
marginal likelihood. We work towards bringing this approach to neural networks
by using an architecture with a Gaussian process in the last layer, a model for
which the marginal likelihood can be computed. Experimentally, we improve
performance by learning appropriate invariances in standard benchmarks, the low
data regime and in a medical imaging task. Optimisation challenges for
invariant Deep Kernel Gaussian processes are identified, and a systematic
analysis is presented to arrive at a robust training scheme. We introduce a new
lower bound to the marginal likelihood, which allows us to perform inference
for a larger class of likelihood functions than before, thereby overcoming some
of the training challenges that existed with previous approaches.
- Abstract（参考訳）: データ拡張はしばしば、帰納バイアスをモデルに組み込むために使われる。
伝統的に、これらは手作りで、クロス検証で調整される。
モデル選択のためのベイズパラダイムは、限界確率を最適化することにより、トレーニングデータのみを用いて不変性をエンドツーエンドに学習する道を提供する。
我々は、このアプローチをニューラルネットワークに導入するために、最終層にガウス過程を持つアーキテクチャを用いて、限界確率を計算できるモデルを構築している。
実験では,標準ベンチマーク,低データレジーム,医用イメージングタスクの適切な不分散を学習することにより,性能を向上させる。
invariant deep kernel gaussian processの最適化課題を同定し、堅牢なトレーニングスキームに到達するための体系的分析を行った。
これにより、従来よりも大きな可能性関数のクラスを推論することが可能となり、それによって、以前のアプローチで存在したトレーニング課題のいくつかを克服することができる。
関連論文リスト
- A Diffusion Model Framework for Unsupervised Neural Combinatorial Optimization [7.378582040635655]
現在のディープラーニングアプローチは、正確なサンプル確率を生み出す生成モデルに依存している。
この研究は、この制限を解除し、高度に表現力のある潜在変数モデルを採用する可能性を開放する手法を導入する。
我々は,データフリーなコンビネーション最適化におけるアプローチを実験的に検証し,幅広いベンチマーク問題に対して新しい最先端の手法を実現することを実証した。
論文 参考訳（メタデータ） (2024-06-03T17:55:02Z) - Trustworthy Personalized Bayesian Federated Learning via Posterior
Fine-Tune [3.1001287855313966]
ベイズ的手法を取り入れた,個人化されたフェデレーション学習のための新しいフレームワークを提案する。
我々は,新しいアルゴリズムが精度を向上するだけでなく,OOD検出においてベースラインを大幅に上回ることを示す。
論文 参考訳（メタデータ） (2024-02-25T13:28:08Z) - Out of the Ordinary: Spectrally Adapting Regression for Covariate Shift [12.770658031721435]
本稿では,学習前のニューラル回帰モデルの最後の層の重みを適応させて,異なる分布から得られる入力データを改善する手法を提案する。
本稿では,この軽量なスペクトル適応手法により,合成および実世界のデータセットの分布外性能が向上することを示す。
論文 参考訳（メタデータ） (2023-12-29T04:15:58Z) - Amortised Inference in Bayesian Neural Networks [0.0]
Amortized Pseudo-Observation Variational Inference Bayesian Neural Network (APOVI-BNN)を紹介する。
補正された推論は、従来の変分推論によって得られたものと類似または良好な品質であることが示される。
次に、APOVI-BNNをニューラルプロセスファミリーの新たなメンバーと見なす方法について論じる。
論文 参考訳（メタデータ） (2023-09-06T14:02:33Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳（メタデータ） (2023-05-25T10:58:46Z) - Invariance Learning in Deep Neural Networks with Differentiable Laplace
Approximations [76.82124752950148]
我々はデータ拡張を選択するための便利な勾配法を開発した。
我々はKronecker-factored Laplace近似を我々の目的とする限界確率に近似する。
論文 参考訳（メタデータ） (2022-02-22T02:51:11Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳（メタデータ） (2021-04-11T09:50:24Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳（メタデータ） (2020-10-27T17:56:14Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳（メタデータ） (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。