論文の概要: Adapting the Linearised Laplace Model Evidence for Modern Deep Learning

• arxiv url: http://arxiv.org/abs/2206.08900v1
• Date: Fri, 17 Jun 2022 17:18:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-20 12:16:03.943351
• Title: Adapting the Linearised Laplace Model Evidence for Modern Deep Learning
• Title（参考訳）: 線形化ラプラスモデルによる現代深層学習への適応
• Authors: Javier Antor\'an, David Janz, James Urquhart Allingham, Erik Daxberger, Riccardo Barbano, Eric Nalisnick, Jos\'e Miguel Hern\'andez-Lobato
• Abstract要約: モデル不確実性を推定する線形化ラプラス法は,深層学習コミュニティで注目されている。 これらの仮定は、現在標準となっているディープラーニングツールとの相互作用が不十分であることを示す。 われわれは、この古典的な手法を現代的な設定にどのように適応させるかを推奨している。
• 参考スコア（独自算出の注目度）: 3.459382629188014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The linearised Laplace method for estimating model uncertainty has received renewed attention in the Bayesian deep learning community. The method provides reliable error bars and admits a closed-form expression for the model evidence, allowing for scalable selection of model hyperparameters. In this work, we examine the assumptions behind this method, particularly in conjunction with model selection. We show that these interact poorly with some now-standard tools of deep learning--stochastic approximation methods and normalisation layers--and make recommendations for how to better adapt this classic method to the modern setting. We provide theoretical support for our recommendations and validate them empirically on MLPs, classic CNNs, residual networks with and without normalisation layers, generative autoencoders and transformers.
• Abstract（参考訳）: モデル不確実性を推定する線形化ラプラス法は,ベイズ深層学習コミュニティで注目されている。 この手法は信頼性の高いエラーバーを提供し、モデルのエビデンスに対してクローズドフォーム式を認め、モデルのハイパーパラメータをスケーラブルに選択できる。 本研究では,この手法の背景にある仮定,特にモデル選択に関して検討する。 これらの手法は,現在標準となっている深層学習ツール – 確率近似法や正規化層 – との相互作用が不十分であることを示すとともに,この古典的手法を現代的設定に適合させる方法を推奨する。 提案するレコメンデーションを理論的に支援し,MPP,古典的CNN,正規化層と非正規化層,生成オートエンコーダ,トランスフォーマーの残余ネットワーク上で実証的に検証する。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• A Diffusion Model Framework for Unsupervised Neural Combinatorial Optimization [7.378582040635655]
  現在のディープラーニングアプローチは、正確なサンプル確率を生み出す生成モデルに依存している。 この研究は、この制限を解除し、高度に表現力のある潜在変数モデルを採用する可能性を開放する手法を導入する。 我々は,データフリーなコンビネーション最適化におけるアプローチを実験的に検証し,幅広いベンチマーク問題に対して新しい最先端の手法を実現することを実証した。
  論文  参考訳（メタデータ） (2024-06-03T17:55:02Z)
• Towards Evaluating Adaptivity of Model-Based Reinforcement Learning Methods [25.05409184943328]
  モデルに基づく手法は, 局所的な環境変化に適応する能力に乏しいことを示す。 適応的な振る舞いを損なう要素を特定し、深層モデルベースRLで頻繁に使用される基礎技術とリンクする。 適応非線形モデルに基づく手法を構築する際の課題について考察する。
  論文  参考訳（メタデータ） (2022-04-25T06:45:16Z)
• Predictive machine learning for prescriptive applications: a coupled training-validating approach [77.34726150561087]
  規範的応用のための予測機械学習モデルをトレーニングするための新しい手法を提案する。 このアプローチは、標準的なトレーニング検証テストスキームの検証ステップを微調整することに基づいている。 合成データを用いたいくつかの実験は、決定論的モデルと実モデルの両方において処方料コストを削減できる有望な結果を示した。
  論文  参考訳（メタデータ） (2021-10-22T15:03:20Z)
• On-Policy Model Errors in Reinforcement Learning [9.507323314334572]
  本研究では,実世界のデータと学習モデルを組み合わせた新しい手法を提案する。 中心となる考え方は、実世界のデータを政治上の予測に利用し、学習したモデルを使用して、異なるアクションに一般化することである。 提案手法は,追加のチューニングパラメータを導入することなく,既存のモデルベースアプローチを大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2021-10-15T10:15:53Z)
• Revisiting Design Choices in Model-Based Offline Reinforcement Learning [39.01805509055988]
  オフライン強化学習により、エージェントは環境遷移の大規模な収集済みデータセットを利用して制御ポリシーを学習することができる。 本稿では、モデル数や仮想ロールアウト地平線など、他のハイパーパラメータとの相互作用を研究するための新しいプロトコルを比較し、設計する。
  論文  参考訳（メタデータ） (2021-10-08T13:51:34Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Last Layer Marginal Likelihood for Invariance Learning [12.00078928875924]
  我々は、より大きな確率関数のクラスに対する推論を行うことができるような、限界確率に対する新しい下界を導入する。 我々は、最後の層にガウス的プロセスを持つアーキテクチャを使用することで、このアプローチをニューラルネットワークに導入することに取り組んでいます。
  論文  参考訳（メタデータ） (2021-06-14T15:40:51Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• COMBO: Conservative Offline Model-Based Policy Optimization [120.55713363569845]
  ディープニューラルネットワークのような複雑なモデルによる不確実性推定は困難であり、信頼性が低い。 我々は,サポート外状態動作の値関数を正規化するモデルベースオフラインRLアルゴリズムCOMBOを開発した。 従来のオフラインモデルフリーメソッドやモデルベースメソッドと比べて、comboは一貫してパフォーマンスが良いことが分かりました。
  論文  参考訳（メタデータ） (2021-02-16T18:50:32Z)
• Evaluating the Disentanglement of Deep Generative Models through Manifold Topology [66.06153115971732]
  本稿では,生成モデルのみを用いた乱れの定量化手法を提案する。 複数のデータセットにまたがるいくつかの最先端モデルを実証的に評価する。
  論文  参考訳（メタデータ） (2020-06-05T20:54:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。