論文の概要: Function-Space Regularization in Neural Networks: A Probabilistic Perspective

• arxiv url: http://arxiv.org/abs/2312.17162v1
• Date: Thu, 28 Dec 2023 17:50:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-29 15:19:57.388675
• Title: Function-Space Regularization in Neural Networks: A Probabilistic Perspective
• Title（参考訳）: ニューラルネットワークにおける関数空間規則化:確率論的視点
• Authors: Tim G. J. Rudner, Sanyam Kapoor, Shikai Qiu, Andrew Gordon Wilson
• Abstract要約: 所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的にエンコードできる、モチベーションの高い正規化手法を導出できることが示される。 本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出と高度に校正された予測不確実性推定に繋がることを示す。
• 参考スコア（独自算出の注目度）: 51.133793272222874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-space regularization in neural network optimization is a fundamental tool for improving generalization. However, standard parameter-space regularization methods make it challenging to encode explicit preferences about desired predictive functions into neural network training. In this work, we approach regularization in neural networks from a probabilistic perspective and show that by viewing parameter-space regularization as specifying an empirical prior distribution over the model parameters, we can derive a probabilistically well-motivated regularization technique that allows explicitly encoding information about desired predictive functions into neural network training. This method -- which we refer to as function-space empirical Bayes (FSEB) -- includes both parameter- and function-space regularization, is mathematically simple, easy to implement, and incurs only minimal computational overhead compared to standard regularization techniques. We evaluate the utility of this regularization technique empirically and demonstrate that the proposed method leads to near-perfect semantic shift detection, highly-calibrated predictive uncertainty estimates, successful task adaption from pre-trained models, and improved generalization under covariate shift.
• Abstract（参考訳）: ニューラルネットワーク最適化におけるパラメータ空間正規化は、一般化を改善するための基本的なツールである。 しかしながら、標準的なパラメータ空間正規化手法は、望ましい予測関数に対する明示的な好みをニューラルネットワークトレーニングにエンコードすることが難しくなる。 本研究では,確率論的観点からニューラルネットワークの正則化にアプローチし,パラメータ空間正則化をモデルパラメータに対する経験的事前分布として見ることにより,所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的に符号化する確率論的動機付け正規化手法を導出できることを示す。 関数空間経験ベイズ(FSEB)と呼ばれるこの手法は、パラメータ空間と関数空間の正規化の両方を含み、数学的に単純で実装が容易であり、標準的な正規化手法と比較して最小限の計算オーバーヘッドしか発生しない。 本研究では,本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出,高精度な予測不確実性推定,事前学習モデルからのタスク適応の達成,共変量シフトによる一般化の改善につながることを示す。

関連論文リスト

• Sparse Deep Learning Models with the $\ell_1$ Regularization [6.268040192346312]
  スパースニューラルネットワークはディープラーニングにおいて非常に望ましい。 正規化パラメータの選択が学習ニューラルネットワークのスパーシリティレベルに与える影響について検討する。
  論文  参考訳（メタデータ） (2024-08-05T19:38:45Z)
• Continual Learning via Sequential Function-Space Variational Inference [65.96686740015902]
  連続学習を逐次関数空間変動推論として定式化した目的を提案する。 ニューラルネットワークの予測を直接正規化する目的と比較して、提案した目的はより柔軟な変動分布を可能にする。 タスクシーケンスの範囲で、逐次関数空間変動推論によってトレーニングされたニューラルネットワークは、関連する手法でトレーニングされたネットワークよりも予測精度が良いことを実証した。
  論文  参考訳（メタデータ） (2023-12-28T18:44:32Z)
• Tractable Function-Space Variational Inference in Bayesian Neural Networks [72.97620734290139]
  ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。 本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。 提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-28T18:33:26Z)
• Learning Expressive Priors for Generalization and Uncertainty Estimation in Neural Networks [77.89179552509887]
  本稿では,ディープニューラルネットワークにおける一般化と不確実性推定を推し進める新しい事前学習手法を提案する。 キーとなる考え方は、ニューラルネットワークのスケーラブルで構造化された後部を、一般化を保証する情報的事前として活用することである。 本研究では,不確実性推定と一般化における本手法の有効性を徹底的に示す。
  論文  参考訳（メタデータ） (2023-07-15T09:24:33Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
  本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。 機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。 本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
  論文  参考訳（メタデータ） (2022-10-24T15:14:26Z)
• Orthogonal Stochastic Configuration Networks with Adaptive Construction Parameter for Data Analytics [6.940097162264939]
  ランダム性により、SCNは冗長で品質の低い近似線形相関ノードを生成する可能性が高まる。 機械学習の基本原理、すなわち、パラメータが少ないモデルでは、一般化が向上する。 本稿では,ネットワーク構造低減のために,低品質な隠れノードをフィルタする直交SCN(OSCN)を提案する。
  論文  参考訳（メタデータ） (2022-05-26T07:07:26Z)
• Learning Regularization Parameters of Inverse Problems via Deep Neural Networks [0.0]
  ネットワークが観察データから正規化パラメータへのマッピングを近似するように訓練される、教師付き学習アプローチを検討する。 本稿では,多種多様な正規化関数,フォワードモデル,ノイズモデルについて考察する。 ネットワークが取得する正規化パラメータは、より効率的に計算でき、より正確なソリューションにもつながります。
  論文  参考訳（メタデータ） (2021-04-14T02:38:38Z)
• Revisiting Explicit Regularization in Neural Networks for Well-Calibrated Predictive Uncertainty [6.09170287691728]
  本研究では, 予測の不確かさを明確化するために, 明示的な正則化の重要性を再考する。 本稿では,ログ類似度が低いキャリブレーション性能の尺度を提案する。 次に、未確認サンプルのログ類似性を改善するための明示的な正規化手法を探索し、よく校正された予測の不確実性を提供する。
  論文  参考訳（メタデータ） (2020-06-11T13:14:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。