論文の概要: How Regularization Terms Make Invertible Neural Networks Bayesian Point Estimators

• arxiv url: http://arxiv.org/abs/2510.26704v1
• Date: Thu, 30 Oct 2025 17:07:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.927504
• Title: How Regularization Terms Make Invertible Neural Networks Bayesian Point Estimators
• Title（参考訳）: 正規化用語はいかにして非可逆ニューラルネットワークをベイズ点推定器にするか
• Authors: Nick Heilenkötter,
• Abstract要約: 可逆ニューラルネットワークは、その固有の安定性と解釈可能性のために、逆問題に対して魅力的である。 本稿では,ネットワークの逆転によって古典的ベイズ点推定器の特性を回復するネットワークトレーニングの正規化用語を2つ導入し,解析する。 我々の理論解析では,各損失が学習した前方演算子とその逆再構成写像の両方をどう形作るかが特徴的である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Can regularization terms in the training of invertible neural networks lead to known Bayesian point estimators in reconstruction? Invertible networks are attractive for inverse problems due to their inherent stability and interpretability. Recently, optimization strategies for invertible neural networks that approximate either a reconstruction map or the forward operator have been studied from a Bayesian perspective, but each has limitations. To address this, we introduce and analyze two regularization terms for the network training that, upon inversion of the network, recover properties of classical Bayesian point estimators: while the first can be connected to the posterior mean, the second resembles the MAP estimator. Our theoretical analysis characterizes how each loss shapes both the learned forward operator and its inverse reconstruction map. Numerical experiments support our findings and demonstrate how these loss-term regularizers introduce data-dependence in a stable and interpretable way.
• Abstract（参考訳）: 非可逆ニューラルネットワークのトレーニングにおける正規化項は、再構成における既知のベイズ点推定器につながるか? 可逆ネットワークは、その固有の安定性と解釈可能性のために逆問題に対して魅力的である。 近年,再構成マップやフォワード演算子を近似した可逆ニューラルネットワークの最適化手法がベイズの観点から研究されているが,それぞれに制限がある。 これを解決するために,ネットワークの逆転時に古典的ベイズ点推定器の特性を回復する2つの正規化項を紹介し,解析する。 我々の理論解析では,各損失が学習した前方演算子とその逆再構成写像の両方をどう形作るかが特徴付けられる。 数値実験により,これらの損失項正則化器がデータ依存を安定かつ解釈可能な形で導入する方法が実証された。

関連論文リスト

• VIKING: Deep variational inference with stochastic projections [48.946143517489496]
  変分平均場近似は、現代の過度にパラメータ化されたディープニューラルネットワークと競合する傾向がある。 パラメータ空間の2つの独立線型部分空間を考える単純な変分族を提案する。 これにより、オーバーパラメトリゼーションを反映した、完全に相関した近似後部を構築することができる。
  論文  参考訳（メタデータ） (2025-10-27T15:38:35Z)
• Stability Bounds for the Unfolded Forward-Backward Algorithm [21.529323131078954]
  劣化演算子が線形で知られている逆問題を解決するために設計されたニューラルネットワークアーキテクチャを考察する。 入力摂動に対する逆法のロバスト性は理論的に解析される。 我々の研究の重要な新規性は、そのバイアスの摂動に対する提案されたネットワークの堅牢性を調べることである。
  論文  参考訳（メタデータ） (2024-12-23T11:55:41Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• Bayesian Recurrent Units and the Forward-Backward Algorithm [91.39701446828144]
  ベイズの定理を用いることで、ユニットワイド・リカレンスとフォワード・バックワードアルゴリズムに類似した後方再帰を導出する。 その結果得られたベイジアン再帰ユニットは、ディープラーニングフレームワーク内で再帰ニューラルネットワークとして統合することができる。 音声認識の実験は、最先端の繰り返しアーキテクチャの最後に派生したユニットを追加することで、訓練可能なパラメータの点で非常に低コストで性能を向上させることを示唆している。
  論文  参考訳（メタデータ） (2022-07-21T14:00:52Z)
• Entangled Residual Mappings [59.02488598557491]
  残余接続の構造を一般化するために、絡み合った残余写像を導入する。 絡み合い残余写像は、アイデンティティスキップ接続を特別な絡み合い写像に置き換える。 絡み合った写像は、様々な深層モデルにまたがる特徴の反復的洗練を保ちながら、畳み込みネットワークにおける表現学習プロセスに影響を及ぼすことを示す。
  論文  参考訳（メタデータ） (2022-06-02T19:36:03Z)
• Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
  勾配勾配勾配を用いた2層ReLUネットワークについて検討する。 SGDは単純な解に偏りがあることが示される。 また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
  論文  参考訳（メタデータ） (2021-11-03T15:14:20Z)
• Lifted Regression/Reconstruction Networks [17.89437720094451]
  本稿では,リフレクション/リコンストラクションネットワーク(LRRN)を提案する。 LRRNは、昇降ニューラルネットワークと出力層に対する保証されたリプシッツ連続性特性を結合する。 教師なし・教師なし学習への応用を解析・数値的に実証する。
  論文  参考訳（メタデータ） (2020-05-07T13:24:46Z)
• Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
  我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。 さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
  論文  参考訳（メタデータ） (2020-02-24T08:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。