論文の概要: Keeping Score: Efficiency Improvements in Neural Likelihood Surrogate Training via Score-Augmented Loss Functions

• arxiv url: http://arxiv.org/abs/2605.12118v1
• Date: Tue, 12 May 2026 13:34:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.883437
• Title: Keeping Score: Efficiency Improvements in Neural Likelihood Surrogate Training via Score-Augmented Loss Functions
• Title（参考訳）: スコア維持:Score-Augmented Loss関数によるニューラル・ライリフト・サロゲートトレーニングの効率改善
• Authors: Alexander Shen, Mikael Kuusela,
• Abstract要約: パラメータ推論は、しばしば計算に高価な確率関数によってボトルネックされる。 正確なスコア情報を用いて、標準的なバイナリクロスエントロピー損失を増大させることを提案する。 場合によっては、トレーニング時間の1.1倍未満のトレーニングデータを10倍に増やすことができる。
• 参考スコア（独自算出の注目度）: 46.638644823334424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For stochastic process models, parameter inference is often severely bottlenecked by computationally expensive likelihood functions. Simulation-based inference (SBI) bypasses this restriction by constructing amortized surrogate likelihoods, but most SBI methods assume a black-box data generating process. While these surrogates are exact in the limit of infinite training data, practical scenarios force a strict tradeoff between model quality and simulation cost. In this work, we loosen the black-box assumption of SBI to improve this tradeoff for structured stochastic process models. Specifically, for neural network likelihood surrogates trained via probabilistic classification, we propose to augment the standard binary cross-entropy loss with exact score information $\nabla_θ\log p(x \mid θ)$ and adaptive weighting based on loss gradients. We evaluate our approach on case studies involving network dynamics and spatial processes, demonstrating that our method improves surrogate quality at a drastically lower computational cost than generating more training data. Notably, in some cases, our approach achieves downstream inference performance equivalent to a 10x increase in training data with less than a 1.1x increase in training time.
• Abstract（参考訳）: 確率過程モデルでは、パラメータ推論は計算に高価な確率関数によって著しくボトルネックとなることが多い。 シミュレーションベースの推論 (SBI) はこの制限を回避し、アモルト化サロゲート確率を構成するが、ほとんどのSBIメソッドはブラックボックスデータ生成プロセスを前提としている。 これらのサロゲートは無限のトレーニングデータに限りがあるが、現実的なシナリオはモデルの品質とシミュレーションコストの間に厳密なトレードオフを強いる。 本研究では、構造化確率過程モデルのトレードオフを改善するため、SBIのブラックボックス仮定を緩める。 具体的には、確率的分類によって訓練されたニューラルネットワークの確率的サロゲートに対して、正確なスコア情報として$\nabla_θ\log p(x \mid θ)$と、損失勾配に基づく適応重み付けにより、標準的な二進的クロスエントロピー損失を増大させることを提案する。 ネットワーク力学と空間過程を含むケーススタディにおいて,本手法が学習データを生成するよりも計算コストを大幅に削減してサロゲート品質を向上させることを示す。 特に,本手法では,トレーニング時間の1.1倍未満のトレーニングデータに対して,ダウンストリーム推論性能を10倍に向上させる。

関連論文リスト

• Adaptive operator learning for infinite-dimensional Bayesian inverse problems [7.716833952167609]
  本研究では,局所的に精度の高いサロゲートを強制することによって,モデリングエラーを段階的に低減できる適応型演算子学習フレームワークを開発した。 UKIフレームワークを用いて線形の場合において厳密な収束を保証する。 その結果,逆精度を維持しながら計算コストを大幅に削減できることがわかった。
  論文  参考訳（メタデータ） (2023-10-27T01:50:33Z)
• IB-UQ: Information bottleneck based uncertainty quantification for neural function regression and neural operator learning [11.5992081385106]
  本稿では,科学的機械学習タスクのための情報ボトルネック(IB-UQ)による不確実性定量化のための新しいフレームワークを提案する。 我々は,入力データの信頼度に応じて,入力を潜在表現に符号化する信頼認識エンコーダによってボトルネックを埋め込む。 また,外挿不確かさの質を高めるために,データ拡張に基づく情報ボトルネック目標を提案する。
  論文  参考訳（メタデータ） (2023-02-07T05:56:42Z)
• Scaling Laws Beyond Backpropagation [64.0476282000118]
  因果デコーダのみの変換器を効率的に訓練するための直接フィードバックアライメントの有効性について検討した。 DFAはバックプロパゲーションよりも効率的なスケーリングを提供していないことが分かりました。
  論文  参考訳（メタデータ） (2022-10-26T10:09:14Z)
• Deep Equilibrium Optical Flow Estimation [80.80992684796566]
  最近のSOTA(State-of-the-art)光フローモデルでは、従来のアルゴリズムをエミュレートするために有限ステップの更新操作を使用する。 これらのRNNは大きな計算とメモリオーバーヘッドを課し、そのような安定した推定をモデル化するために直接訓練されていない。 暗黙的層の無限レベル固定点として直接流れを解く手法として,Deep equilibrium Flow estimatorを提案する。
  論文  参考訳（メタデータ） (2022-04-18T17:53:44Z)
• Test-time Batch Statistics Calibration for Covariate Shift [66.7044675981449]
  我々は,推論中に深層モデルを新しい環境に適応させることを提案する。 バッチ統計の校正に$alpha$-BNの一般的な定式化を提案する。 また、統合テスト時間適応フレームワークCoreを形成するための新しい損失関数も提示する。
  論文  参考訳（メタデータ） (2021-10-06T08:45:03Z)
• Last Layer Marginal Likelihood for Invariance Learning [12.00078928875924]
  我々は、より大きな確率関数のクラスに対する推論を行うことができるような、限界確率に対する新しい下界を導入する。 我々は、最後の層にガウス的プロセスを持つアーキテクチャを使用することで、このアプローチをニューラルネットワークに導入することに取り組んでいます。
  論文  参考訳（メタデータ） (2021-06-14T15:40:51Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。