論文の概要: Towards Sobolev Training
- arxiv url: http://arxiv.org/abs/2312.03510v1
- Date: Wed, 6 Dec 2023 14:13:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-07 14:45:36.968682
- Title: Towards Sobolev Training
- Title（参考訳）: ソボレフトレーニングに向けて
- Authors: Neil Kichler, Sher Afghan, Uwe Naumann
- Abstract要約: 本稿では,学習および刈り取り過程を通じて感度情報を用いて代理モデルを見つけることを提案する。
本研究は,近年のソボレフ訓練の進歩と相まって,インターバル・アジョイント・重要度分析を用いて作業を構築している。
ブラウン運動を持つ微分方程式をモデルとした多次元オプションの価格設定の例について実験的に検討した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The increasing use of stochastic models for describing complex phenomena
warrants surrogate models that capture the reference model characteristics at a
fraction of the computational cost, foregoing potentially expensive Monte Carlo
simulation. The predominant approach of fitting a large neural network and then
pruning it to a reduced size has commonly neglected shortcomings. The produced
surrogate models often will not capture the sensitivities and uncertainties
inherent in the original model. In particular, (higher-order) derivative
information of such surrogates could differ drastically. Given a large enough
network, we expect this derivative information to match. However, the pruned
model will almost certainly not share this behavior.
In this paper, we propose to find surrogate models by using sensitivity
information throughout the learning and pruning process. We build on work using
Interval Adjoint Significance Analysis for pruning and combine it with the
recent advancements in Sobolev Training to accurately model the original
sensitivity information in the pruned neural network based surrogate model. We
experimentally underpin the method on an example of pricing a multidimensional
Basket option modelled through a stochastic differential equation with Brownian
motion. The proposed method is, however, not limited to the domain of
quantitative finance, which was chosen as a case study for intuitive
interpretations of the sensitivities. It serves as a foundation for building
further surrogate modelling techniques considering sensitivity information.
- Abstract（参考訳）: 複雑な現象を記述するための確率モデルの利用の増加は、計算コストのごく一部で参照モデル特性をキャプチャするモデルを代理し、潜在的に高価なモンテカルロシミュレーションを先導する。
大きなニューラルネットワークを適合させ、それを小さくする主なアプローチは、一般的に欠点を無視している。
生成された代理モデルは、しばしば元のモデルに固有の感度や不確かさを捉えない。
特に、そのようなサロゲートの(高次の)誘導体情報は、大きく異なる可能性がある。
十分な量のネットワークがあると、このデリバティブ情報は一致するだろう。
しかし、刈り取られたモデルは、ほぼ間違いなくこの挙動を共有しないでしょう。
本稿では,学習および刈り取り過程を通じて感度情報を用いて代理モデルを見つけることを提案する。
本研究では, ニューラルネットワークを用いたサロゲートモデルにおいて, 初期感度情報を正確にモデル化するためのソボレフ訓練の最近の進歩と組み合わせて, 時間差分結合分析を用いて作業を行う。
ブラウン運動を伴う確率微分方程式を用いてモデル化した多次元バスケットオプションの価格設定例について実験的に検討した。
しかし,提案手法は定量的金融の領域に限らず,直感的な感性解釈のケーススタディとして選択された。
感度情報を考慮したさらなるサロゲートモデリング技術の構築の基盤となっている。
関連論文リスト
- The Contextual Lasso: Sparse Linear Models via Deep Neural Networks [5.607237982617641]
本研究では,空間的特徴の関数として空間的パターンと係数が変化するような説明的特徴に疎線形モデルに適合する新しい統計的推定器を開発する。
実データと合成データに関する広範な実験は、学習されたモデルは、非常に透明であり、通常のラッソよりもスペーサーであることを示している。
論文 参考訳（メタデータ） (2023-02-02T05:00:29Z) - Non-intrusive surrogate modelling using sparse random features with
applications in crashworthiness analysis [4.521832548328702]
Sparse Random Features を自己教師付き次元減少と組み合わせた代理モデリングに利用する新しい手法について述べる。
以上の結果から, サーロゲートモデリング技術, ポリノミアルカオス展開, ニューラルネットワークの状況に対するアプローチの優位性が示唆された。
論文 参考訳（メタデータ） (2022-12-30T01:29:21Z) - Bayesian Neural Network Inference via Implicit Models and the Posterior
Predictive Distribution [0.8122270502556371]
本稿では,ベイズニューラルネットワークのような複雑なモデルにおいて,近似ベイズ推論を行うための新しい手法を提案する。
このアプローチはMarkov Chain Monte Carloよりも大規模データに対してスケーラブルである。
これは、サロゲートや物理モデルのような応用に有用であると考えています。
論文 参考訳（メタデータ） (2022-09-06T02:43:19Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳（メタデータ） (2021-11-15T09:08:27Z) - Variational Inference with NoFAS: Normalizing Flow with Adaptive
Surrogate for Computationally Expensive Models [7.217783736464403]
マルコフ連鎖モンテカルロのようなサンプリングに基づくアプローチの使用は、それぞれの可能性評価が計算的に高価であるときに難解になる可能性がある。
変分推論と正規化フローを組み合わせた新しいアプローチは、潜在変数空間の次元と線形にしか成長しない計算コストによって特徴づけられる。
本稿では,ニューラルネットワークサロゲートモデルの正規化フローパラメータと重みを代わりに更新する最適化戦略である,適応サロゲートを用いた正規化フロー(NoFAS)を提案する。
論文 参考訳（メタデータ） (2021-08-28T14:31:45Z) - Beyond Trivial Counterfactual Explanations with Diverse Valuable
Explanations [64.85696493596821]
コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。
本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。
このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
論文 参考訳（メタデータ） (2021-03-18T12:57:34Z) - Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。
従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。
本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
論文 参考訳（メタデータ） (2021-01-21T01:46:36Z) - Provable Benefits of Overparameterization in Model Compression: From
Double Descent to Pruning Neural Networks [38.153825455980645]
最近の実証的な証拠は、オーバライゼーションの実践が大きなモデルのトレーニングに利益をもたらすだけでなく、軽量モデルの構築を支援することも示している。
本稿では,モデル刈り込みの高次元ツールセットを理論的に特徴付けることにより,これらの経験的発見に光を当てる。
もっとも情報に富む特徴の位置が分かっていても、我々は大きなモデルに適合し、刈り取るのがよい体制を解析的に特定する。
論文 参考訳（メタデータ） (2020-12-16T05:13:30Z) - A Bayesian Perspective on Training Speed and Model Selection [51.15664724311443]
モデルのトレーニング速度の測定値を用いて,その限界確率を推定できることを示す。
線形モデルと深部ニューラルネットワークの無限幅限界に対するモデル選択タスクの結果を検証する。
以上の結果から、勾配勾配勾配で訓練されたニューラルネットワークが、一般化する関数に偏りがある理由を説明するための、有望な新たな方向性が示唆された。
論文 参考訳（メタデータ） (2020-10-27T17:56:14Z) - Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。
トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
論文 参考訳（メタデータ） (2020-10-27T17:54:12Z) - Goal-directed Generation of Discrete Structures with Conditional
Generative Models [85.51463588099556]
本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。
提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
論文 参考訳（メタデータ） (2020-10-05T20:03:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。