論文の概要: Scalable extensions to given-data Sobol' index estimators

• arxiv url: http://arxiv.org/abs/2509.09078v1
• Date: Thu, 11 Sep 2025 00:52:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-12 16:52:24.188047
• Title: Scalable extensions to given-data Sobol' index estimators
• Title（参考訳）: given-data Sobol' インデックス推定器へのスケーラブルな拡張
• Authors: Teresa Portone, Bert Debusschere, Samantha Yang, Emiliano Islas-Quinones, T. Patrick Xiao,
• Abstract要約: 分散に基づく感度解析のためのデータ提供手法は,Sobolの指数計算の実現可能性を大幅に向上させた。 本稿では,既存のデータ・ソボの指数法を実践的に拡張する。 ストリーミングアルゴリズムは,メモリ要求の少ない,同等の精度とランタイムを実現することができることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given-data methods for variance-based sensitivity analysis have significantly advanced the feasibility of Sobol' index computation for computationally expensive models and models with many inputs. However, the limitations of existing methods still preclude their application to models with an extremely large number of inputs. In this work, we present practical extensions to the existing given-data Sobol' index method, which allow variance-based sensitivity analysis to be efficiently performed on large models such as neural networks, which have $>10^4$ parameterizable inputs. For models of this size, holding all input-output evaluations simultaneously in memory -- as required by existing methods -- can quickly become impractical. These extensions also support nonstandard input distributions with many repeated values, which are not amenable to equiprobable partitions employed by existing given-data methods. Our extensions include a general definition of the given-data Sobol' index estimator with arbitrary partition, a streaming algorithm to process input-output samples in batches, and a heuristic to filter out small indices that are indistinguishable from zero indices due to statistical noise. We show that the equiprobable partition employed in existing given-data methods can introduce significant bias into Sobol' index estimates even at large sample sizes and provide numerical analyses that demonstrate why this can occur. We also show that our streaming algorithm can achieve comparable accuracy and runtimes with lower memory requirements, relative to current methods which process all samples at once. We demonstrate our novel developments on two application problems in neural network modeling.
• Abstract（参考訳）: 分散に基づく感度解析のためのデータ提供手法は、多くの入力を持つ計算コストの高いモデルやモデルに対するSobolの指数計算の実現可能性を大幅に向上させた。 しかし、既存の手法の限界は、非常に多くの入力を持つモデルへの適用を妨げている。 本研究では,パラメータ化可能な$>10^4$の入力を持つニューラルネットワークなどの大規模モデルにおいて,分散に基づく感度解析を効率的に行うことのできる,既存のデータ・ソボ指数法に対する実用的な拡張について述べる。 このサイズのモデルでは、既存のメソッドで要求されるように、すべてのインプット・アウトプット評価をメモリ内で同時に保持することは、すぐに非現実的になります。 これらの拡張は、多くの繰り返し値を持つ非標準入力分布もサポートしており、既存の有値データ法で使われる等質なパーティションには対応できない。 我々の拡張には、任意のパーティションを持つ与えられたデータSobolのインデックス推定器の一般的な定義、バッチで入力出力サンプルを処理するストリーミングアルゴリズム、統計ノイズによるゼロインデックスと区別できない小さなインデックスをフィルタリングするヒューリスティックが含まれる。 提案手法は, サンプルサイズが大きい場合でも, ソボの指数推定値に有意な偏りを生じさせることが可能であることを示し, その原因を数値分析により明らかにした。 また、我々のストリーミングアルゴリズムは、全てのサンプルを同時に処理する現在の方法と比較して、メモリ要求の少ない、同等の精度とランタイムを実現することができることを示す。 ニューラルネットワークモデリングにおける2つのアプリケーション問題に関する新しい展開を実演する。

関連論文リスト

• Revisiting Randomization in Greedy Model Search [16.15551706774035]
  特徴サブサンプリングによってランダム化される欲求前方選択推定器のアンサンブルを提案し,解析する。 計算効率を大幅に向上させる動的プログラミングに基づく新しい実装を設計する。 ランダム化アンサンブルが縮小と類似しているという一般的な信念とは対照的に、トレーニングエラーと自由度を同時に低減できることが示される。
  論文  参考訳（メタデータ） (2025-06-18T17:13:53Z)
• It's All in the Mix: Wasserstein Classification and Regression with Mixed Features [5.106912532044251]
  我々は、離散的特徴の存在を忠実に説明できる分布的に堅牢な予測モデルを開発し、分析する。 我々のモデルは、離散的特徴の存在に非依存な既存手法を著しく上回り得ることを実証する。
  論文  参考訳（メタデータ） (2023-12-19T15:15:52Z)
• Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation for Time Series [45.76310830281876]
  量子回帰に基づくタスクネットワークのアンサンブルを用いて不確実性を推定する新しい手法であるQuantile Sub-Ensemblesを提案する。 提案手法は,高い損失率に頑健な高精度な計算法を生成するだけでなく,非生成モデルの高速な学習により,計算効率も向上する。
  論文  参考訳（メタデータ） (2023-12-03T05:52:30Z)
• Score-based Diffusion Models in Function Space [137.70916238028306]
  拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。 この研究は、関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)と呼ばれる数学的に厳密なフレームワークを導入する。 データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
  論文  参考訳（メタデータ） (2023-02-14T23:50:53Z)
• Sampling from Arbitrary Functions via PSD Models [55.41644538483948]
  まず確率分布をモデル化し,そのモデルからサンプリングする。 これらのモデルでは, 少数の評価値を用いて, 高精度に多数の密度を近似することが可能であることが示され, それらのモデルから効果的にサンプルする簡単なアルゴリズムが提示される。
  論文  参考訳（メタデータ） (2021-10-20T12:25:22Z)
• Fast covariance parameter estimation of spatial Gaussian process models using neural networks [0.0]
  我々はnnを入力として適度な大きさの空間場または変量線を取り、範囲と信号間の共分散パラメータを返すように訓練する。 トレーニングが完了すると、nnsはml推定と同等の精度で見積もりを提供し、100倍以上のスピードアップを行う。 この作業は、他のより複雑な空間問題に容易に拡張することができ、計算統計における機械学習の使用に対する概念の証明を提供する。
  論文  参考訳（メタデータ） (2020-12-30T22:06:26Z)
• Variable Skipping for Autoregressive Range Density Estimation [84.60428050170687]
  深部自己回帰モデルを用いた距離密度推定を高速化する手法である可変スキップについて述べる。 可変スキップは、10-100$timesの効率向上をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-07-10T19:01:40Z)
• Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
  局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。 入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。 実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
  論文  参考訳（メタデータ） (2020-06-16T18:43:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。