論文の概要: Model-Free Assessment of Simulator Fidelity via Quantile Curves

• arxiv url: http://arxiv.org/abs/2512.05024v1
• Date: Thu, 04 Dec 2025 17:39:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-05 21:11:46.302037
• Title: Model-Free Assessment of Simulator Fidelity via Quantile Curves
• Title（参考訳）: 量子曲線によるシミュレータ忠実度のモデルフリー評価
• Authors: Garud Iyengar, Yu-Shiou Willy Lin, Kaizheng Wang,
• Abstract要約: 複雑なシステムのシミュレーションは、製造とキューイングに始まり、現在では、研究、教育、消費者調査における大規模なMLベースのシステムに広く利用されている。 そこで本研究では,シミュレーション結果分布と地絡結果分布の差分関数を計算的に推定する手法を提案する。
• 参考スコア（独自算出の注目度）: 12.483260526189449
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Simulation of complex systems originated in manufacturing and queuing applications. It is now widely used for large-scale, ML-based systems in research, education, and consumer surveys. However, characterizing the discrepancy between simulators and ground truth remains challenging for increasingly complex, machine-learning-based systems. We propose a computationally tractable method to estimate the quantile function of the discrepancy between the simulated and ground-truth outcome distributions. Our approach focuses on output uncertainty and treats the simulator as a black box, imposing no modeling assumptions on its internals, and hence applies broadly across many parameter families, from Bernoulli and multinomial models to continuous, vector-valued settings. The resulting quantile curve supports confidence interval construction for unseen scenarios, risk-aware summaries of sim-to-real discrepancy (e.g., VaR/CVaR), and comparison of simulators' performance. We demonstrate our methodology in an application assessing LLM simulation fidelity on the WorldValueBench dataset spanning four LLMs.
• Abstract（参考訳）: 複雑なシステムのシミュレーションは、製造とキューイングに起源がある。 現在は大規模なMLベースの研究、教育、消費者調査に広く利用されている。 しかし、シミュレータと基底真理の相違を特徴付けることは、ますます複雑で機械学習に基づくシステムにとって、依然として困難である。 そこで本研究では, シミュレーション結果分布と地絡結果分布の差分関数を計算により推定する手法を提案する。 提案手法は出力の不確実性に注目し,シミュレータをブラックボックスとして扱い,内部にモデリングの仮定を含まないため,ベルヌーイモデルやマルチノードモデルから連続ベクトル値設定に至るまで,多くのパラメーター群に広く適用できる。 得られた量子曲線は、目に見えないシナリオに対する信頼区間の構成、シム対リアルの相違(例えば、VaR/CVaR)のリスクを意識した要約、シミュレータの性能の比較をサポートする。 4つのLLMにまたがるWorldValueBenchデータセット上で,LLMシミュレーションの忠実度を評価するアプリケーションにおいて,本手法を実証する。

関連論文リスト

• SimBench: Benchmarking the Ability of Large Language Models to Simulate Human Behaviors [58.87134689752605]
  我々は,LLMシミュレーションの堅牢で再現可能な科学のための,最初の大規模標準ベンチマークであるSimBenchを紹介する。 現在、最高のLLMでさえシミュレーション能力が限られ(スコア: 40.80/100)、性能はモデルサイズと対数的にスケールする。 シミュレーション能力は、深い知識集約的推論と最も強く相関していることを示す。
  論文  参考訳（メタデータ） (2025-10-20T13:14:38Z)
• G-Sim: Generative Simulations with Large Language Models and Gradient-Free Calibration [48.948187359727996]
  G-Simは、厳密な経験的校正によるシミュレータ構築を自動化するハイブリッドフレームワークである。 信頼性のある因果的インフォームドシミュレータを生成し、データ効率を軽減し、堅牢なシステムレベルの介入を可能にする。
  論文  参考訳（メタデータ） (2025-06-10T22:14:34Z)
• Transfer learning for multifidelity simulation-based inference in cosmology [0.0]
  ダークマターのみのN$-bodyシミュレーションの事前トレーニングは、高忠実度流体力学シミュレーションの必要な回数を8ドルから15ドルに削減する。 より安価なシミュレーションを活用することで,計算コストを大幅に削減しつつ,高忠実度モデルの性能と高精度な推論を可能にする。
  論文  参考訳（メタデータ） (2025-05-27T14:04:30Z)
• Multifidelity Simulation-based Inference for Computationally Expensive Simulators [7.065679767112407]
  MF-(TS)NPEは、トランスファーラーニングを用いて安価な低忠実度シミュレーションを利用する、神経後部推定のための多忠実なアプローチである。 A-MF-TSNPEは,密度推定器の予測不確かさを目標とした取得関数を用いた逐次変種である。
  論文  参考訳（メタデータ） (2025-02-12T13:59:22Z)
• Active Sequential Posterior Estimation for Sample-Efficient Simulation-Based Inference [12.019504660711231]
  逐次的神経後部推定(ASNPE)を導入する。 ASNPEは、シミュレーションパラメータ候補の効用を基礎となる確率モデルに推定するために、推論ループにアクティブな学習スキームをもたらす。 提案手法は,大規模実世界の交通ネットワークにおいて,高度に調整されたベンチマークと最先端の後方推定手法より優れる。
  論文  参考訳（メタデータ） (2024-12-07T08:57:26Z)
• Synthetic Data-Based Simulators for Recommender Systems: A Survey [55.60116686945561]
  本調査は,モデリングとシミュレーションの分野における最近のトレンドを包括的に概観することを目的としている。 まずは、シミュレーターを実装するフレームワークの開発の背後にあるモチベーションから始めます。 我々は,既存のシミュレータの機能,近似,産業的有効性に基づいて,新しい一貫した一貫した分類を行う。
  論文  参考訳（メタデータ） (2022-06-22T19:33:21Z)
• Multi-fidelity Hierarchical Neural Processes [79.0284780825048]
  多要素代理モデリングは、異なるシミュレーション出力を融合させることで計算コストを削減する。 本稿では,多階層型階層型ニューラルネットワーク(MF-HNP)を提案する。 疫学および気候モデリングタスクにおけるMF-HNPの評価を行い、精度と不確実性評価の観点から競合性能を達成した。
  論文  参考訳（メタデータ） (2022-06-10T04:54:13Z)
• A Doubly Stochastic Simulator with Applications in Arrivals Modeling and Simulation [8.808993671472349]
  本稿では,モンテカルロシミュレータとワッサーシュタイン生成逆数ネットワークを統合して,広範囲の到着過程をモデル化し,推定し,シミュレーションするフレームワークを提案する。 古典的モンテカルロシミュレータはポアソンオブジェクトの解釈可能な「物理」を捉えるのに利点があるが、ニューラルネットベースのシミュレータは高次元分布における解釈できない複雑な依存を捉えるのに利点がある。
  論文  参考訳（メタデータ） (2020-12-27T13:32:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。