論文の概要: Rigorous Assessment of Model Inference Accuracy using Language Cardinality

• arxiv url: http://arxiv.org/abs/2211.16587v2
• Date: Sun, 26 Nov 2023 18:03:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-30 17:18:35.865818
• Title: Rigorous Assessment of Model Inference Accuracy using Language Cardinality
• Title（参考訳）: 言語濃度を用いたモデル推論精度の厳密な評価
• Authors: Donato Clun, Donghwan Shin, Antonio Filieri, Domenico Bianculli
• Abstract要約: 我々は,統計的推定を決定論的精度尺度に置き換えることで,モデル精度評価におけるバイアスと不確実性を最小化する体系的アプローチを開発する。 我々は、最先端の推論ツールによって推定されるモデルの精度を評価することによって、我々のアプローチの一貫性と適用性を実験的に実証した。
• 参考スコア（独自算出の注目度）: 5.584832154027001
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Models such as finite state automata are widely used to abstract the behavior of software systems by capturing the sequences of events observable during their execution. Nevertheless, models rarely exist in practice and, when they do, get easily outdated; moreover, manually building and maintaining models is costly and error-prone. As a result, a variety of model inference methods that automatically construct models from execution traces have been proposed to address these issues. However, performing a systematic and reliable accuracy assessment of inferred models remains an open problem. Even when a reference model is given, most existing model accuracy assessment methods may return misleading and biased results. This is mainly due to their reliance on statistical estimators over a finite number of randomly generated traces, introducing avoidable uncertainty about the estimation and being sensitive to the parameters of the random trace generative process. This paper addresses this problem by developing a systematic approach based on analytic combinatorics that minimizes bias and uncertainty in model accuracy assessment by replacing statistical estimation with deterministic accuracy measures. We experimentally demonstrate the consistency and applicability of our approach by assessing the accuracy of models inferred by state-of-the-art inference tools against reference models from established specification mining benchmarks.
• Abstract（参考訳）: 有限状態オートマトンのようなモデルは、実行中に観測可能なイベントのシーケンスをキャプチャすることでソフトウェアシステムの振る舞いを抽象化するために広く使われている。 それでも、モデルが実際に存在することはめったになく、その場合には、容易に時代遅れになり、さらに、手動でモデルを構築し、メンテナンスすることは、コストがかかり、エラーが発生します。 その結果、これらの問題に対処するために、実行トレースからモデルを自動的に構築する様々なモデル推論手法が提案されている。 しかし、推論されたモデルの体系的かつ信頼性の高い精度評価を行うことは、未解決の問題である。 参照モデルが与えられたとしても、既存のモデル精度評価手法のほとんどは、誤解を招く結果や偏った結果を返す可能性がある。 これは主に、有限個のランダムに生成されたトレースに対する統計的推定子に依存しており、推定に関する避けられない不確実性をもたらし、ランダムなトレース生成プロセスのパラメータに敏感である。 本稿では,モデル精度評価におけるバイアスと不確実性を最小限に抑え,統計的推定を決定論的精度尺度に置き換える,解析的組合せに基づく系統的アプローチを提案する。 確立された仕様マイニングベンチマークから参照モデルに対する最先端推論ツールによって推定されるモデルの精度を評価することにより,提案手法の一貫性と妥当性を実験的に実証した。

関連論文リスト

• A Probabilistic Perspective on Unlearning and Alignment for Large Language Models [48.96686419141881]
  大規模言語モデル(LLM)における最初の形式的確率的評価フレームワークを紹介する。 モデルの出力分布に関する高い確率保証を持つ新しい指標を導出する。 私たちのメトリクスはアプリケーションに依存しないので、デプロイ前にモデル機能についてより信頼性の高い見積を行うことができます。
  論文  参考訳（メタデータ） (2024-10-04T15:44:23Z)
• Uncertainty Quantification of Surrogate Models using Conformal Prediction [7.445864392018774]
  我々は,モデルに依存しない方法で予測を満足する共形予測フレームワークを定式化し,ほぼゼロの計算コストを必要とする。 本稿では,決定論的モデルに対する統計的に有効なエラーバーを提供するとともに,確率論的モデルのエラーバーに対する保証を作成することを検討する。
  論文  参考訳（メタデータ） (2024-08-19T10:46:19Z)
• Measuring and Modeling Uncertainty Degree for Monocular Depth Estimation [50.920911532133154]
  単分子深度推定モデル(MDE)の本質的な不適切さと順序感性は、不確かさの程度を推定する上で大きな課題となる。 本稿では,MDEモデルの不確かさを固有確率分布の観点からモデル化する。 新たなトレーニング正規化用語を導入することで、驚くほど単純な構成で、余分なモジュールや複数の推論を必要とせずに、最先端の信頼性で不確実性を推定できる。
  論文  参考訳（メタデータ） (2023-07-19T12:11:15Z)
• The Implicit Delta Method [61.36121543728134]
  本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。 有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
  論文  参考訳（メタデータ） (2022-11-11T19:34:17Z)
• Calibration tests beyond classification [30.616624345970973]
  ほとんどの教師付き機械学習タスクは、既約予測エラーを被る。 確率論的予測モデルは、妥当な目標に対する信念を表す確率分布を提供することによって、この制限に対処する。 校正されたモデルは、予測が過信でも過信でもないことを保証します。
  論文  参考訳（メタデータ） (2022-10-21T09:49:57Z)
• Variational Gibbs Inference for Statistical Model Estimation from Incomplete Data [7.4250022679087495]
  不完全データから統計モデルのパラメータを推定する新しい汎用手法である変分ギブス推論(VGI)を導入する。 不完全データからの変分オートエンコーダや正規化フローなどの重要な機械学習モデルを推定し、VGIを一連の合成および実世界の推定タスクで検証する。
  論文  参考訳（メタデータ） (2021-11-25T17:22:22Z)
• Calibrating Over-Parametrized Simulation Models: A Framework via Eligibility Set [3.862247454265944]
  厳密な頻繁な統計的保証を満たす校正手法を開発するための枠組みを開発する。 本手法は,書籍市場シミュレータのキャリブレーションへの応用を含む,いくつかの数値例で実証する。
  論文  参考訳（メタデータ） (2021-05-27T00:59:29Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Performance metrics for intervention-triggering prediction models do not reflect an expected reduction in outcomes from using the model [71.9860741092209]
  臨床研究者はしばしばリスク予測モデルの中から選択し評価する。 振り返りデータから算出される標準メトリクスは、特定の仮定の下でのみモデルユーティリティに関係します。 予測が時間を通して繰り返し配信される場合、標準メトリクスとユーティリティの関係はさらに複雑になる。
  論文  参考訳（メタデータ） (2020-06-02T16:26:49Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)
• Amortized Bayesian model comparison with evidential deep learning [0.12314765641075436]
  本稿では,専門的なディープラーニングアーキテクチャを用いたベイズモデルの比較手法を提案する。 提案手法は純粋にシミュレーションベースであり,観測された各データセットに対して,すべての代替モデルを明示的に適合させるステップを回避している。 提案手法は,本研究で検討した事例に対して,精度,キャリブレーション,効率の点で優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-04-22T15:15:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。