論文の概要: Assessing Reliability of Statistical Maximum Coverage Estimators in Fuzzing
- arxiv url: http://arxiv.org/abs/2507.17093v1
- Date: Wed, 23 Jul 2025 00:18:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-24 22:33:14.810965
- Title: Assessing Reliability of Statistical Maximum Coverage Estimators in Fuzzing
- Title（参考訳）: ファジングにおける統計的最大被覆量推定器の信頼性評価
- Authors: Danushka Liyanage, Nelum Attanayake, Zijian Luo, Rahul Gopinath,
- Abstract要約: ファジィアは、しばしばカバレッジによってガイドされ、到達可能な最大カバレッジの推定がファジィアの重要な関心事となる。
ほとんどの現実世界のソフトウェアシステムでは、労力に関係なく、100%のカバレッジを達成することは不可能です。
- 参考スコア（独自算出の注目度）: 2.431159969731128
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Background: Fuzzers are often guided by coverage, making the estimation of maximum achievable coverage a key concern in fuzzing. However, achieving 100% coverage is infeasible for most real-world software systems, regardless of effort. While static reachability analysis can provide an upper bound, it is often highly inaccurate. Recently, statistical estimation methods based on species richness estimators from biostatistics have been proposed as a potential solution. Yet, the lack of reliable benchmarks with labeled ground truth has limited rigorous evaluation of their accuracy. Objective: This work examines the reliability of reachability estimators from two axes: addressing the lack of labeled ground truth and evaluating their reliability on real-world programs. Methods: (1) To address the challenge of labeled ground truth, we propose an evaluation framework that synthetically generates large programs with complex control flows, ensuring well-defined reachability and providing ground truth for evaluation. (2) To address the criticism from use of synthetic benchmarks, we adapt a reliability check for reachability estimators on real-world benchmarks without labeled ground truth -- by varying the size of sampling units, which, in theory, should not affect the estimate. Results: These two studies together will help answer the question of whether current reachability estimators are reliable, and defines a protocol to evaluate future improvements in reachability estimation.
- Abstract（参考訳）: 背景: ファジィは、しばしばカバレッジによって導かれるため、最大達成可能なカバレッジの推定がファジィングの重要な関心事となる。
しかし、100%のカバレッジを達成することは、努力に関係なく、ほとんどの現実世界のソフトウェアシステムにとって不可能である。
静的リーチビリティ解析は上限を与えることができるが、しばしば不正確である。
近年,生物統計学からの種多様性推定に基づく統計的推定法が提案されている。
しかし、信頼できるベンチマークの欠如は、その正確さの厳密な評価を制限している。
目的: 本研究は,2つの軸からの到達可能性推定器の信頼性について検討する。
方法:(1) ラベル付き基底真理の課題に対処するため, 複雑な制御フローを持つ大規模プログラムを合成的に生成し, 到達性を確保し, 評価のための基礎真理を提供する評価枠組みを提案する。
2) 総合的なベンチマークの使用による批判に対処するため,本研究では,実世界のベンチマークにおける到達可能性推定器の信頼性チェックを,真理をラベル付けせずに適用する。
結果:これらの2つの研究は,現在の到達可能性推定器が信頼性が高いかどうかという疑問に答える上で有効であり,到達可能性推定の今後の改善を評価するためのプロトコルを定義する。
関連論文リスト
- Evaluating the Evaluators: Trust in Adversarial Robustness Tests [17.06660302788049]
AttackBenchは、新しい最適度基準に基づいて既存の攻撃実装をランク付けする評価ツールである。
このフレームワークは、一貫したテスト条件を実行し、継続的な更新を可能にする。
論文 参考訳（メタデータ） (2025-07-04T10:07:26Z) - Provably Reliable Conformal Prediction Sets in the Presence of Data Poisoning [53.42244686183879]
コンフォーマル予測は、モデルに依存しない、分布のない不確実性定量化を提供する。
しかし、敵が訓練データと校正データを操作した場合の毒殺攻撃では、共形予測は信頼性が低い。
信頼性予測セット (RPS): 汚染下での信頼性保証を証明可能な共形予測セットを構築するための最初の効率的な方法を提案する。
論文 参考訳（メタデータ） (2024-10-13T15:37:11Z) - FairlyUncertain: A Comprehensive Benchmark of Uncertainty in Algorithmic Fairness [4.14360329494344]
フェアネスにおける不確実性評価のための公理的ベンチマークであるFairlyUncertainを紹介する。
我々のベンチマークは、予測の不確実性推定は学習パイプライン間で一貫性があり、観測されたランダム性に調整されるべきである、と示唆している。
論文 参考訳（メタデータ） (2024-10-02T20:15:29Z) - Uncertainty for Active Learning on Graphs [70.44714133412592]
不確実性サンプリングは、機械学習モデルのデータ効率を改善することを目的とした、アクティブな学習戦略である。
予測の不確実性を超えた不確実性サンプリングをベンチマークし、他のアクティブラーニング戦略に対する大きなパフォーマンスギャップを強調します。
提案手法は,データ生成プロセスの観点から基幹的ベイズ不確実性推定法を開発し,不確実性サンプリングを最適クエリへ導く上での有効性を実証する。
論文 参考訳（メタデータ） (2024-05-02T16:50:47Z) - Adaptive Uncertainty Estimation via High-Dimensional Testing on Latent
Representations [28.875819909902244]
不確実性推定は、訓練されたディープニューラルネットワークの信頼性を評価することを目的としている。
既存の不確実性推定アプローチは、低次元分布仮定に依存している。
本研究では,不確実性推定のためのデータ適応型高次元仮説テストを用いた新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-25T12:22:18Z) - Binary Classification with Confidence Difference [100.08818204756093]
本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。
本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。
また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
論文 参考訳（メタデータ） (2023-10-09T11:44:50Z) - Reliability-Aware Prediction via Uncertainty Learning for Person Image
Retrieval [51.83967175585896]
UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。
データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
論文 参考訳（メタデータ） (2022-10-24T17:53:20Z) - Uncertainty-Aware Lidar Place Recognition in Novel Environments [11.30020653282995]
本研究では,不確実性を考慮したライダー位置認識の課題について検討する。
各予測された場所は、誤った予測を識別し拒否するために使用できる関連する不確実性を持つ必要がある。
我々は新しい評価プロトコルを導入し、このタスクのための最初の総合的なベンチマークを示す。
論文 参考訳（メタデータ） (2022-10-04T04:06:44Z) - Investigating Crowdsourcing Protocols for Evaluating the Factual
Consistency of Summaries [59.27273928454995]
要約に適用される現在の事前学習モデルは、ソーステキストを誤って表現したり、外部情報を導入したりする事実上の矛盾がちである。
評価ベースのLikertスケールとランキングベースのBest-Worst Scalingプロトコルを用いた,事実整合性のためのクラウドソーシング評価フレームワークを構築した。
ランキングベースのプロトコルは、データセット間の要約品質をより信頼性の高い尺度を提供するのに対して、Likertレーティングの信頼性はターゲットデータセットと評価設計に依存する。
論文 参考訳（メタデータ） (2021-09-19T19:05:00Z) - Evaluating Bayes Error Estimators on Read-World Datasets with FeeBee [10.277673884235728]
FeeBeeは、最新の現実世界のデータセット上のBER推定器を未知の確率分布で分析し比較するための、原則化されたフレームワークである。
我々は、コンピュータビジョンとNLPドメインの6つの一般的なデータセット上に、7つのマルチクラスBER推定器を実装し、分析する。
論文 参考訳（メタデータ） (2021-08-30T07:43:36Z) - Approaching Neural Network Uncertainty Realism [53.308409014122816]
自動運転車などの安全クリティカルなシステムには、定量化または少なくとも上限の不確実性が不可欠です。
マハラノビス距離に基づく統計的テストにより、厳しい品質基準である不確実性リアリズムを評価します。
自動車分野に採用し、プレーンエンコーダデコーダモデルと比較して、不確実性リアリズムを大幅に改善することを示した。
論文 参考訳（メタデータ） (2021-01-08T11:56:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。