論文の概要: Fuzzing: On Benchmarking Outcome as a Function of Benchmark Properties
- arxiv url: http://arxiv.org/abs/2212.09519v2
- Date: Mon, 14 Apr 2025 04:09:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-15 16:46:47.522294
- Title: Fuzzing: On Benchmarking Outcome as a Function of Benchmark Properties
- Title（参考訳）: Fuzzing:ベンチマーク特性の関数としてのベンチマーク結果について
- Authors: Dylan Wolff, Marcel Böhme, Abhik Roychoudhury,
- Abstract要約: ベンチマーク結果に対する特性の影響を定量化する2つの手法について検討する。
ファジィの相対的有効性に影響を及ぼすと疑われる特性のサブセットに対する各アプローチをインスタンス化する。
そこで我々は, ファジィの相対的有効性に統計的に有意な影響を及ぼす新しい特性を複数同定した。
- 参考スコア（独自算出の注目度）: 18.60404539915425
- License:
- Abstract: Characteristics of a benchmarking setup clearly can have some impact on the benchmark outcome. In this paper, we explore two methodologies to quantify the impact of the specific properties on the benchmarking outcome. Our first methodology is the controlled experiment to identify a causal relationship between a single property in isolation and the benchmarking outcome. However, manipulating one property exactly may not always be practical or possible. Hence, our second methodology is randomization and non-parametric regression to identify the strength of the relationship between arbitrary benchmark properties (i.e., covariates) and outcome. Together, these two fundamental aspects of experimental design, control and randomization, can provide a comprehensive picture of the impact of various properties of the current benchmark on the fuzzer ranking. These analyses can be used to guide fuzzer developers towards areas of improvement in their tools and allow researchers to make more nuanced claims about fuzzer effectiveness. We instantiate each approach on a subset of properties suspected of impacting the relative effectiveness of fuzzers and quantify the effects of these properties on the evaluation outcome. In doing so, we identify multiple novel properties which can have statistically significant effect on the relative effectiveness of fuzzers.
- Abstract（参考訳）: ベンチマーク設定の特徴は、明らかにベンチマーク結果に何らかの影響を及ぼす可能性がある。
本稿では,特定の特性がベンチマーク結果に与える影響を定量化する2つの手法について検討する。
我々の第一の方法論は、単一の特性とベンチマーク結果の間の因果関係を識別する制御実験である。
しかし、1つのプロパティを正確に操作することは、必ずしも実用的でも可能でもない。
したがって、我々の第二の方法論はランダム化と非パラメトリック回帰であり、任意のベンチマーク特性(すなわち共変量)と結果の関係の強さを特定することである。
これら2つの実験設計、制御、ランダム化の基本的な側面は、現在のベンチマークの様々な特性がファザランクに与える影響を包括的に表すことができる。
これらの分析は、ファジィアの開発者をツールの改善領域へと誘導し、研究者がファジィアの有効性についてより微妙な主張をすることができる。
ファジィの相対的有効性に影響を与えると疑われる特性のサブセットに対する各アプローチをインスタンス化し、それらの特性が評価結果に与える影響を定量化する。
そこで我々は, ファジィの相対的有効性に統計的に有意な影響を及ぼす新しい特性を複数同定した。
関連論文リスト
- Self-Training with Pseudo-Label Scorer for Aspect Sentiment Quad Prediction [54.23208041792073]
Aspect Sentiment Quad Prediction (ASQP) は、与えられたレビューに対して全てのクワッド(アスペクト項、アスペクトカテゴリー、意見項、感情極性)を予測することを目的としている。
ASQPタスクにおける重要な課題はラベル付きデータの不足であり、既存のメソッドのパフォーマンスを制限している。
そこで我々は,擬似ラベルスコアラーを用いた自己学習フレームワークを提案し,レビューと擬似ラベルの一致をスコアラーが評価する。
論文 参考訳（メタデータ） (2024-06-26T05:30:21Z) - Estimating the Causal Effects of Natural Logic Features in Transformer-Based NLI Models [16.328341121232484]
文脈介入の効果を測定するために因果効果推定手法を適用した。
本研究はトランスフォーマーの無関係な変化に対する堅牢性と影響の高い変化に対する感受性について検討する。
論文 参考訳（メタデータ） (2024-04-03T10:22:35Z) - A Notion of Feature Importance by Decorrelation and Detection of Trends
by Random Forest Regression [1.675857332621569]
本稿では,よく研究されたGram-Schmidt decorrelation法に基づく特徴重要度の概念を導入する。
本研究では,ランダムな森林回帰を用いてデータ中の傾向を推定する2つの推定手法を提案する。
論文 参考訳（メタデータ） (2023-03-02T11:01:49Z) - Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。
本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
論文 参考訳（メタデータ） (2022-08-29T16:16:22Z) - Feature Selection for Discovering Distributional Treatment Effect
Modifiers [37.09619678733784]
治療効果の違いに関連する特徴を明らかにするための枠組みを提案する。
特徴属性が潜在的結果分布の相違にどの程度強く影響するかを定量化する特徴重要度尺度を導出する。
そこで我々は,I型エラー率を所望レベルまで制御できる特徴選択アルゴリズムを開発した。
論文 参考訳（メタデータ） (2022-06-01T14:25:32Z) - Clustering Effect of (Linearized) Adversarial Robust Models [60.25668525218051]
本稿では, 敵の強靭性に対する新たな理解を提案し, ドメイン適応や頑健性向上といったタスクに適用する。
提案したクラスタリング戦略の合理性と優越性を実験的に評価した。
論文 参考訳（メタデータ） (2021-11-25T05:51:03Z) - How Nonconformity Functions and Difficulty of Datasets Impact the
Efficiency of Conformal Classifiers [0.1611401281366893]
整合分類では、システムは1つではなく複数のクラスラベルを出力できる。
ニューラルネットワークに基づく共形分類器の場合、逆確率は予測ラベルの平均数を最小化することができる。
この2つの非整合関数の性質を結合する手法を提案する。
論文 参考訳（メタデータ） (2021-08-12T11:50:12Z) - Deconfounding Scores: Feature Representations for Causal Effect
Estimation with Weak Overlap [140.98628848491146]
推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。
分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。
特に,この手法が標準正規化の魅力的な代替となることを示す。
論文 参考訳（メタデータ） (2021-04-12T18:50:11Z) - Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
データ管理の統合コンポーネントにおける公平性について検討する。
本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
論文 参考訳（メタデータ） (2020-06-10T20:20:10Z) - Nonparametric Feature Impact and Importance [0.6123324869194193]
データ上で直接動作する部分依存曲線から導かれる特徴的影響と重要性の数学的定義を与える。
品質を評価するために、これらの定義によってランク付けされた特徴は、既存の特徴選択技術と競合することを示す。
論文 参考訳（メタデータ） (2020-06-08T17:07:35Z) - Almost-Matching-Exactly for Treatment Effect Estimation under Network
Interference [73.23326654892963]
本研究では,観測ネットワーク上でユニットが接続されたランダム化実験から直接処理効果を回復するマッチング手法を提案する。
本手法は, 近傍グラフ内の一意部分グラフの個数にほぼ一致する。
論文 参考訳（メタデータ） (2020-03-02T15:21:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。