論文の概要: Collaborative Management of Benchmark Instances and their Attributes
- arxiv url: http://arxiv.org/abs/2009.02995v2
- Date: Thu, 9 Sep 2021 08:13:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-21 03:24:54.720451
- Title: Collaborative Management of Benchmark Instances and their Attributes
- Title(参考訳): ベンチマークインスタンスの協調管理とその属性
- Authors: Markus Iser, Luca Springer, Carsten Sinz
- Abstract要約: パブリックなベンチマークインスタンスはSAT解決の手法を評価するために広く利用されている。
ベンチマークインスタンスとその属性の相互関係のキャプチャは、ベンチマークインスタンス識別子の仕様によって大幅に単純化されます。
- 参考スコア(独自算出の注目度): 1.8047694351309207
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Experimental evaluation is an integral part in the design process of
algorithms. Publicly available benchmark instances are widely used to evaluate
methods in SAT solving. For the interpretation of results and the design of
algorithm portfolios their attributes are crucial. Capturing the interrelation
of benchmark instances and their attributes is considerably simplified through
our specification of a benchmark instance identifier. Thus, our tool increases
the availability of both by providing means to manage and retrieve benchmark
instances by their attributes and vice versa. Like this, it facilitates the
design and analysis of SAT experiments and the exchange of results.
- Abstract(参考訳): 実験評価はアルゴリズムの設計過程において不可欠な部分である。
パブリックなベンチマークインスタンスはSAT解決の手法を評価するために広く利用されている。
結果の解釈とアルゴリズムポートフォリオの設計には,それらの特性が不可欠である。
ベンチマークインスタンスとその属性の相互関係のキャプチャは、ベンチマークインスタンス識別子の仕様によって大幅に単純化されます。
このように、我々のツールは、それらの属性によってベンチマークインスタンスを管理し、検索する手段を提供することで、両方の可用性を高めます。
このように、SAT実験の設計と解析と結果の交換を容易にする。
関連論文リスト
- A structured regression approach for evaluating model performance across
intersectional subgroups [57.84444882410051]
分散評価は、AIフェアネスアセスメントにおける中心的なタスクであり、異なるサブグループ間でAIシステムのパフォーマンスを測定することを目的としている。
本稿では,システム性能評価の信頼性を実証する,非凝集評価のための構造化回帰手法を提案する。
我々は2つの公開データセットといくつかの半合成データの変種についてアプローチを評価した。
論文 参考訳(メタデータ) (2024-01-26T14:21:45Z) - Test Case Recommendations with Distributed Representation of Code
Syntactic Features [2.225268436173329]
本稿では,ソースコード手法とテストケースの構造的・意味的特性を利用する自動手法を提案する。
提案するアプローチは、当初、メソッドレベルのソースコードとユニットテストを分散表現に変換するためにニューラルネットワークをトレーニングする。
このモデルは、メソッドの埋め込みと以前に組み込まれたトレーニングインスタンスのコサイン類似性を計算します。
論文 参考訳(メタデータ) (2023-10-04T21:42:01Z) - Automatic Design of Semantic Similarity Ensembles Using Grammatical
Evolution [0.0]
単一の意味的類似度尺度はすべてのタスクに最も適しており、研究者はパフォーマンスを確保するためにアンサンブル戦略を使うことが多い。
本研究は,意味的類似性アンサンブルを自動設計する手法を提案する。
提案手法は,人的判断の相関を最大化するアンサンブルを作成するために,まず,候補のプールから測度を自動的に選択・集約するために文法的進化を利用する。
論文 参考訳(メタデータ) (2023-07-03T10:53:05Z) - Text Characterization Toolkit [33.6713815884553]
我々は、新しいモデルやベンチマークを示す際に、より深い結果分析がデファクトスタンダードになるべきだと論じている。
研究者はデータセットの特性とそれらの特性がモデルの振る舞いに与える影響を研究するために利用できるツールを提案する。
論文 参考訳(メタデータ) (2022-10-04T16:54:11Z) - A Framework for Generating Informative Benchmark Instances [3.8848561367220276]
ベンチマークは、代替解決アプローチの相対的なパフォーマンスを評価するための重要なツールである。
現代の制約プログラミング言語は、インスタンスデータに対してパラメータ化されるクラスレベルのモデルの仕様を許容する。
これら2つのプロパティを組み合わせて多数のベンチマークインスタンスを生成するフレームワークを導入する。
論文 参考訳(メタデータ) (2022-05-29T19:56:08Z) - Rethinking End-to-End Evaluation of Decomposable Tasks: A Case Study on
Spoken Language Understanding [101.24748444126982]
分解可能なタスクは複雑で、サブタスクの階層から構成される。
しかし、既存のベンチマークでは、通常は表面レベルのサブタスクのみの例が示される。
サブタスク固有のユーティリティ関数上の座標アセントを用いて、ロバストなテストセットを構築するためのフレームワークを提案する。
論文 参考訳(メタデータ) (2021-06-29T02:53:59Z) - Estimating leverage scores via rank revealing methods and randomization [50.591267188664666]
任意のランクの正方形密度あるいはスパース行列の統計レバレッジスコアを推定するアルゴリズムについて検討した。
提案手法は,高密度およびスパースなランダム化次元性還元変換の合成と階調明細化法を組み合わせることに基づく。
論文 参考訳(メタデータ) (2021-05-23T19:21:55Z) - Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。
提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。
分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
論文 参考訳(メタデータ) (2020-11-13T10:53:27Z) - Toward Scalable and Unified Example-based Explanation and Outlier
Detection [128.23117182137418]
我々は,試行錯誤の予測に例ベースの説明を与えることのできる,プロトタイプベースの学生ネットワークのより広範な採用を論じる。
類似カーネル以外のプロトタイプベースのネットワークは,分類精度を損なうことなく,有意義な説明と有望な外乱検出結果が得られることを示す。
論文 参考訳(メタデータ) (2020-11-11T05:58:17Z) - K-Shot Contrastive Learning of Visual Features with Multiple Instance
Augmentations [67.46036826589467]
個々のインスタンス内のサンプルのバリエーションを調べるために、$K$-Shot Contrastive Learningが提案されている。
異なるインスタンスを区別するために差別的特徴を学習することで、インスタンス間差別の利点を組み合わせることを目的としている。
提案した$K$-shotのコントラスト学習は、最先端の教師なし手法よりも優れた性能が得られることを示す実験結果を得た。
論文 参考訳(メタデータ) (2020-07-27T04:56:41Z) - IOHanalyzer: Detailed Performance Analyses for Iterative Optimization
Heuristics [3.967483941966979]
IOHanalyzerは、IOHのパフォーマンスデータを分析、比較、視覚化するための新しいユーザフレンドリーなツールである。
IOHanalyzerは、固定目標実行時間とベンチマークアルゴリズムの固定予算性能に関する詳細な統計を提供する。
IOHanalyzerは、主要なベンチマークプラットフォームから直接パフォーマンスデータを処理できる。
論文 参考訳(メタデータ) (2020-07-08T08:20:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。