論文の概要: A Framework for Generating Informative Benchmark Instances

• arxiv url: http://arxiv.org/abs/2205.14753v1
• Date: Sun, 29 May 2022 19:56:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-04 11:19:38.106264
• Title: A Framework for Generating Informative Benchmark Instances
• Title（参考訳）: 有益なベンチマークインスタンスを生成するためのフレームワーク
• Authors: Nguyen Dang, \"Ozg\"ur Akg\"un, Joan Espasa, Ian Miguel, Peter Nightingale
• Abstract要約: ベンチマークは、代替解決アプローチの相対的なパフォーマンスを評価するための重要なツールである。 現代の制約プログラミング言語は、インスタンスデータに対してパラメータ化されるクラスレベルのモデルの仕様を許容する。 これら2つのプロパティを組み合わせて多数のベンチマークインスタンスを生成するフレームワークを導入する。
• 参考スコア（独自算出の注目度）: 3.8848561367220276
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Benchmarking is an important tool for assessing the relative performance of alternative solving approaches. However, the utility of benchmarking is limited by the quantity and quality of the available problem instances. Modern constraint programming languages typically allow the specification of a class-level model that is parameterised over instance data. This separation presents an opportunity for automated approaches to generate instance data that define instances that are graded (solvable at a certain difficulty level for a solver) or can discriminate between two solving approaches. In this paper, we introduce a framework that combines these two properties to generate a large number of benchmark instances, purposely generated for effective and informative benchmarking. We use five problems that were used in the MiniZinc competition to demonstrate the usage of our framework. In addition to producing a ranking among solvers, our framework gives a broader understanding of the behaviour of each solver for the whole instance space; for example by finding subsets of instances where the solver performance significantly varies from its average performance.
• Abstract（参考訳）: ベンチマークは、代替解決アプローチの相対的パフォーマンスを評価するための重要なツールである。 しかし、ベンチマークの有用性は利用可能な問題インスタンスの量と品質によって制限される。 現代の制約プログラミング言語は典型的には、インスタンスデータ上でパラメータ化されるクラスレベルのモデルの仕様を許容する。 この分離は、グレード(ソルバに対してある難易度レベルで解決可能)または2つの解法を区別できるインスタンスを定義するインスタンスデータを生成するための、自動化されたアプローチの機会を提供する。 本稿では,これら2つの特性を組み合わせて多数のベンチマークインスタンスを生成し,効果的かつ有益なベンチマークを行うためのフレームワークを提案する。 われわれはMiniZincコンペティションで使われた5つの問題を用いて、我々のフレームワークの使用を実証した。 このフレームワークは,ソルバ間のランキング作成に加えて,各ソルバの挙動のより広範な理解を提供する。例えば,ソルバ性能が平均性能と大きく異なるインスタンスのサブセットを見つけるなど。

関連論文リスト

• POGEMA: A Benchmark Platform for Cooperative Multi-Agent Navigation [76.67608003501479]
  主評価指標の基礎に基づいて計算された領域関連メトリクスの範囲を定義する評価プロトコルを導入・指定する。 このような比較の結果は、様々な最先端のMARL、検索ベース、ハイブリッド手法を含むものである。
  論文  参考訳（メタデータ） (2024-07-20T16:37:21Z)
• Generating collective counterfactual explanations in score-based classification via mathematical optimization [4.281723404774889]
  インスタンスの反実的な説明は、このインスタンスを最小限に修正して、摂動インスタンスを望ましいクラスに分類する方法を示している。 カウンターファクト・アナリティクスの文献の多くは、単一インスタンスの単一カウントファクト・セッティングに焦点を当てている。 新規な数学的最適化モデルにより、興味ある群における各インスタンスに対する対実的説明を提供する。
  論文  参考訳（メタデータ） (2023-10-19T15:18:42Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning [146.11600461034746]
  教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。 このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。 このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
  論文  参考訳（メタデータ） (2022-09-27T19:04:36Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• The Benchmark Lottery [114.43978017484893]
  ベンチマーク宝くじ」は、機械学習ベンチマークプロセスの全体的な脆弱さを記述している。 アルゴリズムの相対的性能は、異なるベンチマークタスクを選択するだけで大幅に変化する可能性がある。
  論文  参考訳（メタデータ） (2021-07-14T21:08:30Z)
• Transductive Few-Shot Learning: Clustering is All You Need? [31.21306826132773]
  そこで本研究では,プロトタイプをベースとした超越的数ショット学習の汎用的定式化について検討する。 提案手法は, 精度と最適化の観点から, 大きな問題にスケールアップしながら, 競争性能を向上する。 驚いたことに、私たちの一般的なモデルは、最先端の学習と比較して、すでに競争力のあるパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2021-06-16T16:14:01Z)
• HAWKS: Evolving Challenging Benchmark Sets for Cluster Analysis [2.5329716878122404]
  クラスタリングアルゴリズムの包括的なベンチマークは難しい。 厳格なベンチマークのベストプラクティスに関する合意はありません。 このようなベンチマークのフレキシブルな生成を支援するために,進化的アルゴリズムが果たす重要な役割を実証する。
  論文  参考訳（メタデータ） (2021-02-13T15:01:34Z)
• Exploring Instance Generation for Automated Planning [1.6735240552964108]
  制約プログラミングと自動計画はこれらの分野の例である。 各解法の効率は、問題間だけでなく、同じ問題のインスタンス間でも異なる。 本稿では,Essenceを用いて計画上の問題記述全体をモデル化する手法を提案する。
  論文  参考訳（メタデータ） (2020-09-21T19:58:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。