論文の概要: Comprehensive Algorithm Portfolio Evaluation using Item Response Theory

• arxiv url: http://arxiv.org/abs/2307.15850v1
• Date: Sat, 29 Jul 2023 00:48:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-01 19:04:02.353328
• Title: Comprehensive Algorithm Portfolio Evaluation using Item Response Theory
• Title（参考訳）: 項目応答理論を用いた包括的アルゴリズムポートフォリオ評価
• Authors: Sevvandi Kandanaarachchi, Kate Smith-Miles
• Abstract要約: IRTは、単一の分類データセット上での機械学習アルゴリズムのパフォーマンスを評価するために応用されている。 我々は、データセットのリポジトリにまたがるアルゴリズムのポートフォリオを評価するためのIRTベースの修正フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.19116784879310023
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Item Response Theory (IRT) has been proposed within the field of Educational Psychometrics to assess student ability as well as test question difficulty and discrimination power. More recently, IRT has been applied to evaluate machine learning algorithm performance on a single classification dataset, where the student is now an algorithm, and the test question is an observation to be classified by the algorithm. In this paper we present a modified IRT-based framework for evaluating a portfolio of algorithms across a repository of datasets, while simultaneously eliciting a richer suite of characteristics - such as algorithm consistency and anomalousness - that describe important aspects of algorithm performance. These characteristics arise from a novel inversion and reinterpretation of the traditional IRT model without requiring additional dataset feature computations. We test this framework on algorithm portfolios for a wide range of applications, demonstrating the broad applicability of this method as an insightful algorithm evaluation tool. Furthermore, the explainable nature of IRT parameters yield an increased understanding of algorithm portfolios.
• Abstract（参考訳）: 項目対応理論 (IRT) は, 学生の能力, 質問の難易度, 差別力を評価するために, 教育心理学の分野において提案されている。 近年、IRTは、学生が現在アルゴリズムである1つの分類データセット上で、機械学習アルゴリズムのパフォーマンスを評価するために応用され、テスト質問はアルゴリズムによって分類される観察である。 本稿では,アルゴリズム性能の重要な側面を記述した,アルゴリズムの一貫性や異常性といった,よりリッチな特徴スイートを同時に引き出すとともに,データセットのリポジトリをまたいだアルゴリズムのポートフォリオを評価するためのIRTベースのフレームワークを提案する。 これらの特徴は、追加のデータセットの特徴計算を必要としない、従来のIRTモデルの新しい逆転と再解釈から生じる。 我々は、このフレームワークを幅広いアプリケーション向けにアルゴリズムポートフォリオ上でテストし、洞察に富むアルゴリズム評価ツールとして、この手法の幅広い適用性を示す。 さらに、IRTパラメータの説明可能な性質は、アルゴリズムポートフォリオの理解を深めます。

関連論文リスト

• An Item Response Theory-based R Module for Algorithm Portfolio Analysis [2.8642825441965645]
  本稿では,AIRT-Moduleと呼ばれるアルゴリズムポートフォリオ評価のための項目応答理論に基づく分析ツールを提案する。 IRTをアルゴリズムの評価に適用すると、AIRT-Module は Shiny Web アプリケーションと R パッケージの Airt を含む。 アルゴリズムの長所と短所は、テストインスタンスの難易度スペクトルを用いて可視化される。
  論文  参考訳（メタデータ） (2024-08-26T05:31:46Z)
• Unlock the Power of Algorithm Features: A Generalization Analysis for Algorithm Selection [25.29451529910051]
  本稿では,アルゴリズムの特徴に基づくアルゴリズム選択の証明可能な最初の保証を提案する。 アルゴリズムの特徴に関連する利点とコストを分析し、一般化誤差が様々な要因にどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2024-05-18T17:38:25Z)
• Neural Active Learning Beyond Bandits [69.99592173038903]
  ストリームベースとプールベースの両方のアクティブラーニングをニューラルネットワーク近似を用いて検討する。 ストリームベースおよびプールベースアクティブラーニングのためのニューラルネットワークを新たに設計したエクスプロイトと探索に基づく2つのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-18T21:52:14Z)
• Geometry-Aware Approaches for Balancing Performance and Theoretical Guarantees in Linear Bandits [6.907555940790131]
  トンプソンサンプリングとグリーディは有望な経験的性能を示したが、これは悲観的な理論的後悔の境界とは対照的である。 本研究では不確実楕円体の幾何学的特性を追跡する新しいデータ駆動手法を提案する。 ベースアルゴリズムが不十分な問題インスタンスを特定し,コース修正する。
  論文  参考訳（メタデータ） (2023-06-26T17:38:45Z)
• Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
  既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。 所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。 我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
  論文  参考訳（メタデータ） (2023-04-12T14:51:47Z)
• An evaluation framework for dimensionality reduction through sectional curvature [59.40521061783166]
  本研究は,非教師付き次元減少性能指標を初めて導入することを目的としている。 その実現可能性をテストするために、この測定基準は最もよく使われる次元削減アルゴリズムの性能を評価するために用いられている。 新しいパラメータ化問題インスタンスジェネレータが関数ジェネレータの形式で構築されている。
  論文  参考訳（メタデータ） (2023-03-17T11:59:33Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• Adaptive Resonance Theory-based Topological Clustering with a Divisive Hierarchical Structure Capable of Continual Learning [8.581682204722894]
  本稿では、データポイントの分布から類似度閾値を自動的に推定する機構を備えたARTベースのトポロジカルクラスタリングアルゴリズムを提案する。 情報抽出性能を向上させるために,連続学習が可能な分割階層クラスタリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-01-26T02:34:52Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Online Deterministic Annealing for Classification and Clustering [0.0]
  本稿では,クラスタリングと分類のためのオンラインプロトタイプベースの学習アルゴリズムを提案する。 本稿では,提案アルゴリズムが競合学習ニューラルネットワークを構成することを示し,その学習規則をオンライン近似アルゴリズムとして定式化する。
  論文  参考訳（メタデータ） (2021-02-11T04:04:21Z)
• Active Model Estimation in Markov Decision Processes [108.46146218973189]
  マルコフ決定過程(MDP)をモデル化した環境の正確なモデル学習のための効率的な探索の課題について検討する。 マルコフに基づくアルゴリズムは,本アルゴリズムと極大エントロピーアルゴリズムの両方を小サンプル方式で上回っていることを示す。
  論文  参考訳（メタデータ） (2020-03-06T16:17:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。