論文の概要: An Item Response Theory-based R Module for Algorithm Portfolio Analysis

• arxiv url: http://arxiv.org/abs/2408.14025v1
• Date: Mon, 26 Aug 2024 05:31:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-27 15:02:44.411043
• Title: An Item Response Theory-based R Module for Algorithm Portfolio Analysis
• Title（参考訳）: 項目応答理論に基づくアルゴリズムポートフォリオ解析用Rモジュール
• Authors: Brodie Oldfield, Sevvandi Kandanaarachchi, Ziqi Xu, Mario Andrés Muñoz,
• Abstract要約: 本稿では,AIRT-Moduleと呼ばれるアルゴリズムポートフォリオ評価のための項目応答理論に基づく分析ツールを提案する。 IRTをアルゴリズムの評価に適用すると、AIRT-Module は Shiny Web アプリケーションと R パッケージの Airt を含む。 アルゴリズムの長所と短所は、テストインスタンスの難易度スペクトルを用いて可視化される。
• 参考スコア（独自算出の注目度）: 2.8642825441965645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Experimental evaluation is crucial in AI research, especially for assessing algorithms across diverse tasks. Many studies often evaluate a limited set of algorithms, failing to fully understand their strengths and weaknesses within a comprehensive portfolio. This paper introduces an Item Response Theory (IRT) based analysis tool for algorithm portfolio evaluation called AIRT-Module. Traditionally used in educational psychometrics, IRT models test question difficulty and student ability using responses to test questions. Adapting IRT to algorithm evaluation, the AIRT-Module contains a Shiny web application and the R package airt. AIRT-Module uses algorithm performance measures to compute anomalousness, consistency, and difficulty limits for an algorithm and the difficulty of test instances. The strengths and weaknesses of algorithms are visualised using the difficulty spectrum of the test instances. AIRT-Module offers a detailed understanding of algorithm capabilities across varied test instances, thus enhancing comprehensive AI method assessment. It is available at https://sevvandi.shinyapps.io/AIRT/ .
• Abstract（参考訳）: 実験的な評価はAI研究、特に様々なタスクにわたるアルゴリズムの評価に不可欠である。 多くの研究はアルゴリズムの限られたセットを評価し、包括的ポートフォリオの中でその強みと弱点を完全に理解できなかった。 本稿では, AIRT-Module と呼ばれるアルゴリズムポートフォリオ評価のための項目応答理論 (IRT) に基づく解析ツールを提案する。 伝統的に教育心理学で使用されるIRTモデルは、質問に対する反応を用いて質問の難易度と生徒の能力をテストする。 IRTをアルゴリズムの評価に適用すると、AIRT-Module は Shiny Web アプリケーションと R パッケージの Airt を含む。 AIRT-Moduleは、アルゴリズムの異常性、一貫性、難易度、およびテストインスタンスの難易度を計算するために、アルゴリズムのパフォーマンス測定を使用する。 アルゴリズムの長所と短所は、テストインスタンスの難易度スペクトルを用いて可視化される。 AIRT-Moduleは、さまざまなテストインスタンスにわたるアルゴリズム機能の詳細な理解を提供するため、包括的なAIメソッドアセスメントが強化される。 https://sevvandi.shinyapps.io/AIRT/ で入手できる。

関連論文リスト

• Automated Evaluation of Retrieval-Augmented Language Models with Task-Specific Exam Generation [9.390902237835457]
  検索型大規模言語モデル(RAG)のタスク固有精度を計測する新しい手法を提案する。 複数の選択質問からなる自動生成合成試験において、RAGをスコアリングして評価を行う。
  論文  参考訳（メタデータ） (2024-05-22T13:14:11Z)
• Comprehensive Algorithm Portfolio Evaluation using Item Response Theory [0.19116784879310023]
  IRTは、単一の分類データセット上での機械学習アルゴリズムのパフォーマンスを評価するために応用されている。 我々は、データセットのリポジトリにまたがるアルゴリズムのポートフォリオを評価するためのIRTベースの修正フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-29T00:48:29Z)
• Multi-Dimensional Ability Diagnosis for Machine Learning Algorithms [88.93372675846123]
  本稿では,機械学習アルゴリズム評価のためのタスク非依存評価フレームワークCamillaを提案する。 認識診断の仮定とニューラルネットワークを用いて、各サンプルのアルゴリズム、サンプル、スキル間の複雑な相互作用を学習する。 我々の実験では、カミラはメートル法信頼性、ランクの整合性、ランクの安定性で最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-07-14T03:15:56Z)
• Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
  既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。 所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。 我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
  論文  参考訳（メタデータ） (2023-04-12T14:51:47Z)
• A Gold Standard Dataset for the Reviewer Assignment Problem [117.59690218507565]
  類似度スコア(Similarity score)とは、論文のレビューにおいて、レビュアーの専門知識を数値で見積もるものである。 私たちのデータセットは、58人の研究者による477の自己申告された専門知識スコアで構成されています。 2つの論文をレビュアーに関連付けるタスクは、簡単なケースでは12%～30%、ハードケースでは36%～43%である。
  論文  参考訳（メタデータ） (2023-03-23T16:15:03Z)
• Do We Need Another Explainable AI Method? Toward Unifying Post-hoc XAI Evaluation Methods into an Interactive and Multi-dimensional Benchmark [6.511859672210113]
  我々は,xAIアルゴリズムに適用された排他的機能テスト手法を統一するベンチマークであるComparce-xAIを提案する。 このベンチマークは、xAIメソッドを評価する複雑さを3つの階層的なスコアリングにカプセル化する。 インタラクティブなユーザインターフェースは、xAI結果の解釈におけるエラーの軽減に役立つ。
  論文  参考訳（メタデータ） (2022-06-08T06:13:39Z)
• Machine Learning for Online Algorithm Selection under Censored Feedback [71.6879432974126]
  オンラインアルゴリズム選択(OAS)では、アルゴリズム問題クラスのインスタンスがエージェントに次々に提示され、エージェントは、固定された候補アルゴリズムセットから、おそらく最高のアルゴリズムを迅速に選択する必要がある。 SAT(Satisfiability)のような決定問題に対して、品質は一般的にアルゴリズムのランタイムを指す。 本研究では,OASのマルチアームバンディットアルゴリズムを再検討し,この問題に対処する能力について議論する。 ランタイム指向の損失に適応し、時間的地平線に依存しない空間的・時間的複雑さを維持しながら、部分的に検閲されたデータを可能にする。
  論文  参考訳（メタデータ） (2021-09-13T18:10:52Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• DERAIL: Diagnostic Environments for Reward And Imitation Learning [9.099589602551573]
  アルゴリズム性能の個々の面を個別にテストする一連の診断タスクを開発する。 その結果,アルゴリズムの性能は実装の詳細に非常に敏感であることが確認された。 ケーススタディは、スイートが設計上の欠陥を特定し、候補ソリューションを迅速に評価する方法を示している。
  論文  参考訳（メタデータ） (2020-12-02T18:07:09Z)
• Measuring the Complexity of Domains Used to Evaluate AI Systems [0.48951183832371004]
  本稿では,様々な領域間の複雑性を測定するための理論を提案する。 この測定の応用は、様々な状況におけるツールとしての有効性を示すために示される。 本稿では,AIシステムのインテリジェンスを計算するために,このような複雑性メトリクスの今後の利用を提案する。
  論文  参考訳（メタデータ） (2020-09-18T21:53:07Z)
• Provably Efficient Exploration for Reinforcement Learning Using Unsupervised Learning [96.78504087416654]
  強化学習(RL)問題における効率的な探索に教師なし学習を用い,本パラダイムが有効であるかどうかを考察する。 本稿では,教師なし学習アルゴリズムと非線形表RLアルゴリズムという,2つのコンポーネント上に構築された汎用的なアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-15T19:23:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。