Fugu-MT 論文翻訳(概要): Multi-Criteria Comparison as a Method of Advancing Knowledge-Guided Machine Learning

論文の概要: Multi-Criteria Comparison as a Method of Advancing Knowledge-Guided Machine Learning

arxiv url: http://arxiv.org/abs/2403.11840v1
Date: Mon, 18 Mar 2024 14:50:48 GMT
ステータス: 処理完了
システム内更新日: 2024-03-20 20:00:12.563507
Title: Multi-Criteria Comparison as a Method of Advancing Knowledge-Guided Machine Learning
Title（参考訳）: 知識指導型機械学習の強化手法としての多項目比較
Authors: Jason L. Harman, Jaelle Scheuerman,
Abstract要約: 本稿では,AI/MLモデルの評価に適用可能な一般化可能なモデル評価手法について述べる。本手法は,複数の科学的,理論的,実践的基準にまたがる,様々なタイプの候補モデルと構造の評価を行う。
参考スコア（独自算出の注目度）: 1.6574413179773761
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: This paper describes a generalizable model evaluation method that can be adapted to evaluate AI/ML models across multiple criteria including core scientific principles and more practical outcomes. Emerging from prediction competitions in Psychology and Decision Science, the method evaluates a group of candidate models of varying type and structure across multiple scientific, theoretic, and practical criteria. Ordinal ranking of criteria scores are evaluated using voting rules from the field of computational social choice and allow the comparison of divergent measures and types of models in a holistic evaluation. Additional advantages and applications are discussed.
Abstract（参考訳）: 本稿では,AI/MLモデルの評価に適用可能な一般化可能なモデル評価手法について述べる。心理学・決定科学における予測競争から発展し、複数の科学的、理論的、実践的な基準にまたがる様々なタイプと構造の候補モデル群を評価する。基準スコアの正規ランキングは、計算社会選択の分野からの投票規則を用いて評価され、総合的な評価において、異なる尺度とモデルのタイプの比較を可能にする。さらなる利点と応用について論じる。

関連論文リスト

Evaluatology: The Science and Engineering of Evaluation [11.997673313601423]
本稿では,評価の科学と工学を包含する評価学の分野を正式に紹介することを目的とする。本稿では,様々な分野にまたがって適用可能な概念,用語,理論,方法論を包含して評価するための普遍的な枠組みを提案する。
論文参考訳（メタデータ） (2024-03-19T13:38:26Z)
FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
論文参考訳（メタデータ） (2023-07-20T14:56:35Z)
UMSE: Unified Multi-scenario Summarization Evaluation [52.60867881867428]
要約品質評価は、テキスト要約における非自明なタスクである。統一多シナリオ要約評価モデル(UMSE)を提案する。 UMSEは3つの評価シナリオで使用できる能力に係わる最初の統合要約評価フレームワークである。
論文参考訳（メタデータ） (2023-05-26T12:54:44Z)
In Search of Insights, Not Magic Bullets: Towards Demystification of the Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
論文参考訳（メタデータ） (2023-02-06T16:55:37Z)
Selection of a representative sorting model in a preference disaggregation setting: a review of existing procedures, new proposals, and experimental comparison [4.447467536572626]
複数の基準のソートという文脈における選好の不合理性について考察する。間接選好に適合するソートモデルの多重性を考えると、1つの代表モデルを選択すると、異なる方法でソートを行うことができる。本稿では,厳密な代入規則を実践する3つの新しい手順を提案する。
論文参考訳（メタデータ） (2022-08-30T02:01:35Z)
fairlib: A Unified Framework for Assessing and Improving Classification Fairness [66.27822109651757]
Fairlibは、分類の公平さを評価し改善するためのオープンソースのフレームワークである。我々は、前処理、訓練時間、後処理を含む14のデバイアス化手法を実装した。組み込まれたメトリクスは、最も一般的に使用されるフェアネス基準をカバーし、フェアネス評価のためにさらに一般化およびカスタマイズすることができる。
論文参考訳（メタデータ） (2022-05-04T03:50:23Z)
A Meta Survey of Quality Evaluation Criteria in Explanation Methods [0.5801044612920815]
説明可能な人工知能(XAI)において、説明方法とその評価が重要な問題となっている。最も正確なAIモデルは透明性と理解性の低い不透明であるため、バイアスの検出と不確実性の制御には説明が不可欠である。説明方法の品質を評価する際には、選択すべき基準が多々ある。
論文参考訳（メタデータ） (2022-03-25T22:24:21Z)
Image Quality Assessment in the Modern Age [53.19271326110551]
本チュートリアルは、画像品質評価(IQA)の基礎的理論、方法論、現状の進歩を聴衆に提供する。まず,視覚刺激を適切に選択する方法に着目し,主観的品質評価手法を再考する。手書きのエンジニアリングと(深い)学習ベースの手法の両方をカバーします。
論文参考訳（メタデータ） (2021-10-19T02:38:46Z)
Building an Ensemble of Classifiers via Randomized Models of Ensemble Members [1.827510863075184]
本稿では,ベース分類器のランダム化モデルについて述べる。提案手法では,モデルのランダムな操作は,一定サイズの学習集合群から学習集合のランダムな選択から得られる。 67のベンチマークデータセットを用いて,提案した能力モデルを用いたDESスキームを実験的に評価した。
論文参考訳（メタデータ） (2021-09-16T10:53:13Z)
An ensemble learning framework based on group decision making [7.906702226082627]
この問題を解決するために,グループ意思決定(GDM)に基づくアンサンブル学習(EL)手法の枠組みが提案されている。この枠組みでは、基本学習者は意思決定者と見なすことができ、異なるカテゴリを代替と見なすことができ、分類法の性能を反映した精度、リコール、精度が採用できる。
論文参考訳（メタデータ） (2020-07-01T13:18:34Z)
Marginal likelihood computation for model selection and hypothesis testing: an extensive review [66.37504201165159]
この記事では、このトピックの最先端に関する総合的な研究について紹介する。さまざまなテクニックの制限、メリット、コネクション、差異を強調します。また、不適切な事前利用の問題や解決法についても述べる。
論文参考訳（メタデータ） (2020-05-17T18:31:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。