論文の概要: Standing on the shoulders of giants
- arxiv url: http://arxiv.org/abs/2409.03151v2
- Date: Fri, 6 Sep 2024 14:04:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-09 13:05:05.337609
- Title: Standing on the shoulders of giants
- Title（参考訳）: 巨人の肩に立つ
- Authors: Lucas Felipe Ferraro Cardoso, José de Sousa Ribeiro Filho, Vitor Cirilo Araujo Santos, Regiane Silva Kawasaki Frances, Ronnie Cley de Oliveira Alves,
- Abstract要約: アイテム応答理論(IRT)は、インスタンスの潜在特性のレベルの評価を可能にする。
IRTは従来のメトリクスを補完するものではなく、特定のインスタンスにおけるモデルの詳細な振る舞いを評価および観察する新しいレイヤを提供することによって、古典的なメトリクスを補完します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although fundamental to the advancement of Machine Learning, the classic evaluation metrics extracted from the confusion matrix, such as precision and F1, are limited. Such metrics only offer a quantitative view of the models' performance, without considering the complexity of the data or the quality of the hit. To overcome these limitations, recent research has introduced the use of psychometric metrics such as Item Response Theory (IRT), which allows an assessment at the level of latent characteristics of instances. This work investigates how IRT concepts can enrich a confusion matrix in order to identify which model is the most appropriate among options with similar performance. In the study carried out, IRT does not replace, but complements classical metrics by offering a new layer of evaluation and observation of the fine behavior of models in specific instances. It was also observed that there is 97% confidence that the score from the IRT has different contributions from 66% of the classical metrics analyzed.
- Abstract（参考訳）: 機械学習の進歩には基礎があるが、精度やF1といった混乱行列から抽出された古典的評価指標は限られている。
このようなメトリクスは、データの複雑さやヒットの品質を考慮せずに、モデルのパフォーマンスの定量的なビューのみを提供する。
これらの制限を克服するために、最近の研究では、アイテム反応理論(IRT)のような心理学的指標を導入し、インスタンスの潜伏特性のレベルの評価を可能にした。
この研究は、IRTの概念が、類似したパフォーマンスを持つオプションの中で、どのモデルが最も適しているかを特定するために、混乱行列を豊かにする方法について考察する。
調査では、IRTは代替ではなく、特定のインスタンスにおけるモデルの詳細な振る舞いを、新しい評価層と観察層を提供することによって、古典的なメトリクスを補完する。
また、IRTのスコアが分析された古典的メトリクスの66%と異なる貢献をしているという自信が97%あることも観察された。
関連論文リスト
- Analyzing Generative Models by Manifold Entropic Metrics [8.477943884416023]
抽出可能な情報理論評価指標を新たに導入する。
EMNISTデータセット上の各種正規化フローアーキテクチャと$beta$-VAEを比較した。
私たちの実験で最も興味深い発見は、トレーニング中に整列および非整合表現に収束する誘導バイアスの観点から、モデルアーキテクチャとトレーニング手順のランク付けです。
論文 参考訳（メタデータ） (2024-10-25T09:35:00Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳（メタデータ） (2023-11-06T00:21:44Z) - Unsupervised evaluation of GAN sample quality: Introducing the TTJac
Score [5.1359892878090845]
データフリーで個々の合成画像の忠実度を測定するために「TTJac score」を提案する。
FFHQ, AFHQ-Wild, LSUN-Cars, LSUN-Horseデータセット上でのStyleGAN 2およびStyleGAN 2 ADAモデルに適用した実験結果を示す。
論文 参考訳（メタデータ） (2023-08-31T19:55:50Z) - From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。
これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。
我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
論文 参考訳（メタデータ） (2023-06-18T09:54:33Z) - Parametric Classification for Generalized Category Discovery: A Baseline
Study [70.73212959385387]
Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。
パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。
エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
論文 参考訳（メタデータ） (2022-11-21T18:47:11Z) - A Study on the Evaluation of Generative Models [19.18642459565609]
潜在的生成モデルは、確率値を返さないが、近年は普及している。
本研究では,高品質な合成データセットの生成による生成モデルの評価指標について検討する。
FIDとISはいくつかのf-divergensと相関するが、クローズドモデルのランクは様々である。
論文 参考訳（メタデータ） (2022-06-22T09:27:31Z) - Bias-inducing geometries: an exactly solvable data model with fairness
implications [13.690313475721094]
我々は、正確に解決可能なデータ不均衡の高次元モデルを導入する。
この合成フレームワークで訓練された学習モデルの典型的特性を解析的に解き放つ。
フェアネス評価によく用いられる観測対象の正確な予測値を得る。
論文 参考訳（メタデータ） (2022-05-31T16:27:57Z) - Information-Theoretic Bias Assessment Of Learned Representations Of
Pretrained Face Recognition [18.07966649678408]
保護された人口統計属性に対するバイアスの度合いを特定するために,情報理論,独立バイアス評価指標を提案する。
我々の測定基準は、分類精度に依存する他の方法と異なり、浅いネットワークを用いて予測される保護属性の予測ラベルと地上の真実の差を調べる。
論文 参考訳（メタデータ） (2021-11-08T17:41:17Z) - AttriMeter: An Attribute-guided Metric Interpreter for Person
Re-Identification [100.3112429685558]
Person ReIDシステムは、2人とのマッチング時にのみ距離や類似性を提供します。
CNN ベースの ReID モデルの結果を意味的に,定量的に説明する Attribute-Guided Metric Interpreter を提案する。
論文 参考訳（メタデータ） (2021-03-02T03:37:48Z) - ReMP: Rectified Metric Propagation for Few-Shot Learning [67.96021109377809]
修正されたメートル法空間は、トレーニングからテストまでのメートル法一貫性を維持するために学習される。
多くの分析結果から、目的の単純な修正がかなりの性能向上をもたらすことが示唆された。
提案したReMPは効率的で効率的であり、様々な標準的な数発の学習データセットで芸術の状態を上回ります。
論文 参考訳（メタデータ） (2020-12-02T00:07:53Z) - Machine learning for causal inference: on the use of cross-fit
estimators [77.34726150561087]
より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。
平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。
機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
論文 参考訳（メタデータ） (2020-04-21T23:09:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。