論文の概要: What should an AI assessor optimise for?

• arxiv url: http://arxiv.org/abs/2502.00365v1
• Date: Sat, 01 Feb 2025 08:41:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:03:10.693618
• Title: What should an AI assessor optimise for?
• Title（参考訳）: AIアセスタは何を最適化すべきか?
• Authors: Daniel Romero-Alvarado, Fernando Martínez-Plumed, José Hernández-Orallo,
• Abstract要約: AIアセスタ(AI Assessmentor)は、他のAIシステムの指標(損失値など)を予測する、外的、理想的には不適切なシステムである。 ここでは、問題に対処する: 常にターゲットメトリックのアセスメントをトレーニングするのが最適か? 本研究では, モノトニック写像と非モノトニック写像を用いた回帰損失と分類スコアについて実験的に検討した。
• 参考スコア（独自算出の注目度）: 57.96463917842822
• License:
• Abstract: An AI assessor is an external, ideally indepen-dent system that predicts an indicator, e.g., a loss value, of another AI system. Assessors can lever-age information from the test results of many other AI systems and have the flexibility of be-ing trained on any loss function or scoring rule: from squared error to toxicity metrics. Here we address the question: is it always optimal to train the assessor for the target metric? Or could it be better to train for a different metric and then map predictions back to the target metric? Us-ing twenty regression and classification problems with tabular data, we experimentally explore this question for, respectively, regression losses and classification scores with monotonic and non-monotonic mappings and find that, contrary to intuition, optimising for more informative met-rics is not generally better. Surprisingly, some monotonic transformations are promising. For example, the logistic loss is useful for minimis-ing absolute or quadratic errors in regression, and the logarithmic score helps maximise quadratic or spherical scores in classification.
• Abstract（参考訳）: AIアセスタ(AI Assessmentor)は、他のAIシステムの指標、例えば損失値を予測する、外的、理想的には不適切なシステムである。 評価者は、他の多くのAIシステムのテスト結果から情報を引き出すことができ、損失関数やスコアリングルールでトレーニングされたビーイングの柔軟性を持つ:正方形エラーから毒性メトリクスまで。 ここでは、問題に対処する: 常にターゲットメトリックのアセスメントをトレーニングするのが最適か? あるいは、異なるメトリックをトレーニングして、ターゲットメトリックに予測をマッピングした方がよいのでしょうか? 表付きデータを用いた20の回帰と分類問題を用いて, 単調および非単調の写像を用いた回帰損失と分類スコアについて実験的に検討し, 直観とは対照的に, より情報に富んだ合成文の最適化は一般的には良くないことがわかった。 驚くべきことに、いくつかのモノトニック変換は有望である。 例えば、ロジスティック損失は回帰における絶対誤差や二次誤差の最小化に有用であり、対数スコアは分類における二次的あるいは球面的なスコアの最大化に役立つ。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• $F_β$-plot -- a visual tool for evaluating imbalanced data classifiers [0.0]
  本稿では、一般的なパラメトリック計量である$F_beta$を分析するための簡単なアプローチを提案する。 分析された分類器のプールに対して、あるモデルがユーザの要求に応じて好まれるべき場合を示すことができる。
  論文  参考訳（メタデータ） (2024-04-11T18:07:57Z)
• Revisiting Evaluation Metrics for Semantic Segmentation: Optimization and Evaluation of Fine-grained Intersection over Union [113.20223082664681]
  そこで本研究では,mIoUsの微細化と,それに対応する最悪の指標を提案する。 これらのきめ細かいメトリクスは、大きなオブジェクトに対するバイアスの低減、よりリッチな統計情報、モデルとデータセット監査に関する貴重な洞察を提供する。 ベンチマークでは,1つの測定値に基づかないことの必要性を強調し,微細なmIoUsが大きな物体への偏りを減少させることを確認した。
  論文  参考訳（メタデータ） (2023-10-30T03:45:15Z)
• Who Should Predict? Exact Algorithms For Learning to Defer to Humans [40.22768241509553]
  従来の手法では,誤分類誤りの少ない人間-AIシステムを見つけることができなかった。 線形設定における問題を最適に解くことができるMILP(mixed-integer-linear-gramming)の定式化について述べる。 実現可能で,実証的にも良好に機能する新規な代理損失関数を提供する。
  論文  参考訳（メタデータ） (2023-01-15T21:57:36Z)
• Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
  本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。 AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。 誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
  論文  参考訳（メタデータ） (2022-09-22T04:32:51Z)
• Optimizing Partial Area Under the Top-k Curve: Theory and Practice [151.5072746015253]
  トップk曲線下部分領域(AUTKC)と呼ばれる新しい計量法を開発した。 AUTKCはより優れた識別能力を持ち、ベイズ最適スコア関数は条件付き確率に対して正しいトップKランクを与えることができる。 提案手法を最適化するために,実証的なサロゲートリスク最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-03T11:09:13Z)
• Active Learning Improves Performance on Symbolic RegressionTasks in StackGP [2.7685408681770247]
  StackGPを用いた記号回帰のための能動的学習手法を提案する。 我々はFeynman AIベンチマークを用いて,少ないデータポイントを用いて適切なモデルを見つけるための手法の能力を検証した。
  論文  参考訳（メタデータ） (2022-02-09T20:05:22Z)
• Towards optimally abstaining from prediction [22.937799541125607]
  機械学習のあらゆる領域に共通する課題は、トレーニングデータがテストデータのように分散されていないことだ。 一定のコストで予測を控えるモデルを考える。 我々は、Goldwasser、Kalais、Montasser(2020年)の最近の禁断アルゴリズムに基づいて、トランスダクティブバイナリ分類を行った。
  論文  参考訳（メタデータ） (2021-05-28T21:44:48Z)
• Learning by Minimizing the Sum of Ranked Range [58.24935359348289]
  本稿では,学習目標を定式化するための一般的なアプローチとして,ランキング範囲(SoRR)の和を紹介した。 ランク付き範囲は、実数の集合のソートされた値の連続的なシーケンスである。 我々は,SoRRフレームワークの最小化のための機械学習における2つの応用,すなわち,バイナリ分類のためのAoRR集約損失とマルチラベル/マルチクラス分類のためのTKML個人損失について検討する。
  論文  参考訳（メタデータ） (2020-10-05T01:58:32Z)
• A First Step Towards Distribution Invariant Regression Metrics [1.370633147306388]
  分類において、F-Measure や Accuracy のようなパフォーマンス指標は、クラス分布に大きく依存していると繰り返し述べられている。 ロボットアプリケーションにおけるオドメトリパラメータの分布は,例えば,異なるセッション間で大きく異なる可能性がある。 ここでは、すべての関数値に対して等しく機能する回帰アルゴリズムや、高速のような特定の境界領域にフォーカスする回帰アルゴリズムが必要です。
  論文  参考訳（メタデータ） (2020-09-10T23:40:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。