論文の概要: Algebraic Ground Truth Inference: Non-Parametric Estimation of Sample Errors by AI Algorithms

• arxiv url: http://arxiv.org/abs/2006.08312v1
• Date: Mon, 15 Jun 2020 12:04:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 03:06:09.984247
• Title: Algebraic Ground Truth Inference: Non-Parametric Estimation of Sample Errors by AI Algorithms
• Title（参考訳）: 代数的基底真理推論:aiアルゴリズムによるサンプル誤差の非パラメトリック推定
• Authors: Andr\'es Corrada-Emmanuel and Edward Pantridge and Edward Zahrebelski and Aditya Chaganti and Simeon Simeonov
• Abstract要約: 非パラメトリックなパフォーマンス推定器は、自律的な設定において魅力的なソリューションである。 基礎的真理を持つ実験における精度推定器は100分の1よりも優れていることを示す。 本手法の実用性は,オンライン広告キャンペーンによる実世界のデータセットと,一般的な分類ベンチマークのサンプルに示される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Binary classification is widely used in ML production systems. Monitoring classifiers in a constrained event space is well known. However, real world production systems often lack the ground truth these methods require. Privacy concerns may also require that the ground truth needed to evaluate the classifiers cannot be made available. In these autonomous settings, non-parametric estimators of performance are an attractive solution. They do not require theoretical models about how the classifiers made errors in any given sample. They just estimate how many errors there are in a sample of an industrial or robotic datastream. We construct one such non-parametric estimator of the sample errors for an ensemble of weak binary classifiers. Our approach uses algebraic geometry to reformulate the self-assessment problem for ensembles of binary classifiers as an exact polynomial system. The polynomial formulation can then be used to prove - as an algebraic geometry algorithm - that no general solution to the self-assessment problem is possible. However, specific solutions are possible in settings where the engineering context puts the classifiers close to independent errors. The practical utility of the method is illustrated on a real-world dataset from an online advertising campaign and a sample of common classification benchmarks. The accuracy estimators in the experiments where we have ground truth are better than one part in a hundred. The online advertising campaign data, where we do not have ground truth data, is verified by an internal consistency approach whose validity we conjecture as an algebraic geometry theorem. We call this approach - algebraic ground truth inference.
• Abstract（参考訳）: バイナリ分類はML生産システムで広く使われている。 制約付きイベント空間における分類器の監視はよく知られている。 しかし、実世界の生産システムは、しばしばこれらの方法が必要とする基礎的な真実を欠いている。 プライバシーに関する懸念は、分類器を評価するために必要な基礎的な真実が利用できないことも要求される。 これらの自律的な設定では、パフォーマンスの非パラメトリック推定器が魅力的なソリューションである。 任意のサンプルにおいて分類器がどのように誤りを犯したかに関する理論的モデルを必要としない。 彼らは単に、産業やロボットのデータストリームのサンプルにあるエラーの数を見積もるだけです。 弱い二項分類器のアンサンブルに対するサンプル誤差の非パラメトリック推定器を1つ構築する。 提案手法は代数幾何学を用いて二項分類器のアンサンブルに対する自己評価問題を正確な多項式系として再構成する。 多項式の定式化は、自己評価問題に対する一般解が存在しない代数幾何学的アルゴリズムとして、証明するために用いられる。 しかし、エンジニアリングコンテキストが分類器を独立したエラーに近づける設定では、特定のソリューションが利用可能である。 本手法の実用性は,オンライン広告キャンペーンによる実世界のデータセットと,一般的な分類ベンチマークのサンプルに示される。 基礎となる真実を持つ実験における精度推定器は、100分の1よりも優れている。 基本真理データを持たないオンライン広告キャンペーンデータは、代数幾何学の定理としての妥当性を推測する内部整合性アプローチによって検証される。 我々はこのアプローチを代数的基底真理推論と呼ぶ。

関連論文リスト

• Bisimulation Learning [55.859538562698496]
  我々は、大きな、潜在的に無限の状態空間を持つ状態遷移系の有限バイシミュレートを計算する。 提案手法は,実際に行われている他の最先端ツールよりも高速な検証結果が得られる。
  論文  参考訳（メタデータ） (2024-05-24T17:11:27Z)
• Out-Of-Domain Unlabeled Data Improves Generalization [0.7589678255312519]
  本稿では,ラベルなしデータを半教師付き分類問題に組み込む新しい枠組みを提案する。 ラベルのないサンプルは一般化ギャップを狭めるために利用できることを示す。 我々は、さまざまな合成および実世界のデータセットで実施された実験を通じて、我々の主張を検証する。
  論文  参考訳（メタデータ） (2023-09-29T02:00:03Z)
• Who Should Predict? Exact Algorithms For Learning to Defer to Humans [40.22768241509553]
  従来の手法では,誤分類誤りの少ない人間-AIシステムを見つけることができなかった。 線形設定における問題を最適に解くことができるMILP(mixed-integer-linear-gramming)の定式化について述べる。 実現可能で,実証的にも良好に機能する新規な代理損失関数を提供する。
  論文  参考訳（メタデータ） (2023-01-15T21:57:36Z)
• Class-wise and reduced calibration methods [0.0]
  キャリブレーションの削減により、元の問題をより単純なものに変換する方法を示す。 第2に,ニューラル崩壊という現象に基づいて,クラスワイドキャリブレーション手法を提案する。 この2つの手法を併用すると、予測とクラスごとの校正誤差を低減する強力なツールであるクラス単位での校正アルゴリズムが実現される。
  論文  参考訳（メタデータ） (2022-10-07T17:13:17Z)
• Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
  局所変換近傍における分類器の出力不変性の尺度を提案する。 私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。 画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
  論文  参考訳（メタデータ） (2022-07-05T14:55:16Z)
• Test Set Sizing Via Random Matrix Theory [91.3755431537592]
  本稿ではランダム行列理論の手法を用いて、単純な線形回帰に対して理想的なトレーニング-テストデータ分割を求める。 それは「理想」を整合性計量を満たすものとして定義し、すなわち経験的モデル誤差は実際の測定ノイズである。 本論文は,任意のモデルのトレーニングとテストサイズを,真に最適な方法で解決した最初の論文である。
  論文  参考訳（メタデータ） (2021-12-11T13:18:33Z)
• High-dimensional separability for one- and few-shot learning [58.8599521537]
  この作業は、実用的な質問、人工知能(AI)エラーの修正によって進められている。 特殊な外部デバイスである修正器が開発されている。従来のAIシステムを変更することなく、迅速かつ非イテレーティブなシステム修正を提供する必要がある。 AIシステムの新しいマルチコレクタが提示され、深層畳み込みニューラルネットワークによってエラーを予測し、新しいクラスのオブジェクトを学習する例が紹介される。
  論文  参考訳（メタデータ） (2021-06-28T14:58:14Z)
• Evaluating State-of-the-Art Classification Models Against Bayes Optimality [106.50867011164584]
  正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。 われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
  論文  参考訳（メタデータ） (2021-06-07T06:21:20Z)
• Independence Tests Without Ground Truth for Noisy Learners [0.0]
  独立二項分類器の正確な解について論じる。 その実用性はその唯一の前提によって妨げられている。 スカラー回帰器の基底真理不変系の同様の予想は解ける。
  論文  参考訳（メタデータ） (2020-10-28T13:03:26Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。