論文の概要、ライセンス

# (参考訳) 機械学習のモデリングによるクラスウェイト校正 [全文訳有]

Calibrating for Class Weights by Modeling Machine Learning ( http://arxiv.org/abs/2205.04613v1 )

ライセンス: CC BY 4.0
Andrew Caplin, Daniel Martin, and Philip Marx(参考訳) より研究された課題は、機械学習アルゴリズムによって提供される信頼度スコアが、真実の確率に基づいて調整される範囲である。 私たちの出発点は、キャリブレーションがクラスの重み付けと相容れないように見えることです。これは、1つのクラスがあまり一般的でない場合(クラス不均衡)や、ある外部目標を達成する場合(コスト感受性学習)にしばしば使用されるテクニックです。 本稿では,この不整合性をモデルベースで説明し,クラス重み付けによって誤判定されるアルゴリズムから確率を復元する簡単な方法を生成する。 このアプローチは,rajpurkar,irvin,zhu ,al.(2017)の2次肺炎検出タスクで検証した。

A much studied issue is the extent to which the confidence scores provided by machine learning algorithms are calibrated to ground truth probabilities. Our starting point is that calibration is seemingly incompatible with class weighting, a technique often employed when one class is less common (class imbalance) or with the hope of achieving some external objective (cost-sensitive learning). We provide a model-based explanation for this incompatibility and use our anthropomorphic model to generate a simple method of recovering likelihoods from an algorithm that is miscalibrated due to class weighting. We validate this approach in the binary pneumonia detection task of Rajpurkar, Irvin, Zhu, et al. (2017).
公開日: Tue, 10 May 2022 01:20:11 GMT

※ 翻訳結果を表に示しています。PDFがオリジナルの論文です。翻訳結果のライセンスはCC BY-SA 4.0です。詳細はトップページをご参照ください。

翻訳結果

    Page: /      
英語(論文から抽出)日本語訳スコア
2 2 0 2 y a M 0 1 2 2 0 2 y a m 0 1 である。 0.53
] G L . s c [ ] G L。 sc [ 0.47
1 v 3 1 6 4 0 1 v 3 1 6 4 0 0.43
. 5 0 2 2 : v i X r a . 5 0 2 2 : v i X r a 0.42
Calibrating for Class Weights by Modeling Machine Learning 機械学習のモデリングによるクラスウェイト校正 0.80
Andrew Caplin アンドリュー・カプリン 0.60
Department of Economics New York University 経済学科 ニューヨーク大学 0.63
andrew.caplin@nyu.ed u andrew.caplin@nyu.ed u 0.29
Daniel Martin ダニエル・マーティン 0.63
Kellogg School of Management Northwestern University ケロッグ経営学院 ノースウェスタン大学 0.57
d-martin@kellogg.nor thwestern.edu d-martin@kellogg.nor thwestern.edu 0.24
Philip Marx フィリップ・マルクス 0.69
Department of Economics Louisiana State University philiplmarx@gmail.co m ルイジアナ州立大学philiplmarx@gmail.co m 0.60
Abstract A much studied issue is the extent to which the confidence scores provided by machine learning algorithms are calibrated to ground truth probabilities. 概要 より研究された課題は、機械学習アルゴリズムによって提供される信頼度スコアが、真実の確率に基づいて調整される範囲である。
訳抜け防止モード: 概要 より研究された問題は、その程度である 機械学習アルゴリズムが提供する信頼スコアは 真理の確率に調整されます
0.62
Our starting point is that calibration is seemingly incompatible with class weighting, a technique often employed when one class is less common (class imbalance) or with the hope of achieving some external objective (cost-sensitive learning). 私たちの出発点は、キャリブレーションがクラスの重み付けと相容れないように見えることです。これは、1つのクラスがあまり一般的でない場合(クラス不均衡)や、ある外部目標を達成する場合(コスト感受性学習)にしばしば使用されるテクニックです。 0.53
We provide a model-based explanation for this incompatibility and use our anthropomorphic model to generate a simple method of recovering likelihoods from an algorithm that is miscalibrated due to class weighting. 本稿では,この不整合性をモデルベースで説明し,クラス重み付けによって誤判定されるアルゴリズムから確率を復元する簡単な方法を生成する。 0.80
We validate this approach in the binary pneumonia detection task of Rajpurkar, Irvin, Zhu, et al (2017). 本手法はRajpurkar, Irvin, Zhu, et al (2017) の2成分性肺炎検出タスクにおいて有効である。 0.70
1 Introduction An important set of machine learning applications involve classification. 1 はじめに 機械学習の重要な応用は分類である。 0.57
In a classification task, the goal is to correctly identify a categorical label y ∈ Y = {0, . . . , n − 1} given an instance/observation x. 分類タスクにおいて、目標は、インスタンス/オブザーブレーション x が与えられた圏ラベル y ∈ y = {0, . . , n − 1} を正しく識別することである。 0.80
For example, the label y may be a medical condition, the instance x a medical image, and the prediction a recommended clinical diagnosis. 例えば、ラベルyは、医学的状態であり、例xは医学的イメージであり、予測は推奨される臨床診断である。 0.64
In addition to this prediction, machine learning classifiers typically also provide a vector of confidence scores a = (a0, ..., an−1) ∈ A ⊆ Rn that can be used to assess “confidence” in their predictions. この予測に加えて、機械学習分類器は一般に、予測において「自信」を評価するのに使用できる、信頼スコア a = (a0, ..., an−1) ∈ A > Rn のベクトルを提供する。 0.78
A much studied issue is the extent to which these confidence scores are calibrated to ground truth probabilities. より研究された問題は、これらの信頼度スコアが、真実の確率に基づいて調整される程度である。
訳抜け防止モード: より研究された問題は、その程度である 信頼スコアは 真実の確率に 調整されています
0.69
When scores are calibrated, they represent the likelihood of each label, for instance, the probability a medical image indicates a medical condition. スコアが校正されると、それぞれのラベルの確率を表し、例えば、医療画像が医学的状態を示す確率を表す。 0.74
Calibration has clear advantages for downstream purposes, as evidenced by the large literature devoted to its study (Platt 1999, Zadrozny and Elkan 2001, Zadrozny and Elkan 2002, Guo, Pleiss, Sun, and Weinberger 2017, Minderer et al 2021). 校正は、その研究に携わる大規模な文献(platt 1999, zadrozny and elkan 2001, zadrozny and elkan 2002, guo, pleiss, sun, and weinberger 2017, minderer et al 2021)によって証明された下流の目的に対して明確な利点を持っている。 0.80
For example, if a score indicates high uncertainty about the true label, then alternative likelihoods, such as those produced by other programs or human agents, can be used instead (Jiang, Osl, Kim, and Ohno-Machado 2012, Raghu et al 2019, Kompa, Snoek, and Beam 2021). 例えば、スコアが真のラベルについて高い不確実性を示す場合、他のプログラムや人間エージェントが生成する可能性(Jiang, Osl, Kim, Ohno-Machado 2012, Raghu et al 2019, Kompa, Snoek, Beam 2021)を使用することができる。 0.71
Also, calibrated confidence scores are valuable for human interpretability (Cosmides and Tooby 1996), which can improve decision making and trust in algorithmic predictions. また、評価された信頼スコアは人間の解釈可能性(Cosmides and Tooby 1996)に有用であり、アルゴリズム予測における意思決定と信頼を改善することができる。 0.70
Our starting point is that calibration is seemingly incompatible with class weighting, a technique often employed when one class is less common (Thai-Nghe, Gantner, and Schmidt- 私たちの出発点は、キャリブレーションはクラス重み付けとは相容れないように見え、あるクラスがあまり一般的でない場合にしばしば使用されるテクニックである(Thai-Nghe、Gantner、Schmidt)。 0.52
Version: May 7, 2022. 2022年5月7日発売。 0.59
英語(論文から抽出)日本語訳スコア
Figure 1: Calibration curves for the pneumonia detection task of Rajpurkar, Irvin, Zhu, et al (2017) for ChestX-ray14 data (Wang et al 2017) with varying class weights. 図1: クラス重量の異なるChestX-ray14データ(Wang et al 2017)に対するRajpurkar, Irvin, Zhu, et al (2017)の肺炎検出タスクの校正曲線。 0.79
Thieme 2010) or with the hope of achieving some external objective (Zadrozny, Langford, and Abe 2003). tieme 2010) あるいは、何らかの外部目的(zadrozny、langford、abe 2003)を達成することを期待して。 0.71
We provide a model-based explanation for this incompatibility and use our model to generate a simple method of recovering likelihoods from an algorithm that is miscalibrated due to class weighting. 我々は,この不適合性のモデルに基づく説明を提供し,このモデルを用いて,クラス重み付けによって誤調整されたアルゴリズムから確率を回復する簡易な手法を考案する。 0.73
We validate this approach in the binary pneumonia detection task of Rajpurkar, Irvin, Zhu, et al (2017) and elaborate on the connections to related methods for addressing class imbalance in Section 4. rajpurkar, irvin, zhu, et al(2017)の2次肺炎検出タスクでこのアプローチを検証し,第4節におけるクラス不均衡に対処するための関連手法との関連について詳述した。 0.68
In the anthropomorphic model that underpins our approach, we conceive of an algorithm as a decision-maker that receives informative signals, forms posterior beliefs, and reports confidence scores that minimize its loss function given its beliefs. 我々のアプローチを支える人為的モデルでは、情報的信号を受け取り、後続の信念を形成し、その信念から損失関数を最小化する信頼スコアを報告する決定者としてのアルゴリズムを考案する。 0.73
We offer a simple test of this model based on the notion of loss-calibration, which indicates how a loss function can incentivize miscalibration. 損失校正の概念に基づいて、このモデルの簡単なテストを行い、損失関数がいかに誤校正を動機付けるかを示す。 0.63
If an algorithm passes this test, then a simple analytic correction can be used to generate loss-corrected confidence scores that are calibrated. アルゴリズムがこのテストに合格した場合、単純な解析補正を用いて、校正された損失補正された信頼スコアを生成することができる。 0.65
If the algorithm does not pass this test, it is trivially improvable. もしアルゴリズムがこのテストに合格しなかったら、それは自明に実装可能である。 0.62
Caplin, Martin, and Marx (2022) expand on our model by assuming the algorithmic decision-maker optimally chooses what to learn (chooses what signal structure to use) based on resource constraints. caplin, martin, marx (2022) は、アルゴリズムによる意思決定者がリソース制約に基づいて学習すべきもの(使用するシグナル構造)を最適に選択することによって、このモデルを拡張します。 0.76
They use this expanded model to produce an Inverse Machine Learning (IML) approach in which the algorithmic decision-maker’s resource constraints are recovered. 彼らはこの拡張モデルを使用して、アルゴリズム決定者のリソース制約を回復する逆機械学習(IML)アプローチを生成する。 0.84
By positing both what the machine learns and why, this approach allows for further analytic tractability and counterfactual prediction. マシンが学習したものと理由の両方を仮定することで、このアプローチはさらなる分析的扱い可能性と反事実的予測を可能にする。 0.57
2 Calibration and Class Weights Formally, confidence scores are calibrated if, for each potential label and observed score, the score equals the probability of the label when that score is provided: Definition 1 (Calibration). 2 キャリブレーションとクラス重みを形式的に校正し、各潜在的なラベルと観測されたスコアに対して、そのスコアが提供されたときのラベルの確率に等しい場合に、信頼度スコアを校正する。 0.72
Confidence scores are calibrated if: 信頼スコアが校正される場合: 0.75
ay = P(y|ay) ay = P(y|ay) 0.46
for all ay such that P(ay) > 0. すべての ay に対して p(ay) > 0 となる。 0.75
(1) We use the binary pneumonia detection task of Rajpurkar, Irvin, Zhu, et al (2017) to illustrate the incompatibility of calibration with class weighting. (1) 我々は,rajpurkar,irvin,zhu ,al(2017)の2次肺炎検出タスクを用いて,クラス重み付けによる校正の不適合性を説明する。 0.56
A standard log loss function for binary classification would specify losses from the positive confidence score a1 conditional on a positive label (outcome y = 1) as − log(a1) and those on a negative label (outcome y = 0) as − log(1 − a1). 二項分類の標準的なログ損失関数は、正の信頼スコア a1 を正のラベル (outcome y = 1) 上で − log(a1) として、負のラベル (outcome y = 0) で − log(1 − a1) として損失を指定する。 0.88
Class weighting allows for differential losses for different types of error, producing losses of −β1y log(a1)− (1− β1)(1− y) log(1− a1) where β1 ∈ (0, クラス重み付けは、異なるタイプのエラーに対して微分損失を許容し、β1 ∈ (0,) で −β1y log(a1)− (1−β1)(1−y) log(1−a1) を生じる。 0.73
1) denotes the relative weight on the positive class. 1) 正のクラスにおける相対重みを表す。 0.74
For a rare yet important event such as pneumonia, one upweights the relative importance of false negatives: the inverse class weight used in Rajpurkar, Irvin, Zhu, et al (2017) was approximately 0.99. 肺炎のような稀だが重要な出来事では、偽陰性の相対的な重要性が上昇し、ラジュプルカル、イルビン、ズー(2017年)などで使用される逆級の重みは約0.99である。
訳抜け防止モード: 肺炎のような稀だが重要な出来事は、偽陰性の相対的重要性を高揚させる :rajpurkar,irvin,zhu における逆級重み et al (2017) は約 0.99 であった。
0.65
2 0.010.101.000.010.10 1.00Confidence Score (log)Pneumonia Rate (log)Weight0.50.90.9 9 2 0.010.101.000.010.10 1.00Confidence Score (log)Pneumonia Rate (log)Weight0.50.90.9 9 0.32
英語(論文から抽出)日本語訳スコア
Figure 2: Theoretical calibration curves for loss-calibrated algorithm with varying class weights. 図2:クラス重みの異なる損失補償アルゴリズムの理論的キャリブレーション曲線。 0.83
In Figure 1 we apply class weights β1 = 0.5, 0.9, 0.99 and plot decile-binned calibration curves (DeGroot and Fienberg 1983; Niculescu-Mizil and Caruana 2005).1 図1では、クラスウェイト β1 = 0.5, 0.9, 0.99 とプロットデシルビン付きキャリブレーション曲線 (degroot, fienberg 1983, niculescu-mizil and caruana 2005) を適用する。 0.73
The horizontal axis represents the (logged) confidence score, and the vertical axis the corresponding (logged) pneumonia rate in the data. 水平軸は(ログされた)信頼スコアを表し、垂直軸はデータ中の対応する(ログされた)肺炎率を表す。 0.78
The axes are log-scaled to separate spacing between points and to ease visualization of the relationships, without altering the relationships themselves. 軸は、点間の間隔を分割し、関係自体を変更することなく、関係の可視化を容易にするためにログスケールされる。 0.65
Confidence scores are calibrated if the calibration curve coincides with the 45-degree line (the solid diagonal line). 校正曲線が45度線(固体対角線)と一致する場合、信頼度スコアを校正する。 0.81
Clearly, this holds only when β1 = 0.5, and as the asymmetry in class weights increases, the confidence scores become increasingly miscalibrated. 明らかに、これはβ1 = 0.5 のときにのみ成り立ち、クラス重みの非対称性が増加するにつれて、信頼度スコアはますます誤解される。 0.57
To understand this systematic failure of calibration it is helpful to think about the implications of successfully minimizing losses. このキャリブレーションの系統的失敗を理解するには、損失を最小化することの意義を考えるのがよいだろう。 0.67
If an algorithm successfully minimizes losses, it must not be possible to lower losses by taking all of the instances in which the confidence score a was provided and using alternative confidence score a0 instead. アルゴリズムが損失を最小限に抑えるためには、信頼度スコアaが提供されたインスタンスをすべて取り、代わりに代替信頼度スコアa0を使用することで損失を減らすことはできない。 0.68
It is this property that defines an algorithm as loss-calibrated. この性質は、アルゴリズムを損失校正として定義するものである。 0.65
To formalize this property, we denote L(a, y) as the losses for score a when the label is y and P L(a, y) as the joint probability of scores and labels when the loss function is L.2 この性質を定式化するために、ラベルが y のときのスコア a の損失として L(a, y) と、損失関数が L.2 のときのスコアとラベルの結合確率として PL(a, y) と表す。 0.77
Definition 2 (Loss-Calibration). 定義2(Loss-Calibration)。 0.40
Confidence scores are loss-calibrated to loss function L if a wholesale switching of scores does not reduce losses according to L: 信頼スコアが損失関数Lに対して損失校正される場合、スコアの問合せ切替がLに応じて損失を減少しない場合: 0.70
a ∈ argmin a0∈Rn a ∈ argmin a0htmlrn である。 0.50
P L(a, y)L(a0, y). p l(a, y)l(a0, y) である。 0.73
(2) X y∈Y (2) X yhtmly 0.35
One value of introducing this construct is that if an algorithm is loss-calibrated there is a straightforward theoretical prediction for the miscalibration induced a particular loss function. この構成を導入する1つの価値は、アルゴリズムが損失校正された場合、その誤校正が特定の損失関数を誘導する直接的な理論的予測が存在することである。 0.62
By way of illustration, Figure 2 shows this theoretical relationship between scores and pneumonia rates for relative positive class weights β1 = 0.5, 0.9, 0.99. 図2は、相対陽性クラス重量β1 = 0.5, 0.9, 0.99のスコアと肺炎率の間の理論的関係を示しています。 0.70
The precise form of this function is derived in a more general setting in Proposition 2 in Section 3. この関数の正確な形は、セクション3の命題2のより一般的な設定で導かれる。 0.72
Figure 3 superimposes Figure 1 and Figure 2 combining the actual and theoretical relationships between confidence scores and pneumonia rates. 図3は、信頼度スコアと肺炎率の実際のおよび理論的関係を組み合わせた図1と図2を重ね合わせます。 0.74
This figure strongly suggests that while the algorithm becomes increasingly miscalibrated with higher weights, it is always very close to being loss-calibrated. この数字は、アルゴリズムが重み付けによって徐々に誤校正されるが、常に損失校正に近づいていることを強く示唆している。 0.57
Our model-based approach to the incompatibility of calibration and class weighting provides a simple model-based rectification. キャリブレーションとクラス重み付けの不適合性に対するモデルベースアプローチは、単純なモデルベース補正を提供する。 0.70
In typical cases, our proposed solution reduces to a 典型的には、提案する解は a に還元される。 0.52
1Further details of our implementation are collected in Appendix A.2). 1 実装の詳細は Appendix A.2) で収集されます。 0.69
2For simplicity, we assume throughout that this probability distribution is discrete. 2 単純性については、この確率分布が離散的であると仮定する。 0.67
In practice, distributions are discrete because data sets are finite. 実際には データセットが有限であるため 分布は離散的です 0.63
Further, scores are typically binned. さらに、スコアは一般に二分される。 0.50
3 0.010.101.000.010.10 1.00Confidence Score (log)Pneumonia Rate (log) 3 0.010.101.000.010.10 1.00Confidence Score (log)Pneumonia Rate (log) 0.35
英語(論文から抽出)日本語訳スコア
Figure 3: Relationship between confidence score and pneumonia rate for a loss-calibrated algorithm with varying class weights. 図3:クラス重みの異なる損失補償アルゴリズムにおける信頼度スコアと肺炎率の関係 0.79
Figure 4: Loss-corrected confidence scores are calibrated. 図4: 損失補正信頼度スコアを校正する。 0.77
Each point plots the average loss-corrected confidence score (log) against the pneumonia rate (log) for a decile of confidence scores 各ポイントは、信頼度スコアの低下のために、肺炎率(log)に対して平均損失補正信頼度スコア(log)をプロットする 0.71
simple analytic correction, the loss-corrected confidence score. 単純な分析補正、損失補正信頼スコア。 0.74
In this case of weighted binary classification with weight β1, the loss-corrected confidence score is: 重み付き二分分類と重み付きβ1の場合、損失補正信頼スコアは以下の通りである。 0.61
gβ1(a1) = (3) gβ1(a1) = (3) 0.41
(1 − β1)a1 (1 − β1)a1 0.46
β1 + (1 − 2β1)a1 β1 + (1 − 2β1)a1 0.41
Figure 4 plots the loss-corrected confidence scores and indicates that this analytic correction successfully induces calibration. 図4は、損失補正された信頼スコアをプロットし、この分析補正が校正を成功させることを示す。 0.61
The general mapping is characterized formally in Section 3. 一般写像は第3節で正式に特徴づけられる。 0.56
We also confirm that Figure 3 and Figure 4 are intimately linked: confidence scores are loss-calibrated if and only if loss-corrected confidence scores are calibrated (Proposition 5). また、図3と図4が密接に関連していることを確認し、信頼度スコアが損失補正された信頼度スコアが校正された場合にのみ損失校正される(仮説5)。 0.60
3 Modeling Machine Learning An algorithm converts a set of inputs (training data, training procedure, loss function, etc.) into a scoring rule that is evaluated on a set of labeled observations. 3 モデリング機械学習アルゴリズムは、一連の入力(トレーニングデータ、トレーニング手順、損失関数など)を、ラベル付き観測の集合に基づいて評価されるスコアリングルールに変換する。 0.77
We abstract from the complexity of this system by introducing a formal model of an algorithm based on information-theoreti c principles. 我々は,情報理論の原理に基づくアルゴリズムの形式モデルを導入することで,システムの複雑さを抽象化する。 0.80
Our approach treats an algorithm as if it follows the 我々のアプローチはアルゴリズムを従うかのように扱う 0.87
4 0.010.101.000.010.10 1.00Confidence Score (log)Pneumonia Rate (log)Weight0.50.90.9 90.010.101.000.010.1 01.00Confidence Score (log)Pneumonia Rate (log)Weight0.50.90.9 9 4 0.010.101.000.010.10 1.00Confidence Score (log)Pneumonia Rate (log)Weight0.50.90.9 90.010.101.000.010.1 01.00Confidence Score (log)Pneumonia Rate (log)Weight0.50.90.9 9 0.32
英語(論文から抽出)日本語訳スコア
Blackwell (1953) model of experimentation, signal processing, and choice. Blackwell (1953) の実験、信号処理、選択のモデル。 0.70
Technically the algorithm is modeled as an optimizing agent that 技術的には、アルゴリズムは最適化エージェントとしてモデル化される。 0.57
i) gets signals that provide information about labels, 一 ラベルに関する情報を提供する信号を得る。 0.71
(ii) forms posterior beliefs about labels via Bayesian updating, and (二)ベイズ更新によるラベルに関する後続の信条、及び 0.64
iii) converts these posteriors into reported scores. iii)これらの後方を報告されたスコアに変換する。 0.51
Each stage may be modulated by incentives, in particular those inherent in the scoring loss function L. Technically, prior beliefs are specified by unconditional probabilities π(y) over labels y ∈ Y . 技術的には、事前の信念はラベル y ∈ Y 上の無条件確率 π(y) によって特定される。
訳抜け防止モード: 各ステージは、特にスコアリング損失関数Lに固有のインセンティブによって変調することができる。 事前の信念は、ラベル y ∈ Y 上の非条件確率 π(y) によって特定される。
0.66
Together with a finite set of possible signals S and the conditional probabilities of each signal with each label π(s|y) this defines a statistical experiment in the sense of Blackwell (1953). 可能な信号 s の有限集合と各ラベル π(s|y) を持つ各信号の条件付き確率と共に、これはブラックウェル(1953)の意味での統計実験を定義する。 0.81
Upon observing a signal s, the model posits that the algorithm forms posterior beliefs γs about label y using Bayes’ rule: 信号sを観測すると、ベイズの規則を用いてアルゴリズムがラベルyに関する後発の信念γを形成することを仮定する。 0.68
γs y = π(y|s) = π(s|y) π(s) π(y). γ y = π(y|s) = π(s|y) π(s) π(y) である。 0.66
X γyL(a0, y), X γyL(a0, y) 0.68
(4) (5) In the final stage, posterior beliefs γ are translated into scores in accordance with a (possibly set-valued) loss-minimizing scoring function: (4) (5) 最終段階では、後続の信念γは(おそらくセット値の)損失最小のスコア機能に従ってスコアに翻訳される。 0.50
cL(γ) = argmin a0∈A cL(γ) = argmin a0∂A 0.34
y which is well-defined for all posteriors γ over the set of labels Y . うん これはラベル y 上のすべての後方 γ に対して well-defined である。 0.54
3.1 Loss Calibration We begin by providing a tight connection between loss-calibration and consistency with our theoretical model. 3.1 損失校正 損失校正と理論モデルとの整合性の間に密接な関係を提供することから始める。
訳抜け防止モード: 3.1 損失校正開始 損失の密接な関係 - キャリブレーションと理論モデルとの整合性。
0.75
This formalizes when a machine’s behavior can be interpreted as if an algorithm performs a statistical experiment, observes signals, updates in a Bayesian manner, and then optimally scores the resulting posteriors. これは、アルゴリズムが統計的実験を実行し、信号を観察し、ベイズ様式で更新し、結果の後方を最適にスコア付けするように、機械の動作を解釈できるときに形式化する。 0.66
In turn, separating what an algorithm learned from how it scored that information forms the basis of our subsequent approach to recovering calibration. そして、アルゴリズムがどのように学習したかから切り離すと、その情報がキャリブレーションを回復するための我々のアプローチの基礎となる。 0.68
Definition 3. For a given loss function L, P L has a signal-based representation (SBR) if there exists a finite signal set S, a statistical experiment π, and a scoring function α : S → A such that: 定義3。 与えられた損失関数 L に対して、PL は有限信号集合 S, 統計実験 π, スコア関数 α : S → A が存在するとき、信号に基づく表現 (SBR) を持つ。 0.57
1. Prior beliefs are correct: π(y) = P L(y). 1. 事前の信念は正しい: π(y) = P L(y)。 0.79
2. Posterior beliefs satisfy Bayes’ rule: γs 2. ベイズの規則を満たした後方信念:γs 0.76
3. Scores are loss-minimizing given posterior beliefs: αs ∈ cL(γs). 3. スコアは、後続の信念である αs ∈ cL(γs) によって損失最小化される。 0.51
s:αs=a π(s, y). s:αs=a π(s, y)。 0.88
4. Scores are generated by the model: P L(a, y) =P 4.スコアはモデルによって生成される: P L(a, y) = P 0.87
y = π(y|s). y = π(y|s) である。 0.76
If P L has an SBR, then it is as if the algorithm optimizes scores given the Bayesian posterior beliefs induced by its statistical experiment. p l が sbr を持つならば、アルゴリズムはその統計実験によって引き起こされるベイズ的後方信念によりスコアを最適化する。 0.71
The following result formalizes the equivalence between loss calibration and the existence of such an interpretation.3 次の結果は損失校正とそのような解釈の存在の等価性を定式化する。 0.69
For this result, we only need apply one minor condition to P L, which is that the distribution of states is not identical for any two scores: P L(a, y) 6= P L(a0, y) for some y ∈ Y if a 6= a0. この結果のためには、p l に1つのマイナー条件を適用するだけでよい。これは、状態の分布が任意の2つのスコアに対して同一ではないということである: p l(a, y) 6= p l(a0, y) ある y ∈ y に対して a 6= a0 ならば p l(a, y) である。
訳抜け防止モード: この結果に対し、P L に対して1つのマイナー条件のみを適用する必要がある。 つまり、状態の分布は任意の2つのスコア: P L(a, y ) 6 = P L(a0, y ) for some y ∈ Y if a 6 = a0 。
0.88
Proofs of all formal results are collected in Appendix A.1. すべての公式な結果の証明は、Appendix A.1で収集される。 0.55
Proposition 1. Confidence scores are loss-calibrated if and only if P L has an SBR. 第1話。 信頼度スコアは、PLがSBRを持つ場合に限り損失校正される。 0.54
If confidence scores are loss-calibrated, then a simple SBR is the one corresponding to the observed scores: S = A, π(a, y) = P L(a, y), and αa = a. 信頼スコアが損失校正された場合、単純なSBRは観測されたスコアに対応するもので、S = A, π(a, y) = P L(a, y) および αa = a である。 0.85
As noted previously, if scores are not loss-calibrated, it is always possible to strictly reduce losses through a wholesale relabeling procedure of some realized score violating (2), so that no signal-based representation exists because condition 3 of Definition 3 is violated. 前述したように、スコアが損失調整されていない場合、達成されたスコア違反(2)のトーセールリラベリング手順によって、常に損失を減らすことが可能であり、定義3の条件3に違反するため、信号ベースの表現は存在しない。 0.61
3Formally, the model and result form a special case of Caplin and Martin (2015) in which the 3 形式的には、モデルと結果は、Caplin and Martin (2015) の特別なケースを形成する。 0.80
utility (in our case loss) function is known. 実用性(私たちの場合の損失)機能は知られています 0.60
5 5 0.42
英語(論文から抽出)日本語訳スコア
Incentivizing Miscalibration ミススキャリブレーションのインセンティブ 0.49
3.2 To characterize incentive effects on confidence scores we study the optimal posterior scoring choice rule (5) as we add class weights to a baseline binary loss function L that is differentiable and strictly proper. 3.2 信頼度スコアに対するインセンティブ効果を特徴付けるため, クラス重み付けを基本2次損失関数 L に追加することにより, 最適後点選択規則 (5) について検討する。 0.85
Such a loss function induces a uniquely optimal action, which is to truthfully score any posterior. このような損失関数は一意に最適な作用を誘導し、これは真に任意の後方に得点を与える。 0.60
By truthful we mean that cL(γ) = γ. 真に言えば、cL(γ) = γ を意味する。 0.76
We begin with the setting of binary classification and adopt the characterization introduced in machine learning by Buja, Stuetzle, and Shen (2005) and with origins in psychometrics (Shuford, Albert, and Edward Massengill 1966). まず二項分類の設定から始め、Buja, Stuetzle, and Shen (2005) による機械学習で導入された特徴を取り入れ、心理学(Shuford, Albert, Edward Massengill 1966)に起源を持つ。 0.76
Being strictly proper corresponds to the loss function being incentive-compatible for belief elicitation (see Schotter and Trevino 2014 for a review). 厳密には正しいとすると、損失関数は信念の勧誘にインセンティブに適合する(レビューはSchotter and Trevino 2014を参照)。 0.71
Definition 4. A loss function L(a1, y) defined on (0, 1) × {0, 1} is differentiable and strictly proper if it satisfies differentiability in a1 for each y ∈ {0, 1} with derivatives satisfying: 定義4。 0, 1) × {0, 1} 上で定義される損失函数 L(a1, y) は、微分が満足する各 y ∈ {0, 1} に対して a1 の微分可能性を満たすならば、微分可能かつ厳密な正当である。
訳抜け防止モード: 定義4。 0, 1 ) × { 0 上で定義される損失関数 L(a1, y ) 1 } が微分可能で厳密であれば適切である 各 y ∈ { 0, 1 } に対して a1 の微分可能性を満たす。
0.59
for some positive weight function w(a1) > 0 on (0, 1), and withR 1−ε ある正の重み関数 w(a1) > 0 に対して (0, 1) と withR 1−ε 0.90
= w(a1)(a1 − 1), = w(a1)(a1 − 1), 0.46
= w(a1)a1 ∂a1 = w(a1)a1 ∂a1 0.38
∂L(a1, 1) ∂L(a1, 0) ∂L(a1, 1) ∂L(a1, 0) 0.46
∂a1 (6) w(a1)da1 < ∞ for all ∂a1 (6)w(a1)da1 < ∞ である。 0.55
ε  > 0. This class includes standard loss functions such as squared error and cross-entropy. ε  > 0. このクラスは二乗誤差やクロスエントロピーのような標準的な損失関数を含む。 0.50
Proper weighting functions are of interest because they incentivize unbiased scoring for symmetrically weighted outcomes. 適切な重み付け関数は、対称に重み付けされた結果に対して偏りのないスコアを与えるため、興味深い。 0.46
Thus, restricting to proper loss functions, calibration (Definition したがって、適切な損失関数、校正(決定)に制限する。 0.62
1) and loss calibration (Definition 1)損失校正(精錬) 0.35
2) are equivalent. An algorithm that has a signal-based representation would generate calibrated scores if its posterior beliefs were correct on average and truthfully scored cL(γ) = γ. 2)は等価である。 信号に基づく表現を持つアルゴリズムは、その後方の信念が平均的かつ真にスコアcl(γ) = γで正しい場合、校正されたスコアを生成する。 0.69
However, the situation for a general loss function is quite different, given that the incentives in mapping posteriors to confidence scores vary with the loss function. しかし, 一般損失関数の状況は, 損失関数によって後部を信頼度スコアにマッピングするインセンティブが異なるため, かなり異なる。 0.77
For loss functions that are not strictly proper, the machine may be incentivized to predict something other than its posterior beliefs. 厳密には適切でない損失関数の場合、マシンは後続の信念以外の何かを予測するためにインセンティブを与えることができる。 0.69
Consider weighted loss functions that are defined by beginning with a differentiable and strictly proper binary loss function L and reweighting the positive class β1 ∈ [0, 1]: 微分可能かつ厳密な二項損失関数 L から始まり、正のクラス β1 ∈ [0, 1] を再重み付けすることによって定義される重み付き損失関数を考える。
訳抜け防止モード: 重み付き損失関数を考える 微分可能かつ厳密な二項損失関数 L から始めることで定義される 正のクラス β1 ∈ [ 0 , 1 ] を再重み付けする
0.83
Lβ1(a1, y) = β1yL(a1, y) + (1 − β1)(1 − y)L(a1, y). Lβ1(a1, y) = β1yL(a1, y) + (1 − β1)(1 − y)L(a1, y)。 0.44
(7) The following proposition (established in Appendix A.1) provides the optimal scoring rule for this weighted loss function. (7) 次の命題(付録a.1)は、この重み付き損失関数の最適採点規則を提供する。 0.76
For simplicity of notation and since the function L is fixed throughout, we suppress it from the superscript on the choice function, so that cβ1(γ1) ≡ cLβ1 (γ1). 表記の単純さと函数 L が全体固定されるので、選択函数上の上書きからそれを抑制するので、cβ1(γ1) は cLβ1(γ1) となる。 0.78
Proposition 2 (Optimal Posterior Scores, Binary Class). Proposition 2 (Optimal Posterior Scores, Binary Class) の略。 0.87
Suppose L is a differentiable and strictly proper binary loss function. L を微分可能かつ厳密な二項損失関数とする。 0.75
For all γ1, β1 ∈ (0, 1), the optimal scoring rule for weighted loss Lβ1 defined by (7) is: すべての γ1, β1 ∈ (0, 1) に対して、(7) で定義される重み付き損失 Lβ1 の最適スコアリングルールは、
訳抜け防止モード: すべての γ1, β1 ∈ (0, 1) に対して 7)で定義される重み付き損失lβ1の最適得点規則は :
0.84
cβ1(γ1) = β1γ1 cβ1(γ1) = β1γ1 0.31
1 − β1 − γ1 + 2β1γ1 1 − β1 − γ1 + 2β1γ1 0.34
. (8) The optimal scoring rule (8) is single-valued, symmetric in its arguments (β1, γ1), and strictly increasing in γ1 for every β1 ∈ (0, 1). . (8) 最適採点規則(8)は単値であり、引数 (β1, γ1) において対称であり、すべての β1 ∈ (0, 1) に対して γ1 において厳密に増加する。 0.53
It clarifies how the incentives provided to the algorithm are modulated by β1. アルゴリズムが提供するインセンティブがどのようにβ1によって調節されるかを明確にする。 0.59
When β1 > 0.5, there is an incentive to overscore cβ1(γ1) > γ1, whereas when β1 < 0.5 there is an incentive to underscore cβ1(γ1) > γ1 all interior posteriors γ1 ∈ (0, 1). β1 > 0.5 の場合、cβ1(γ1) > γ1 をオーバースコアするインセンティブがあるが、β1 < 0.5 の場合、cβ1(γ1) > γ1 をオーバースコアするインセンティブがある。 0.87
The impact of β1 on optimal scores can be quite strong, especially since class weights are frequently used in settings where class imbalance is large.For example, at posterior belief γ1 = 0.5, the optimal prediction for a given β1 is cβ1(0.5) = β1. 特にクラス重みはクラス不均衡が大きい設定で頻繁に用いられるため、β1が最適スコアに与える影響は非常に強く、例えば、後発の信念 γ1 = 0.5 において、与えられたβ1 の最適予測は cβ1(0.5) = β1 である。 0.78
In the case of our pneumonia application where less than 2% of labels are positive, inverse probability weighting would yield β1 > 0.98. ラベルの2%未満が陽性である肺炎の場合には,逆確率重みはβ1 > 0.98になる。 0.77
Proposition 2 suggests a novel graph that we call the loss calibration curve, which overlays the calibration curve with the theoretical map between posterior probabilities γ1 and optimal posterior scores, in this case cβ1(γ1). 命題2は、後方確率 γ1 と最適後方スコアの間の理論写像で校正曲線を重ね合わせ、この場合 cβ1(γ1) を損失校正曲線と呼ぶ新しいグラフを提案する。 0.79
If an algorithm is loss-calibrated, the calibration curve should match the theoretical map between probabilities and optimal predictions. アルゴリズムが損失校正された場合、キャリブレーション曲線は確率と最適予測の間の理論写像と一致する。 0.77
This is illustrated by Figure 3. これは図3で示されます。 0.83
6 6 0.43
英語(論文から抽出)日本語訳スコア
We now generalize the intuition to the case of n labels by using the fact that many richer classification problems can be expressed as an aggregate of simpler binary problems. 我々は、よりリッチな分類問題をより単純な二分問題の集合として表現できるという事実を用いて、直観を n ラベルの場合に一般化する。 0.67
Consider weighted loss functions that are defined by beginning with a differentiable and strictly proper binary loss function L and weighting according to a matrix β ∈ Rn×n: 微分可能かつ厳密な二項損失関数 L から始まり、行列 β ∈ Rn×n に従って重み付けによって定義される重み付き損失関数を考える。 0.80
βy,y0L(ay0, I{y = y0}). βy,y0L(ay0, I{y = y0})。 0.41
(9) Lβ(a, y) = X (9) Lβ(a, y) = X 0.45
y0∈Y In this case we have the following corollary, which follows from observing that the necessary and sufficient condition for an optimal score in each dimension y is expressible as in (7) for an average weight and a class indicator function. y0-Y この場合、各次元 y における最適なスコアに必要な十分条件は、平均ウェイトとクラスインジケータ関数の (7) のように表現できる。 0.34
Proposition 3 (Optimal Posterior Scores, Multi-Class). Proposition 3 (Optimal Posterior Scores, Multi-Class)。 0.45
Suppose L is a smooth and strictly proper binary loss function. L を滑らかで厳密な二項損失関数とする。 0.67
For all posteriors γ and positive weight matrices β, the optimal scoring rule for Lβ defined by (9) is: すべての後続γおよび正重行列 β に対して、(9) で定義される Lβ の最適スコアリング規則は次の通りである。 0.71
P y(γ) = cβ P y(γ) = cβ 0.46
γyβy,y y0∈Y γy0βy0,y γyβy,y y0~Y γy0βy0,y 0.33
. (10) The intuition of incentivizing miscalibration is the same as previously in Proposition 2, except that it now depends on relative weights across multiple classes. . (10) ミスキャリブレーションをインセンティブ化する直観は、従来の命題2と同じであるが、現在では複数のクラス間の相対的な重みに依存する。 0.49
P(·|a) = (cL)−1(a). P(·|a) = (cL)−1(a)。 0.89
3.3 Recovering Calibration To recover calibration, we propose inverting the optimal posterior scoring function. 3.3 キャリブレーションの回収 キャリブレーションの回復のために,最適後部スコアリング関数の反転を提案する。 0.68
Proposition 4 (Loss-Corrected Confidence Score for an Invertible Scoring Rule). Proposition 4 (Loss-Corrected Confidence Score for an Invertible Scoring Rule) 0.42
Suppose cL(γ) is single-valued and invertible and confidence scores are loss-calibrated. cL(γ) が単値で可逆であり、信頼スコアが損失校正であると仮定する。 0.60
For any a such that P(a) > 0, the posterior distribution over labels is recovered by inverting the choice rule: (11) We call the inverted score (cL)−1(a) the loss-corrected confidence score. P(a) > 0 であるような任意の場合、ラベル上の後続分布は、選択規則を反転させることにより回復される: (11) 逆スコア(cL)−1(a) を損失補正された信頼スコアと呼ぶ。 0.75
The following simple result clarifies the relationship between calibration, loss calibration, and loss-corrected confidence scores. 以下の簡単な結果は、キャリブレーション、損失キャリブレーション、損失補正信頼度スコアの関係を明らかにする。 0.69
Proposition 5. Suppose cL(γ) is single-valued and invertible. 第5話。 cL(γ) は単値で可逆であるとする。 0.54
Then confidence scores are loss-calibrated if and only if loss-corrected confidence scores are calibrated. そして、損失補正された信頼スコアが校正された場合にのみ、信頼スコアが損失校正される。 0.51
An advantage of our loss-correction calibrating method is that it is analytical and based on the loss function set by the researcher. 損失補正校正手法の利点は,解析的であり,研究者が設定した損失関数に基づいていることである。 0.79
For example, in the case of binary weighted loss (7), this yields the correction introduced in (3). 例えば、二元重み付き損失 (7) の場合、これは (3) に導入された補正をもたらす。 0.67
Corollary 1 (Loss-Corrected Confidence Score for Binary Weighted Loss). Corollary 1 (Loss-Corrected Confidence Score for Binary Weighted Loss) 0.42
Suppose L is a smooth and strictly proper binary loss function. L を滑らかで厳密な二項損失関数とする。 0.67
For all a1, β1 ∈ [0, 1], the loss-corrected confidence score for Lβ1 defined by (7) is: (cβ1)−1(a1) = すべての a1, β1 ∈ [0, 1] に対して、 (7) で定義される Lβ1 の損失補正信頼スコアは (cβ1)−1(a1) = 0.79
(1 − β1)a1 (1 − β1)a1 0.46
(12) β1 + (1 − 2β1)a1 (12) β1 + (1 − 2β1)a1 0.42
. The loss-corrected confidence scores for our application are plotted in Figure 4. . アプリケーションに対する損失補正された信頼スコアを図4に示します。 0.57
The visual evidence is suggestive of calibration, which is consistent with the loss calibration suggested by Figure 3 and the connections between calibration, loss calibration, and loss-corrected confidence scores highlighted in Proposition 5. 視覚的な証拠は校正を示唆しており、図3が示唆する損失校正と、命題5で強調された校正、損失校正、損失補正信頼度スコアの間の関係と一致している。
訳抜け防止モード: 視覚的証拠はキャリブレーションの示唆であり、図3に示す損失キャリブレーションと一致する そして、キャリブレーション、損失キャリブレーション、損失の関連 - 提案5で強調された信頼度を補正した。
0.76
4 Value of Approach and Relation to the Literature We conclude with a summary of our loss-based approach and its relation to the literature. 4 文献に対するアプローチの価値と関連性については,損失に基づくアプローチと文献との関係をまとめて結論づける。 0.78
There are at least three reasons why our anthropomorphic model of algorithmic predictions is useful. アルゴリズム予測の擬人化モデルが有用である理由は少なくとも3つある。 0.73
First, it specifies an optimal scoring rule for any implicit posterior beliefs. まず、暗黙の後方信念に対して最適なスコアリングルールを指定する。 0.66
Evaluated at the posterior outcome probabilities we observe, this optimal scoring rule underlies the test of algorithmic optimality in loss calibration (2). この最適スコアリングルールは, 損失校正におけるアルゴリズム最適性の検証を基礎としている(第2報)。 0.68
More generally, inverting this optimal より一般的には この最適を反転させ 0.56
7 7 0.42
英語(論文から抽出)日本語訳スコア
scoring rule allows us to recover the algorithm’s implicit posteriors from reported scores. スコアリングルールは、報告されたスコアからアルゴリズムの暗黙の後方を復元することを可能にする。 0.54
In the case of binary classification with proper loss functions, this inversion is precisely our transformation for loss-corrected confidence scores (3). 適切な損失関数を持つ二分分類の場合、この反転は正確に損失補正信頼度スコアの変換(3)である。 0.82
Second, our loss-based model helps organize approaches to the class imbalance problem because it connects existing methods and can apply equally well to the scoring and prediction stages of classification. 第二に、損失に基づくモデルは、既存の手法を結合し、分類の採点および予測段階に等しく適用できるため、クラス不均衡問題へのアプローチを組織化するのに役立ちます。
訳抜け防止モード: 第二に、損失 - ベースモデルが役に立つ クラス不均衡問題へのアプローチを整理する 既存の手法を結びつけて 分類の採点と予測の段階に 等しく適用できるからです
0.82
As observed in Breiman, Friedman, Olshen, and Stone (1984), there is a close formal relationship between reweighting, resampling, and thresholding. Breiman, Friedman, Olshen, and Stone (1984) に見られるように、再重み付け、再サンプリング、しきい値付けの間には密接な関係がある。 0.72
In related work, Pozzolo, Caelen, Johnson, and Bontempi (2015) propose an analytical miscalibration correction for randomly undersampled data by framing the problem in terms of sample selection. 関連する研究において、Pozzolo, Caelen, Johnson, and Bontempi (2015) は、サンプル選択の観点から問題をフレーミングすることにより、ランダムにアンサンプされたデータに対する分析的誤校正法を提案する。 0.62
Adapted to our notation, their correction formula is: 我々の記法に適応した修正公式は 0.65
δa1 hδ(a1) = δa1 hδ(a1) = 0.37
1 + (δ − 1)a1 1 + (δ − 1)a1 0.47
(13) where δ = P(t = 1|y = 0) is the probability of randomly selecting t = 1 a negative instance in the undersampled data when all minority class instances are sampled, P(t = 1|y = 1) = 1. (13) δ = P(t = 1|y = 0) は、すべてのマイノリティクラスインスタンスがサンプリングされたとき、ランダムに t = 1 の負のインスタンスを選択する確率である(P(t = 1|y = 1) = 1 である)。 0.77
Our loss-based approach provides an intuitive logic for extending analytical recalibration approaches to multiclass problems (Proposition 4). ロスベースアプローチは,多クラス問題に対する解析的リカバリアプローチを拡張するための直感的論理を提供する(提案4)。 0.64
An alternative to resampling (or similarly reweighting) is varying the classification threshold(s) in the subsequent prediction stage (Elkan 2001). 再サンプリング(または同様の重み付け)の代替として、次の予測段階(elkan 2001)における分類しきい値の変更がある。 0.80
Our loss-based model provides a unified conceptual approach in that loss calibration (Definition 我々の損失ベースモデルは、損失校正における統一的な概念的アプローチを提供する(決定) 0.62
2) and the optimal choice rule (5) can be equally well applied to categorical predictions (A = Y ) as it can to continuous confidence scores. 2)および最適な選択規則(5)は、連続信頼度スコアにできる限りカテゴリ予測(a = y)にも等しく適用することができる。 0.82
Of course, the sufficiency of varying thresholds also raises the question of why reweighting or resampling of the training data is necessary at all (Elkan 2001). もちろん、異なるしきい値の十分性もまた、トレーニングデータの再重み付けや再サンプリングがなぜ必要かという疑問を提起する(Elkan 2001)。 0.70
This leads naturally to a question raised also by Provost (2000): can reweighting or resampling at the training stage systematically affect what the machine learns, rather than just how the machine reports its information? トレーニング段階で再重み付けや再サンプリングは、マシンが情報をどのように報告するかだけでなく、マシンが学習するものに体系的に影響を与え得るか?
訳抜け防止モード: このことがProvost (2000 ) の疑問に自然に導く : 再重み付けの可能性 トレーニング段階でのサンプリングは 機械が学習するものに系統的に影響を与えます マシンが情報をどう報告するかではなく
0.76
To the best of our knowledge, this remains an open question that may well depend on the specifics of the algorithmic training procedure. 私たちの知る限りでは、これはアルゴリズムのトレーニング手順の仕様に依存するような、未解決の質問です。 0.64
For example, Elkan (2001) predicts and finds little effect of resampling on standard Bayesian and decision tree learning models, yet it also seems possible that systematic deviations could arise with increasingly complex and hyperparametrized learning procedures. 例えば、elkan (2001) は、標準的なベイジアンおよび決定木学習モデルに対する再サンプリングの影響はほとんどないが、体系的な偏差はますます複雑でハイパーパラメータ化された学習手順によって生じる可能性がある。 0.75
Caplin, Martin, and Marx 2022 find and interpret evidence of such systematic deviations for a deep neural network model with early stopping, which suggests that reweighting impacts what the machine learns. Caplin、Martin、Marx 2022は、早期停止を伴うディープニューラルネットワークモデルに対するこのような体系的な偏差の証拠を発見し、解釈し、再重み付けがマシンが学習するものに影響を与えることを示唆している。
訳抜け防止モード: Caplin、Martin、Marx 2022は、早期停止を伴うディープニューラルネットワークモデルに対するこのような体系的な偏差の証拠を発見し、解釈する。 再重み付けは マシンの学習に影響を与えます
0.65
As the third and final contribution, our model can be generalized to also make predictions about what the machine learns, which helps to explain these systematic deviations. 第3の貢献として、このモデルを一般化して、マシンが何を学ぶかを予測することで、これらの系統的偏差を説明するのに役立ちます。 0.62
References Blackwell, David (1953). Blackwell, David (1953)を参照。 0.86
“Equivalent comparisons of experiments”. 「実験の等価比較」。 0.69
In: Annals of Mathemati- In: Annals of Mathemati- 0.50
cal Statistics, pp. 265–272. cal Statistics, pp. 265–272。 0.89
rep. working paper. Breiman, Leo, Jerome H Friedman, Richard A Olshen, and Charles J Stone (1984). 作業用紙です Breiman, Leo, Jerome H Friedman, Richard A Olshen, Charles J Stone (1984年) 0.62
Classifi- cation and Regression Trees. Classifi- カチオンと回帰木。 0.43
Wadsworth, Belmont, CA, USA. カリフォルニア州ベルモントのワズワース出身。 0.37
Buja, Andreas, Werner Stuetzle, and Yi Shen (2005). Buja, Andreas, Werner Stuetzle, Yi Shen (2005)。 0.36
“Loss functions for binary class probability estimation and classification: Structure and applications”. 「二項クラス確率推定と分類のためのロス関数:構造と応用」。 0.88
In: Working draft, November 3, p. 13. 原案は11月3日、p.13。 0.39
Caplin, Andrew and Daniel Martin (2015). カプリン、アンドリュー、ダニエル・マーティン(2015年)。 0.62
“A testable theory of imperfect perception”. 『不完全知覚の証明可能な理論』 0.67
In: The Economic Journal 125.582, pp. 184–202. 院 経済誌125.582, pp. 184–202。 0.48
Caplin, Andrew, Daniel Martin, and Philip Marx (2022). カプリン、アンドリュー、ダニエル・マーティン、フィリップ・マルクス(2022年)。 0.68
Modeling Machine Learning. 機械学習のモデリング。 0.85
Tech. Cosmides, Leda and John Tooby (1996). 技術だ Cosmides, Leda and John Tooby (1996)。 0.71
“Are humans good intuitive statisticians after all? rethinking some conclusions from the literature on judgment under uncertainty”. 「結局、人間は直感的な統計学者なのだろうか。不確実性下の判断に関する文献からいくつかの結論を再考しよう。」 0.54
In: Cognition 58.1, pp. 1–73. 書評 58.1, pp. 1–73。 0.61
DeGroot, Morris H and Stephen E Fienberg (1983). DeGroot, Morris H and Stephen E Fienberg (1983)。 0.82
“The comparison and evaluation of forecasters”. 『予報器の比較と評価』 0.56
In: Journal of the Royal Statistical Society: Series D (The Statistician) 32.1-2, pp. 12–22. Journal of the Royal Statistical Society: Series D (The Statistician) 32.1-2, pp. 12–22。 0.47
Deng, Jia et al (2009). deng, jia et al (2009)を参照。 0.72
“Imagenet: a large-scale hierarchial image database”. imagenet: 大規模な階層型イメージデータベース。 0.67
In: Computer Vision and Pattern Recognition (CVPR), pp. 248–255. In:コンピュータ Vision and Pattern Recognition (CVPR), pp. 248–255。 0.64
Elkan, Charles (2001). エルカン、チャールズ(2001年)。 0.72
“The foundations of cost-sensitive learning”. 「コストに敏感な学習の基礎」。 0.78
In: International Joint イン・インターナショナル・ジョイント 0.72
Conference on Artificial Intelligence (IJCAI), pp. 973–978. 人工知能会議(ijcai)、p.973-978。 0.67
8 8 0.42
英語(論文から抽出)日本語訳スコア
Guo, Chuan, Geoff Pleiss, Yu Sun, and Kilian Q. Weinberger (2017). Guo, Chuan, Geoff Pleiss, Yu Sun, Kilian Q. Weinberger (2017)。 0.40
“On calibration of modern neural networks”. 「現代のニューラルネットワークの校正について」。 0.62
In: International Conference on Machine Learning. 英語: International Conference on Machine Learning。 0.75
PMLR, pp. 1321–1330. pmlr、p.1321-1330。 0.60
Huang, Gao, Zhuang Liu, Kilian Q. Weinberger, and Laurens van der Maaten (2016). Huang, Gao, Zhuang Liu, Kilian Q. Weinberger, Laurens van der Maaten (2016)。 0.38
“Densely connected convolutional networks”. 「まじめに」 connected convolutional networks” (英語) 0.58
In: arXiv preprint arXiv:1608.06993. arXiv preprint arXiv:1608.06993 0.46
Ioffe, Sergey and Christian Szegedy (2015). ioffe, sergey and christian szegedy (2015)を参照。 0.62
“Batch normalization: accelerating deep network training by reducing internal covariate shift”. バッチ正規化: 内部共変量シフトの削減によるディープネットワークトレーニングの促進。 0.76
In: International Conference on Machine Learning (ICML), pp. 448–456. 国際機械学習会議(ICML)、p.448-456。 0.60
Jiang, Xiaoqian, Melanie Osl, Jihoon Kim, and Lucila Ohno-Machado (2012). Jiang, Xiaoqian, Melanie Osl, Jihoon Kim, Lucila Ohno-Machado (2012) 0.39
“Calibrating predictive model estimates to support personalized medicine”. パーソナライズされた医療を支援するための予測モデルの推定値のキャリブレーション」。 0.58
In: Journal of the American Medical Informatics Association 19.2, pp. 263–274. Journal of the American Medical Informatics Association 19.2, pp. 263–274。 0.43
Kingma, Diederik and Jimmy Ba (2014). Kingma, Diederik and Jimmy Ba (2014年) 0.69
“Adam: a method for stochastic optimization”. adam: 確率最適化の方法です。 0.51
In: arXiv preprint arXiv:1412.6980. 院 arXiv preprint arXiv:1412.6980 0.29
Kompa, Benjamin, Jasper Snoek, and Andrew L Beam (2021). コパン、ベンジャミン、ジャスパー・スヌーク、アンドリュー・l・ビーム(2021年)。 0.61
“Second opinion needed: communicating uncertainty in medical machine learning”. 医療機械学習における不確実性をコミュニケーションすること。 0.64
In: NPJ Digital Medicine 4.1, pp. 1–6. NPJ Digital Medicine 4.1, pp. 1-6。 0.84
Minderer, Matthias et al (2021). Minderer, Matthias et al (2021年)。 0.42
“Revisiting the calibration of modern neural networks”. 現代のニューラルネットワークの校正を再検討する”。 0.75
In: Neural Information Processing Systems (NeurIPS). 院 ニューラル情報処理システム(NeurIPS)。 0.44
Niculescu-Mizil, Alexandru and Rich Caruana (2005). Niculescu-Mizil, Alexandru and Rich Caruana (2005)。 0.48
“Predicting good probabilities with supervised learning”. 『教師付き学習による優れた確率予測』 0.68
In: Proceedings of the 22nd international conference on Machine learning, pp. 625–632. In: Proceedings of the 22th International Conference on Machine Learning, pp. 625–632。 0.94
Platt, John (1999). ジョン・プラット(1999年)。 0.70
“Probabilistic outputs for support vector machines and comparisons to regularized likelihood methods”. 「支持ベクトルマシンの確率出力と正規化可能性法との比較」 0.73
In: Advances in large margin classifiers 10.3, pp. 61–74. In: 大きなマージン分類器の進歩 : 10.3, pp. 61–74。 0.69
Pozzolo, Andrea Dal, Olivier Caelen, Reid A Johnson, and Gianluca Bontempi (2015). Pozzolo, Andrea Dal, Olivier Caelen, Reid A Johnson, Gianluca Bontempi (2015)。 0.39
“Calibrating Probability with Undersampling for Unbalanced Classification”. 「アンバランス分類のためのアンダーサンプリングによる確率の調整」 0.69
In: IEEE Symposium Series on Computational Intelligence, pp. 159–166. IEEE Symposium Series on Computational Intelligence, pp. 159–166。 0.38
Provost, Foster (2000). プロボスト、フォスター(2000年)。 0.59
“Machine learning from imbalanced datasets 101”. 「不均衡データセットからの機械学習101」 0.85
In: Proceedings of In:Proceedings of 0.33
the AAAI 2000 Workshop on Imbalanced Datasets. AAAI 2000 Workshop on Im Balanced Datasets(英語) 0.76
Vol. 68, pp. 1–3. vol.1。 68, pp. 1-3。 0.58
Raghu, Maithra et al (2019). raghu, maithra et al (2019)を参照。 0.82
“The algorithmic automation problem: Prediction, triage, and アルゴリズムによる自動化問題:予測、トリアージ、そして 0.75
human effort”. In: arXiv preprint arXiv:1903.12220. 人間の努力」。 arXiv preprint arXiv:1903.12220。 0.62
Rajpurkar, Pranav, Jeremy Irvin, Robyn L. Ball, et al (Nov. 2018). rajpurkar, pranav, jeremy irvin, robyn l. ball, et al (2018年11月)。 0.75
“Deep learning for chest radiograph diagnosis: A retrospective comparison of the CheXNeXt algorithm to practicing radiologists”. 胸部X線写真診断のための深層学習:CheXNeXtアルゴリズムと放射線科医との振り返りの比較」 0.78
In: PLOS Medicine 15, pp. 1–17. 書評:plos medicine 15, pp. 1-17。 0.69
Rajpurkar, Pranav, Jeremy Irvin, Kaylie Zhu, et al (2017). Rajpurkar, Pranav, Jeremy Irvin, Kaylie Zhu, et al (2017)。 0.42
“CheXNet: radiologist-level pneumonia detection on chest x-rays with deep learning”. CheXNet: 深層学習を伴う胸部X線における放射線医レベルの肺炎検出。 0.69
In: arXiv preprint arXiv:1711.05225. arXiv preprint arXiv:1711.05225。 0.43
Schotter, Andrew and Isabel Trevino (2014). スチョッター、アンドリュー、イザベル・トレヴィーノ(2014年)。 0.52
“Belief elicitation in the laboratory”. 『研究室での啓発を願う』。 0.56
In: Annu. Rev. Econ. In: Annu イーコン博士。 0.35
6.1, pp. 103–128. 6.1, pp. 103-128。 0.67
Shuford, Emir H, Arthur Albert, and H Edward Massengill (1966). シュフォード、エミール・h、アーサー・アルバート、h・エドワード・マッセンジル(1966年)。 0.57
“Admissible probability measurement procedures”. 『許容確率』 測定手順」。 0.72
In: Psychometrika 31.2, pp. 125–145. 原書:psychometrika 31.2, pp. 125-145。 0.58
Thai-Nghe, Nguyen, Zeno Gantner, and Lars Schmidt-Thieme (2010). タイ-nghe, nguyen, zeno gantner, lars schmidt-thieme (2010)。 0.64
“Cost-sensitive learning methods for imbalanced data”. 「不均衡データに対するコストセンシティブな学習方法」 0.73
In: The 2010 International joint conference on neural networks (IJCNN). 2010年、IJCNN(International Joint Conference on Neural Network)に参加。 0.75
IEEE, pp. 1–8. Wang, Xiaosong et al (2017). 同上、p.1-8。 wang, xiaosong et al (2017)を参照。 0.60
In: Proceedings of the IEEE conference on computer vision In:コンピュータビジョンに関するIEEEカンファレンスの開催 0.71
and pattern recognition, pp. 2097–2106. パターン認識, pp. 2097–2106。 0.80
Zadrozny, Bianca and Charles Elkan (2001). Zadrozny, Bianca and Charles Elkan (2001年) 0.74
“Obtaining calibrated probability estimates from decision trees and naive bayesian classifiers”. 「決定木とナイーブベイズ分類器から校正された確率推定値を得る。」 0.71
In: International Conference on Machine Learning (ICML), pp. 609–616. In: International Conference on Machine Learning (ICML), pp. 609-616。 0.42
– (2002). – (2002). 0.42
“Transforming classifier scores into accurate multiclass probability estimates”. 分類器スコアを正確な多クラス確率推定に変換する。 0.72
In: Knowledge Discovery and Data Mining (KDD), pp. 694–699. 院 知識発見とデータマイニング (kdd)、p. 694-699。 0.49
Zadrozny, Bianca, John Langford, and Naoki Abe (2003). ザドロズニー、ビアンカ、ジョン・ラングフォード、アベナキ(2003年)。 0.49
“Cost-sensitive learning by costproportionate example weighting”. コスト比例型例重み付けによるコストセンシティブな学習”。 0.60
In: Third IEEE international conference on data mining. In: データマイニングに関するIEEEの第3回国際会議。 0.67
IEEE, pp. 435–442. 同上、p.435-442。 0.54
9 9 0.43
英語(論文から抽出)日本語訳スコア
A Appendix for “Calibrating for Class Weights by Modeling モデリングによる"クラスウェイトキャリブレーション"のためのアペンディックス 0.79
Machine Learning” A.1 Proofs The following observation will be useful for subsequent results. 機械学習” A.1 証明 次の観察は、その後の結果に役立ちます。 0.57
It is immediate upon observing that the optimal solution is unchanged upon dividing the minimand by a constant P L(a) > 0 and invoking the law of conditional probability, P L(y|a) = P L(a, y)/P L(a). 最適解は、定数 P L(a) > 0 でミニマンドを割って条件確率の法則 P L(y|a) = P L(a, y)/P L(a) を呼び出すときに変化しない。 0.70
Lemma 1. P L(a, y) is loss-calibrated: レマ1号。 P L(a, y) は損失校正される。 0.60
a ∈ argmin a0∈A a ∈ argmin a0htmla 0.35
P L(a, y)L(a0, y) P L(a, y)L(a0, y) 0.46
for all a X y∈Y 全てのために X yhtmly 0.45
if and only if: if と if のみです。 0.81
a ∈ argmin a0∈A a ∈ argmin a0htmla 0.35
X y∈Y P L(y|a)L(a0, y) X yhtmly P L(y|a)L(a0, y) 0.52
for all observed a : P L(a) > 0. 観測されたすべてのa : P L(a) > 0。 0.86
In what follows, we recall and prove the formal propositions presented in the text. 以下では、テキストで提示された形式的命題を思い出し、証明する。 0.57
Proposition 1. P L is loss-calibrated if and only if it has an SBR. 第1話。 p l が sbr を持つときと場合に限り損失補償される。 0.48
Proof of Proposition 1. (Only if:) 命題1の証明。 (具体的には:) 0.55
Suppose P L is loss-calibrated. p l が損失補償であるとする。 0.52
As observed in the text, it suffices to show that S = A, π(a, y) = P L(a, y), and αa = a form an SBR representation. テキストで見られるように、S = A, π(a, y) = P L(a, y) および αa = a が SBR 表現であることを示すのに十分である。 0.84
Conditions 1 and 4 of Definition 3 are immediate. 定義3の条件1と条件4は即時である。 0.74
Condition 2 simply requires that posterior beliefs γa 条件2は単に後続の信念 γa を要求する。 0.60
y satisfy Bayes’ rule, so that the remaining condition 3 is satisfied if: y はベイズの規則を満たすので、残りの条件3が満たされる。 0.69
By loss calibration and Lemma 1, a ∈ argmin a0∈Rn 損失校正と補題1で a ∈ argmin a0htmlrn である。 0.52
P L(y|a)L(a0, y) P L(y|a)L(a0, y) 0.94
αa ∈ cL(P L(y|a)). αa ∈ cl(p l(y|a)) である。 0.64
X y X y Invoking αa = a and the definition of the optimal scoring rule cL, this yields the desired conclusion. X うん X うん αa = a と最適スコアリング規則 cL の定義を呼び出しれば、所望の結論が得られる。 0.50
(If:) We show the contrapositive. (もしそうなら) 反陽性を示します 0.62
Suppose P L is not loss-calibrated and fix a score a that is observed P L(a) > 0 and for which loss calibration is violated. p l が損失補償されていないと仮定し、p l(a) > 0 が観測され、損失校正が破られるスコア a を固定する。
訳抜け防止モード: P L が損失ではないと仮定し、P L(a ) > 0 のスコア a を校正して固定する。 損失キャリブレーションに 違反がある。
0.79
By Lemma 1, Lemma 1 による。 0.82
a /∈ argmin a0∈Rn a /servlet argmin a0servletrn です。 0.18
P L(y|a)L(a0, y) P L(y|a)L(a0, y) 0.94
Then for any statistical experiment π satisfying conditions 1,2, and 4, it must be that for all signal realizations s such that αs = a, we have αs /∈ cL(γs). すると、任意の統計実験 π が条件 1,2, 4 を満たすためには、αs = a となるすべての信号実現 s に対して αs /ψ cl(γs) が存在する必要がある。
訳抜け防止モード: そして、任意の統計実験 π を満たす条件 1,2, 4 について。 すべての信号実現 s に対して αs = a, αs/・cL(γs ) である。
0.83
Thus, there does not exist an SBR representation. したがって、SBR表現は存在しない。 0.69
Proposition 2 (Optimal Posterior Scores, Binary Class). Proposition 2 (Optimal Posterior Scores, Binary Class) の略。 0.87
Suppose L is a differentiable and strictly proper binary loss function. L を微分可能かつ厳密な二項損失関数とする。 0.75
For all γ1, β1 ∈ (0, 1), the optimal scoring rule for weighted loss Lβ1 defined by (7) is: すべての γ1, β1 ∈ (0, 1) に対して、(7) で定義される重み付き損失 Lβ1 の最適スコアリングルールは、
訳抜け防止モード: すべての γ1, β1 ∈ (0, 1) に対して 7)で定義される重み付き損失lβ1の最適得点規則は :
0.84
cβ1(γ1) = β1γ1 cβ1(γ1) = β1γ1 0.31
1 − β1 − γ1 + 2β1γ1 1 − β1 − γ1 + 2β1γ1 0.34
Proof of Proposition 2. By definition (5), the choice rule cβ1(γ1) satisfies: γ1β1L(a1, 1) + (1 − γ1)(1 − β1)L(a1, 0) 命題2の証明。 定義 (5) により、選択規則 cβ1(γ1) は γ1β1L(a1, 1) + (1 − γ1)(1 − β1)L(a1, 0) を満たす。 0.55
cβ1(γ1) ∈ argmin a1∈R cβ1(γ1) ∈ argmin a1htmlr 0.32
Since L(·, y) is differentiable for each y ∈ {0, 1}, a necessary condition for any interior minimizer a∗ L(·, y) は各 y ∈ {0, 1} に対して微分可能であるので、任意の内部最小化 a∗ に対して必要条件となる。
訳抜け防止モード: L ( ·, y ) は各 y ∈ { 0, 1 } に対して微分可能である。 任意の内部最小化 a∗ に必要な条件
0.80
1 ∈ cβ1(γ1) is: 1 ∈ cβ1(γ1) は 0.92
γ1β1 ∂L(a∗ ∂a1 γ1β1 ・L(a∗ ・a1) 0.29
1, 1) + (1 − γ1)(1 − β1) ∂L(a∗ 1, 1) + (1 − γ1)(1 − β1) ∂L(a∗ 0.44
1, 0) = 0 ∂a1 1, 0) = 0 ∂a1 0.38
10 10 0.42
英語(論文から抽出)日本語訳スコア
Invoking the strictly proper characterization (6) and collecting terms, 厳密な適正な特質(6)を呼び出して,用語を収集する 0.68
w(a∗ 1)[(1 − β1 − γ1 + 2β1γ1)a∗ w(a∗) 1)[(1 − β1 − γ1 + 2β1γ1)a∗ 0.44
1 − β1γ1] = 0 1 − β1γ1] = 0 0.41
Since w(a∗ 1) > 0, this condition is also sufficient and implies: w(a∗) なので 1)>0, この条件も十分であり, 示唆する。 0.65
a∗ 1 = β1γ1 a∗ 1 = β1γ1 0.35
1 − β1 − γ1 + 2β1γ1 1 − β1 − γ1 + 2β1γ1 0.34
which yields the desired choice rule. 望ましい選択ルールが得られます。 0.74
Finally, note that the desired choice rule satisfies cβ1(γ1) ∈ (0, 1) for all β1, γ1 ∈ (0, 1). 最後に、望ましい選択規則はすべての β1, γ1 ∈ (0, 1) に対して cβ1(γ1) ∈ (0, 1) を満たす。 0.87
Proposition 3 (Optimal Posterior Scores, Multi-Class). Proposition 3 (Optimal Posterior Scores, Multi-Class)。 0.45
Suppose L is a smooth and strictly proper binary loss function. L を滑らかで厳密な二項損失関数とする。 0.67
For all posteriors γ and positive weight matrices β, the optimal scoring rule for Lβ defined by (9) is: すべての後続γおよび正重行列 β に対して、(9) で定義される Lβ の最適スコアリング規則は次の通りである。 0.71
Proof of Proposition 3. By definition (5), the choice rule cβ(γ) satisfies: 命題3の証明。 定義 (5) では、選択規則 cβ(γ) が満たされる。 0.52
P y(γ) = cβ P y(γ) = cβ 0.46
γyβy,y y0∈Y γy0βy0,y γyβy,y y0~Y γy0βy0,y 0.33
cβ(γ) ∈ argmin a∈(0,1)n cβ(γ) ∈ argmin(0,1)n 0.48
γyLβ(a, y0) γyLβ(a, y0) 0.41
X y0∈Y y,y0∈Y X y0-Y y,y0htmly です。 0.31
X + (X y − 1) + (X P X + (X y − 1) + (X P) 0.45
γyβy,y y06=y γyβy,y y06=y 0.29
y06=y a∗ y = y06=y a∗ y = 0.35
y0∈Y γy0βy0,y y0~Y γy0βy0,y 0.33
or, upon substituting the definition of Lβ(a, y0) from (9) (with the roles of y and y0 reversed), または、(9) から Lβ(a, y0) の定義を代入する(y と y0 の役割が逆転)。 0.81
cβ(γ) ∈ argmin a∈(0,1)n cβ(γ) ∈ argmin(0,1)n 0.48
γy0βy0,yL(ay, I{y0 = y}) γy0βy0,yL(ay, I{y0 = y}) 0.41
A necessary condition for a loss-minimizing confidence score a∗ γy0βy0,y) ∂L(a∗ y, 0) 損失最小信頼スコア a∗ γy0βy0,y) ∂l(a∗ y, 0) に必要な条件 0.73
y, 1) γyβy,y y, 1) γyβy,y 0.38
= 0 y for outcome y is: = 0 y for outcome y は 0.54
∂L(a∗ ∂ay ∂l(a∗ ∂ay) 0.29
∂ay Invoking the strictly proper characterization (6) and collecting terms, ∂ay 厳密な適正な特質(6)を呼び出して,用語を収集する 0.54
w(a∗ y)[γyβy,y(a∗ w(a∗) y)[γyβy,y(a∗) 0.65
γy0βy0,y)a∗ γy0βy0,y)a∗ 0.29
y] = 0 As in the proof of the binary case (Proposition 2), since w(a∗ sufficient and implies: y] = 0 二項の場合の証明(命題2)のように、w(a∗) は十分であり、意味する。
訳抜け防止モード: y] = 0 二項の場合の証明(命題2)のように w(a∗ ) が十分で、その意味は:
0.55
1) > 0, this condition is also 1)>0、これも条件である。 0.80
y(γ) ∈ (0, 1) for all labels y. すべてのラベル y に対して y(γ) ∈ (0, 1) となる。 0.80
which yields the desired choice rule. 望ましい選択ルールが得られます。 0.74
Since β, γ ≥ 0, it is evident that this choice rule indeed satisfies cβ Proposition 4 (Loss-Corrected Confidence Score for an Invertible Scoring Rule). β, γ ≥ 0 であるから、この選択規則が実際に cβ 命題 4 (Loss-Corrected Confidence Score for an Invertible Scoring Rule) を満たすことは明らかである。 0.78
Suppose cL(γ) is single-valued and invertible and confidence scores are loss-calibrated. cL(γ) が単値で可逆であり、信頼スコアが損失校正であると仮定する。 0.60
For any a such that P(a) > 0, the posterior distribution over labels is recovered by inverting the choice rule: P(a) > 0 となる任意の a に対して、ラベル上の後続分布は、選択規則を反転させることで回復される。 0.65
P(·|a) = (cL)−1(a) P(·|a) = (cL)−1(a) 0.48
Proof of Proposition 4. Because cL(γ) is single-valued and confidence scores are losscalibrated and by Lemma 1, 命題4の証明。 cL(γ) は単値であり、信頼度スコアは損失校正され、Lemma 1 による。 0.58
a = argmin a0∈A a = argmin a0servleta 0.31
P L(y|a)L(a0, y) P L(y|a)L(a0, y) 0.94
X y∈Y which by definition (5) implies: a = cL(P(·|a)) where P(·|a) is the posterior distribution over labels given a. X yhtmly a = cl(p(·|a)) ここで p(·|a) は a が与えられたラベルに対する後方分布である。 0.41
Finally, inverting the optimal posterior scoring rule cL(·) yields the desired result: 最後に、最適後続スコアリングルールcL(·)を反転すると、所望の結果が得られる。 0.67
(cL)−1(a) = P(·|a). (cl)−1(a) = p(·|a) である。 0.74
11 11 0.43
英語(論文から抽出)日本語訳スコア
Proposition 5. Suppose cL(γ) is single-valued and invertible. 第5話。 cL(γ) は単値で可逆であるとする。 0.54
Then scores are loss-calibrated if and only if loss-corrected scores are calibrated. そして、損失補正スコアが校正された場合に限り、損失校正される。 0.63
Proof of Proposition 5. The “if” direction is a rephrasing of Proposition 4. 命題5の証明。 if”方向は命題4の言い換えである。 0.54
For the reverse direction, the loss corrected scores (cL)−1(a) are calibrated only if 11 holds. 逆方向の場合、損失補正スコア(cL)−1(a)は11が保持した場合のみ校正される。 0.84
Applying the invertible function cL(a) to both sides of (11) and invoking Lemma 1 yields the desired result. 可逆関数 cL(a) を(11) の両側に適用し、Lemma 1 を呼び出すと、所望の結果が得られる。 0.76
A.2 Technical Details We summarize details of the training procedure that generated the data in Figures 1, 3, and 4. A.2 技術的な詳細 データを生成したトレーニング手順の詳細を図1、図3、図4にまとめます。 0.56
We essentially replicate the pneumonia detection task of Rajpurkar, Irvin, Zhu, et al (2017), in which a deep neural network was trained on a the ChestX-ray14 dataset of Wang et al (2017). 我々は基本的にRajpurkar, Irvin, Zhu, et al(2017)の肺炎検出タスクを再現し,Wang et al(2017)のChestX-ray14データセットで深部ニューラルネットワークをトレーニングした。 0.71
Our code for model training is adapted from the publicly available codebase of Rajpurkar, Irvin, Ball, et al (2018). モデルトレーニングのコードは、Rajpurkar, Irvin, Ball, et al (2018)の公開コードベースから適応しています。 0.75
The ChextX-ray14 dataset consists of 112,120 frontal chest X-rays which were synthetically labeled with up to fourteen thoracic diseases. chextx-ray14データセットは、112,120個の前部胸部x線からなり、最大14個の胸部疾患と合成された。 0.52
In the binary classification task, the labels of interest are pneumonia (y = 1) or not (y = 0). 二項分類タスクでは、興味のあるラベルは肺炎(y = 1)または not(y = 0)である。 0.81
We consider multiple positive class weights β1 = 0.5, 0.9, 0.99, with 0.99 approximately equal to the inverse probability class weights adopted in Rajpurkar, Irvin, Zhu, et al (2017). 複数の正のクラス重み β1 = 0.5, 0.9, 0.99 であり、0.99 はラジュプルカル、アービン、ズー(2017)で採用されている逆確率クラス重みとほぼ等しい。 0.66
As in Rajpurkar, Irvin, Zhu, et al (2017), we downscale the images to 224 by 224 pixels, adopt random horizontal flipping, and normalize based on the mean and standard deviation of images in the ImageNet dataset (Deng et al 2009). Rajpurkar, Irvin, Zhu, et al (2017)のように、画像を224×224ピクセルにダウンスケールし、ランダムな水平反転を採用し、ImageNetデータセット(Deng et al 2009)における画像の平均と標準偏差に基づいて正規化します。 0.81
For each model, we train a 121-layer dense convolutional neural network (DenseNet, Huang, Liu, Weinberger, and Maaten 2016) with weights of the network initialized to those pretrained on ImageNet, using Adam with standard parameters 0.9 and 0.999 (Kingma and Ba 2014), using batch normalization (Ioffe and Szegedy 2015), and with mini-batches of size 16. 各モデルについて121層密畳み込みニューラルネットワーク(densenet、huang、liu、weinberger、maaten 2016)をトレーニングし、imagenetでトレーニングされたネットワークの重みを、標準パラメータ0.999と0.999(kingmaとba 2014)のadamを使用して、バッチ正規化(ioffeとszegedy 2015)、サイズ16のミニバッチを用いてトレーニングした。 0.76
We use an initial learning rate of 0.0001 that is decayed by a factor of 10 each time the validation loss plateaus after an epoch, and we conduct early stopping based on validation loss. 本研究では, 検証損失高原が出現する度に10の係数で減衰する0.0001の初回学習率を用い, 検証損失に基づいて早期に停止を行う。 0.74
Each model was trained using either an Nvidia Tesla V100 16GB GPU or an Nvidia Tesla A100 40GB GPU on the Louisiana State University or Northwestern University high performance computing clusters, respectively. 各モデルは、それぞれ、ルイジアナ州立大学のNvidia Tesla V100 16GB GPUまたはNvidia Tesla A100 40GB GPUを使用してトレーニングされた。
訳抜け防止モード: 各モデルはNvidia Tesla V100 16 GB GPUを使用してトレーニングされた またはルイジアナ州立大学のNvidia Tesla A100 40 GB GPU あるいはノースウェスタン大学のハイパフォーマンスコンピューティングクラスタだ。
0.88
The training of a model typically lasted between one and two hours. モデルのトレーニングは通常、1時間から2時間の間に行われた。 0.68
In addition to varying class weights, the main difference in our implementation and the implementation of Rajpurkar, Irvin, Zhu, et al (2017) are our data splits and our recourse to additional ensemble methods to account for randomness in the training procedure. クラス重みの変化に加えて、Rajpurkar, Irvin, Zhu, et al (2017) の実装と実装の主な違いは、トレーニング手順におけるランダム性を考慮に入れた追加のアンサンブル手法に関する私たちのデータ分割とレコメンデーションである。 0.74
Specifically, we adopt a nested cross-validation approach where we randomly split the dataset into ten approximately equal folds and then iterate through 70-20-10 train-validation-tes t splits (the split distribution also used in Wang et al 2017 and a secondary application of Rajpurkar, Irvin, Zhu, et al 2017). 具体的には、ネストしたクロスバリデーションアプローチを採用して、データセットをランダムに10のほぼ等しい折り畳みに分割し、70~20-10の列車検証-テスト分割を繰り返す(Wang et al 2017や、Rajpurkar, Irvin, Zhu, et al 2017)。 0.64
We train a total of 400 models, yielding an ensemble of 80 trained models for each observation in the dataset where that observation was in a test fold. 私たちは合計400のモデルをトレーニングし、その観察がテストフォールドにあるデータセットの各観察用に80のトレーニングされたモデルをアンサンブルします。 0.80
The final score for each observation in the dataset is then obtained by averaging confidence scores across the observation’s ensemble. データセット内の各観測値の最終的なスコアは、観測者のアンサンブル全体の信頼度スコア平均化によって得られる。 0.72
This procedure is repeated on the same set of data splits for each weight β = 0.5, 0.9, 0.99 we consider. この手順は、各重み β = 0.5, 0.9, 0.99 に対して同じデータ分割の集合で繰り返される。 0.81
12 12 0.42
                         ページの最初に戻る

翻訳にはFugu-Machine Translatorを利用しています。