論文の概要: Incorporating Crowdsourced Annotator Distributions into Ensemble
Modeling to Improve Classification Trustworthiness for Ancient Greek Papyri
- arxiv url: http://arxiv.org/abs/2210.16380v3
- Date: Wed, 6 Dec 2023 18:06:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-07 19:38:36.761274
- Title: Incorporating Crowdsourced Annotator Distributions into Ensemble
Modeling to Improve Classification Trustworthiness for Ancient Greek Papyri
- Title（参考訳）: 古代ギリシアパピルの分類信頼性向上のためのアンサンブルモデリングへのクラウドソーシングアノテータ分布の導入
- Authors: Graham West, Matthew I. Swindall, Ben Keener, Timothy Player, Alex C.
Williams, James H. Brusuelas, John F. Wallin
- Abstract要約: このようなデータセットの問題を複雑にする2つの問題は、クラス不均衡とラベリングにおける地道不確実性である。
このようなデータセットに対するアンサンブルモデリングの応用は、地上の真実が疑問視されている画像を特定し、それらのサンプルの信頼性を定量化するのに役立ちます。
- 参考スコア（独自算出の注目度）: 3.870354915766567
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Performing classification on noisy, crowdsourced image datasets can prove
challenging even for the best neural networks. Two issues which complicate the
problem on such datasets are class imbalance and ground-truth uncertainty in
labeling. The AL-ALL and AL-PUB datasets - consisting of tightly cropped,
individual characters from images of ancient Greek papyri - are strongly
affected by both issues. The application of ensemble modeling to such datasets
can help identify images where the ground-truth is questionable and quantify
the trustworthiness of those samples. As such, we apply stacked generalization
consisting of nearly identical ResNets with different loss functions: one
utilizing sparse cross-entropy (CXE) and the other Kullback-Liebler Divergence
(KLD). Both networks use labels drawn from a crowd-sourced consensus. This
consensus is derived from a Normalized Distribution of Annotations (NDA) based
on all annotations for a given character in the dataset. For the second
network, the KLD is calculated with respect to the NDA. For our ensemble model,
we apply a k-nearest neighbors model to the outputs of the CXE and KLD
networks. Individually, the ResNet models have approximately 93% accuracy,
while the ensemble model achieves an accuracy of > 95%, increasing the
classification trustworthiness. We also perform an analysis of the Shannon
entropy of the various models' output distributions to measure classification
uncertainty. Our results suggest that entropy is useful for predicting model
misclassifications.
- Abstract（参考訳）: ノイズの多いクラウドソースのイメージデータセットで分類を行うことは、最高のニューラルネットワークでも困難である。
このようなデータセットの問題を複雑にする2つの問題は、クラス不均衡とラベル付けの不確実性である。
AL-ALLとAL-PUBのデータセットは、古代ギリシアのパピルス像から密に収穫された個々の文字で構成されている。
このようなデータセットへのアンサンブルモデリングの適用は、接地が疑わしい画像を特定し、それらのサンプルの信頼性を定量化するのに役立ちます。
そこで,sparse cross-entropy (cxe) と kullback-liebler divergence (kld) を用いて,損失関数の異なるほぼ同一のresnet からなるスタック一般化を適用した。
どちらのネットワークも、クラウドソースによるコンセンサスからのラベルを使用している。
このコンセンサスは、データセット内のある文字に対するすべてのアノテーションに基づくアノテーションの正規化分布(nda)に由来する。
第2のネットワークでは、KLDはNDAに対して計算される。
我々のアンサンブルモデルでは、cxe と kld ネットワークの出力に k-nearest neighbors モデルを適用する。
個々のResNetモデルはおよそ93%の精度で、アンサンブルモデルは95%の精度で分類信頼性を高めている。
また,様々なモデルの出力分布のシャノンエントロピーの解析を行い,分類の不確かさを測定した。
その結果,エントロピーはモデル誤分類の予測に有用であることが示唆された。
関連論文リスト
- Fair GANs through model rebalancing for extremely imbalanced class
distributions [5.463417677777276]
本稿では,既存のバイアス付きGANからGAN(unbiased generative adversarial Network)を構築するためのアプローチを提案する。
Flickr Faces High Quality (FFHQ) データセットを用いて、人種的公平性をトレーニングしながら、StyleGAN2モデルの結果を示す。
また,不均衡なCIFAR10データセットに適用することで,我々のアプローチをさらに検証する。
論文 参考訳（メタデータ） (2023-08-16T19:20:06Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳（メタデータ） (2023-05-23T12:05:09Z) - Variational Classification [51.2541371924591]
我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。
軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。
我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
論文 参考訳（メタデータ） (2023-05-17T17:47:19Z) - Understanding Gender and Racial Disparities in Image Recognition Models [0.0]
クロスエントロピーを用いたマルチラベルソフトマックスの損失を,多ラベル分類問題における二進的クロスエントロピーの代わりに損失関数として検討する。
MR2データセットを用いて、モデル結果の公平性を評価し、モデルのアクティベーションを見て誤りを解釈し、可能な修正を提案する。
論文 参考訳（メタデータ） (2021-07-20T01:05:31Z) - Predicting with Confidence on Unseen Distributions [90.68414180153897]
ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。
分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。
具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
論文 参考訳（メタデータ） (2021-07-07T15:50:18Z) - GraphAnoGAN: Detecting Anomalous Snapshots from Attributed Graphs [36.00861758441135]
異常なスナップショットランキングフレームワークであるGraphAnoGANを提案する。
2つのコアコンポーネント - 生成モデルと識別モデル - で構成されている。
4つの実世界のネットワークでの実験では、GraphAnoGANは6つのベースラインをはるかに上回っている。
論文 参考訳（メタデータ） (2021-06-29T15:35:37Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Understanding Anomaly Detection with Deep Invertible Networks through
Hierarchies of Distributions and Features [4.25227087152716]
畳み込みネットワークは、任意の自然言語データセットでトレーニングされた場合、同様の低レベルの特徴分布を学習する。
inlier とoutlier の識別的特徴が高いレベルにある場合、異常検出は特に困難になる。
モデルバイアスとドメインが高レベルの差を検出する前に負の影響を除去する2つの方法を提案する。
論文 参考訳（メタデータ） (2020-06-18T20:56:14Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳（メタデータ） (2020-03-04T12:27:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。