論文の概要: Evaluating Out-of-Distribution Performance on Document Image Classifiers
- arxiv url: http://arxiv.org/abs/2210.07448v1
- Date: Fri, 14 Oct 2022 01:24:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 15:05:51.397453
- Title: Evaluating Out-of-Distribution Performance on Document Image Classifiers
- Title（参考訳）: 文書画像分類器における分散性能の評価
- Authors: Stefan Larson, Gordon Lim, Yutong Ai, David Kuang, Kevin Leach
- Abstract要約: RVL-CDIPコーパスは文書分類のデファクト標準ベンチマークである。
このコーパスを使用するすべての研究は、アウト・オブ・ディストリビューション・ドキュメントの評価を含まない。
我々の新しいベンチマークは、アウト・オブ・ディストリビューション文書のパフォーマンスを分析するための貴重な新しいリソースを研究者に提供する。
- 参考スコア（独自算出の注目度）: 2.9962867693321473
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ability of a document classifier to handle inputs that are drawn from a
distribution different from the training distribution is crucial for robust
deployment and generalizability. The RVL-CDIP corpus is the de facto standard
benchmark for document classification, yet to our knowledge all studies that
use this corpus do not include evaluation on out-of-distribution documents. In
this paper, we curate and release a new out-of-distribution benchmark for
evaluating out-of-distribution performance for document classifiers. Our new
out-of-distribution benchmark consists of two types of documents: those that
are not part of any of the 16 in-domain RVL-CDIP categories (RVL-CDIP-O), and
those that are one of the 16 in-domain categories yet are drawn from a
distribution different from that of the original RVL-CDIP dataset (RVL-CDIP-N).
While prior work on document classification for in-domain RVL-CDIP documents
reports high accuracy scores, we find that these models exhibit accuracy drops
of between roughly 15-30% on our new out-of-domain RVL-CDIP-N benchmark, and
further struggle to distinguish between in-domain RVL-CDIP-N and out-of-domain
RVL-CDIP-O inputs. Our new benchmark provides researchers with a valuable new
resource for analyzing out-of-distribution performance on document classifiers.
Our new out-of-distribution data can be found at https://tinyurl.com/4he6my23.
- Abstract（参考訳）: トレーニングディストリビューションとは異なるディストリビューションから引き出された入力を処理する文書分類器の能力は、ロバストなデプロイメントと一般化可能性に不可欠である。
RVL-CDIPコーパスは、文書分類のデファクト標準ベンチマークであるが、我々の知識では、このコーパスを使用するすべての研究は、配布外文書の評価を含まない。
本稿では,文書分類器の分散性能を評価するための新しい分散性能ベンチマークをキュレートし,公開する。
我々の新しいアウト・オブ・ディストリビューション・ベンチマークは2つのタイプの文書で構成されている: RVL-CDIPカテゴリ(RVL-CDIP-O)のいずれにも属さない文書と、16のドメインカテゴリのうちの1つである文書は、元のRVL-CDIPデータセット(RVL-CDIP-N)とは異なる分布から抽出される。
文書分類に関する先行研究では高い精度のスコアが報告されているが、これらのモデルは新たな領域外RVL-CDIP-Nベンチマークで約15～30%の精度低下を示し、領域内RVL-CDIP-Nと領域外RVL-CDIP-Oの区別に苦慮している。
当社の新しいベンチマークは,ドキュメント分類器の分散性能を分析する上で,研究者に有用な新しいリソースを提供します。
当社の新しいアウトオブディストリビューションデータは、https://tinyurl.com/4he6my23で参照できます。
関連論文リスト
- On Evaluation of Document Classification using RVL-CDIP [3.575650613011277]
RVL-CDIPベンチマークは文書分類作業の性能測定に広く用いられている。
RVL-CDIPベンチマークの好ましくない特徴をいくつか明らかにした。
我々は、新しい文書分類ベンチマークの作成を提唱し、そのようなリソースがどのような特徴を持つべきかを推奨する。
論文 参考訳（メタデータ） (2023-06-21T20:32:22Z) - Do-GOOD: Towards Distribution Shift Evaluation for Pre-Trained Visual
Document Understanding Models [68.12229916000584]
本研究では,文書画像関連タスクの微粒化解析のためのDO-GOOD(Out-of-distriion)ベンチマークを開発した。
次に、ロバスト性を評価し、5つの最新のVDU事前学習モデルと2つの典型的なOOD一般化アルゴリズムのきめ細かい解析を行う。
論文 参考訳（メタデータ） (2023-06-05T06:50:42Z) - Revisiting Long-tailed Image Classification: Survey and Benchmarks with
New Evaluation Metrics [88.39382177059747]
メトリクスのコーパスは、長い尾の分布で学習するアルゴリズムの正確性、堅牢性、およびバウンダリを測定するために設計されている。
ベンチマークに基づいて,CIFAR10およびCIFAR100データセット上での既存手法の性能を再評価する。
論文 参考訳（メタデータ） (2023-02-03T02:40:54Z) - An Upper Bound for the Distribution Overlap Index and Its Applications [18.481370450591317]
本稿では,2つの確率分布間の重なり関数に対する計算容易な上限を提案する。
提案した境界は、一級分類と領域シフト解析においてその値を示す。
私たちの研究は、重複ベースのメトリクスの応用を拡大する大きな可能性を示しています。
論文 参考訳（メタデータ） (2022-12-16T20:02:03Z) - Explaining Cross-Domain Recognition with Interpretable Deep Classifier [100.63114424262234]
解釈可能なDeep(IDC)は、ターゲットサンプルの最も近いソースサンプルを、分類器が決定を下す証拠として学習する。
我々のIDCは、精度の劣化がほとんどなく、最適なリジェクションオプションの分類を効果的に調整する、より説明可能なモデルに導かれる。
論文 参考訳（メタデータ） (2022-11-15T15:58:56Z) - Few-Shot Document-Level Relation Extraction [0.0]
文書レベルの関係抽出ベンチマーク(FSDLRE)を提案する。
文書レベルのコーパスは、特にNOTA(non-of-a-a-a-a-be-a-a-Be-Be-Be-(NOTA)分布に関して、よりリアリズムをもたらすと論じる。
我々は、最先端の文レベル手法であるMNAVを文書レベルに適応させ、ドメイン適応を改善するためにさらに開発する。
論文 参考訳（メタデータ） (2022-05-04T13:16:19Z) - Out-of-Category Document Identification Using Target-Category Names as
Weak Supervision [64.671654559798]
Out-of-category Detection は、文書が不適格(またはターゲット)カテゴリと意味的関連性に応じて区別することを目的としている。
対象のカテゴリの1つに属する文書の信頼性を効果的に測定する,カテゴリ外検出フレームワークを提案する。
論文 参考訳（メタデータ） (2021-11-24T21:01:25Z) - Exploring Out-of-Distribution Generalization in Text Classifiers Trained
on Tobacco-3482 and RVL-CDIP [0.6871147064097144]
本稿では,標準文書分類データセットに基づいて訓練されたテキスト分類器を用いて,推論時にアウト・オブ・ディストリビューション文書に一般化する能力について検討する。
Tobacco-3482 と RVL-CDIP データセットを出発点として,新たなアウト・オブ・ディストリビューション評価データセットを生成する。
より小さなTobacco-3482データセットでトレーニングされたモデルは、我々の新しいアウト・オブ・ディストリビューション・データでは性能が悪く、大きなRVL-CDIPでトレーニングされたテキスト分類モデルは、より少ない性能低下を示す。
論文 参考訳（メタデータ） (2021-08-05T15:34:56Z) - Generalized Focal Loss: Learning Qualified and Distributed Bounding
Boxes for Dense Object Detection [85.53263670166304]
一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。
1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。
本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
論文 参考訳（メタデータ） (2020-06-08T07:24:33Z) - Towards Fair Cross-Domain Adaptation via Generative Learning [50.76694500782927]
ドメイン適応(DA)は、よくラベル付けされたソースドメイン上でトレーニングされたモデルを、異なる分散に横たわる未ラベルのターゲットドメインに適応することを目的としています。
本研究では,新規な生成的Few-shot Cross-Domain Adaptation (GFCA) アルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-03-04T23:25:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。