Fugu-MT 論文翻訳(概要): Data Quality in RVL-CDIP: A Systematic Audit

論文の概要: Data Quality in RVL-CDIP: A Systematic Audit

arxiv url: http://arxiv.org/abs/2610.32126v1
Date: Fri, 23 Oct 2026 03:52:03 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-27 01:38:06.338761
Title: Data Quality in RVL-CDIP: A Systematic Audit
Title（参考訳）: RVL-CDIPにおけるデータ品質 : システム監査
Abstract要約: RVL-CDIPは文書分類のデファクト標準ベンチマークである。データ品質の問題に対してRVL-CDIPを監査し、40万件の文書の約10.5%が誤ラベルであることを確認した。我々は25のモデルを再ベンチマークし、すべての欠陥を再現し、再トレーニングした13は元の状態よりも0.9から2.9ポイント正確である。
参考スコア（独自算出の注目度）: 5.1746861916158196
License: http://creativecommons.org/licenses/by/4.0/
Abstract: RVL-CDIP is the de facto standard benchmark for document classification, and reported accuracy on it is now 98.8%. In this paper, we audit RVL-CDIP for data quality issues and find that approximately 10.5% of its 400,000 documents have erroneous labels and that 35.2% of the test set has a duplicate or near-duplicate in the training set. Identification codes on the pages are sufficient to classify at 69% accuracy, and a state-of-the-art model loses 11 points without them. Image-only models trained on RVL-CDIP lose 16 to 28 points on documents from other sources, and the choice of OCR engine changes accuracy by 4.1 to 8.3 points. We find that nearly 16,000 RVL-CDIP documents contain sensitive personal data, and produce de-identified versions of these documents. We re-benchmark 25 models, and with all defects remediated, the 13 that we retrain are 0.9 to 2.9 points more accurate than in the original condition; the most accurate of them, LayoutLMv3, is 96.5% accurate. We release the corrected corpus, the annotations and the out-of-distribution data.
Abstract（参考訳）: RVL-CDIPは文書分類のデファクト標準ベンチマークであり、その精度は98.8%と報告されている。本稿では,データ品質問題に対するRVL-CDIP検査を行い,40万件の文書の約10.5%が誤ラベルであり,テストセットの35.2%が重複あるいはほぼ重複していることを確認した。ページ上の識別コードは69%の精度で分類するのに十分であり、最先端のモデルでは11ポイントを失う。 RVL-CDIPで訓練された画像のみのモデルは、他のソースから16点から28点が失われ、OCRエンジンの選択は4.1点から8.3点に精度が変化した。約16,000のRVL-CDIP文書には機密データが含まれており、これらの文書の特定されていないバージョンを生成する。 25のモデルを再ベンチマークし、すべての欠陥を再現し、再トレーニングした13は元の状態よりも0.9から2.9ポイント正確であり、最も正確なLayoutLMv3は96.5%の精度である。修正されたコーパス、アノテーション、配布外データをリリースします。

関連論文リスト

Leakage-Resistant Evaluation of AI-Generated Database Specifications in Specification-Driven Migration [0.0]
ベンチマークには、19の品質指標を7次元に分類した494のラベル付きソースペアが含まれている。地下の真実は推論から機械的に封印され、カナリアおよびラベル置換テストでチェックされる。
論文参考訳（メタデータ） (2026-10-08T22:35:57Z)
PlotGround: Grounding Plot Digitization in Real Scientific Figures and Their Source Data [59.0159091964132]
PlotGroundは、実際の科学的数字と著者がリリースしたソースデータからプロットのデジタル化ベンチマークを構築するための、自動パイプラインである。 PlotGroundは、フィギュアをソーステーブルにマップし、再構成可能なパネルを特定し、ソース基底参照値で定量的な質問を生成する。 PlotGroundを使ってPlotGround-1kを構築します。これは1,066 BioRxivのプレプリントから1,119の質問を人力検証したベンチマークです。
論文参考訳（メタデータ） (2026-10-05T17:57:19Z)
IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。 IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
論文参考訳（メタデータ） (2026-09-09T17:59:04Z)
HIRA: A Human-in-the-Loop Retrieval-Augmented Cascade for Document Classification in Regulated Industries [1.5965246343492343]
HIRAは、トレーニング不要でオンプレミスの検索拡張された、規制されたデプロイメントにおけるドキュメント分類のためのカスケードである。信頼された文書は、検索によって直接分類され、不確実または視覚的に不確実な文書は、ローカルにホストされた検証者に渡される。プライベートな80クラスのトレーディングファイナンスコーパスでは、HIRAが30,233のドキュメント生成ストリームを処理し、わずか1,945のドキュメントに対して人間の修正を要求する。
論文参考訳（メタデータ） (2026-08-22T06:19:19Z)
Revising RVL-CDIP: Quantifying Errors and Test-Train Overlap [3.4560801215716648]
ラベルエラーやテストトレインオーバーラップ修正によるRVL-CDIPのバリエーションと,これらの新しいバリエーションに対する文書分類性能のベンチマークを行う。 RVL-CDIPの厳密な解析により, コーパスには12%のラベル誤りと約35%のテストトレイン重複が認められた。さらに,分布外ベンチマークであるRVL-CDIP-Nのモデル評価を行い,誤り訂正データのトレーニングによりOODの一般化が大幅に向上することを確認した。
論文参考訳（メタデータ） (2026-06-30T10:22:50Z)
How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。 HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
論文参考訳（メタデータ） (2026-05-08T09:30:31Z)
CorBenchX: Large-Scale Chest X-Ray Error Dataset and Vision-Language Model Benchmark for Report Error Correction [11.731590131260424]
CorBenchXは胸部X線レポートにおける自動エラー検出と修正のためのスイートである。まず,26,326個の胸部X線誤差の大規模データセットを合成した。オープンソースとクローズドなビジョン言語モデルの両方をベンチマークします。
論文参考訳（メタデータ） (2025-05-17T15:39:39Z)
On Evaluation of Document Classification using RVL-CDIP [3.575650613011277]
RVL-CDIPベンチマークは文書分類作業の性能測定に広く用いられている。 RVL-CDIPベンチマークの好ましくない特徴をいくつか明らかにした。我々は、新しい文書分類ベンチマークの作成を提唱し、そのようなリソースがどのような特徴を持つべきかを推奨する。
論文参考訳（メタデータ） (2023-06-21T20:32:22Z)
Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文参考訳（メタデータ） (2023-03-25T08:56:21Z)
Beyond calibration: estimating the grouping loss of modern neural networks [68.8204255655161]
適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
論文参考訳（メタデータ） (2022-10-28T07:04:20Z)
Certified Error Control of Candidate Set Pruning for Two-Stage Relevance Ranking [57.42241521034744]
本稿では、妥当性ランキングのための候補セットプルーニングの認証エラー制御の概念を提案する。提案手法は,第1段階から抽出した候補集合を抽出し,第2段階の復位速度を向上する。
論文参考訳（メタデータ） (2022-05-19T16:00:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。