Fugu-MT 論文翻訳(概要): Revising RVL-CDIP: Quantifying Errors and Test-Train Overlap

論文の概要: Revising RVL-CDIP: Quantifying Errors and Test-Train Overlap

arxiv url: http://arxiv.org/abs/2606.31446v1
Date: Tue, 30 Jun 2026 10:22:50 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-01 18:27:19.173431
Title: Revising RVL-CDIP: Quantifying Errors and Test-Train Overlap
Title（参考訳）: RVL-CDIPの改訂: エラーの定量化とテストトレインオーバーラップ
Abstract要約: ラベルエラーやテストトレインオーバーラップ修正によるRVL-CDIPのバリエーションと,これらの新しいバリエーションに対する文書分類性能のベンチマークを行う。 RVL-CDIPの厳密な解析により, コーパスには12%のラベル誤りと約35%のテストトレイン重複が認められた。さらに,分布外ベンチマークであるRVL-CDIP-Nのモデル評価を行い,誤り訂正データのトレーニングによりOODの一般化が大幅に向上することを確認した。
参考スコア（独自算出の注目度）: 3.4560801215716648
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: RVL-CDIP is a popular dataset for benchmarking document classifiers. However, the dataset contains ample amounts of label errors as well as non-trivial amounts of test-train overlap, both of which may impact model performance metrics. In this paper, we address these two problems by (1) finding and fixing label errors, and (2) detecting and addressing test-train overlap. We produce several variations of RVL-CDIP with label error and test-train overlap fixes, and benchmark document classification performance on these new RVL-CDIP variations. Our rigorous analysis of RVL-CDIP finds that the corpus contains 12\% label error and approximately 35% test-train duplication. Remediation sees improvements in classification accuracy when errors are removed, but sees decreases in accuracy when duplicates are removed. We additionally evaluate models on RVL-CDIP-N, an out-of-distribution benchmark, finding that training on error-corrected data substantially improves OOD generalization, with supervised models gaining an average of 8.1 percentage points in accuracy and improvements as large as 14 percentage points.
Abstract（参考訳）: RVL-CDIPは文書分類器をベンチマークするための一般的なデータセットである。しかしながら、データセットには十分な量のラベルエラーと、非自明な量のテストトレインオーバーラップが含まれており、どちらもモデルパフォーマンス指標に影響を与える可能性がある。本稿では,(1)ラベルエラーの発見と修正,(2)テストトレイン重複の検出と対処という2つの問題に対処する。ラベルエラーとテストトレインオーバーラップ修正によるRVL-CDIPのバリエーションと,これらの新しいRVL-CDIPのベンチマーク文書分類性能を比較検討した。 RVL-CDIPの厳密な解析により,約35%のラベル誤りと約12%のラベル誤りが認められた。修復では、エラー除去時に分類精度が向上するが、重複除去時には精度が低下する。さらに,分布外ベンチマークであるRVL-CDIP-Nのモデルを評価したところ,誤り訂正データに対するトレーニングはOODの一般化を著しく改善し,教師付きモデルは平均8.1ポイントの精度と改善率を最大14ポイントまで向上することがわかった。

関連論文リスト

Calibratable Disambiguation Loss for Multi-Instance Partial-Label Learning [53.9713678229744]
MIPL(Multi-instance partial-label Learning)は、インスタンス空間とラベル空間の両方において、不正確な監督の課題に対処する弱い教師付きフレームワークである。既存のMIPLアプローチは、しばしばキャリブレーションが悪く、信頼性を損なう。分類精度と校正性能を同時に向上するプラグアンドプレイ校正型曖昧さ損失(CDL)を提案する。
論文参考訳（メタデータ） (2025-12-19T16:58:31Z)
From Label Error Detection to Correction: A Modular Framework and Benchmark for Object Detection Datasets [4.864032555684836]
ラベルエラー訂正のための半自動フレームワークREC$checkmark$D(リチェック)を導入する。現在のラベル誤り検出手法は,修正フレームワークと組み合わせることで,人間がアノテートボックスをスクラッチからアノテートするのに要する時間に数百のエラーを回復できることを示す。この検証されたセットは、ラベルエラーの検出と修正のための新しい実世界のベンチマークとしてリリースされる。
論文参考訳（メタデータ） (2025-08-06T10:03:05Z)
CorBenchX: Large-Scale Chest X-Ray Error Dataset and Vision-Language Model Benchmark for Report Error Correction [11.731590131260424]
CorBenchXは胸部X線レポートにおける自動エラー検出と修正のためのスイートである。まず,26,326個の胸部X線誤差の大規模データセットを合成した。オープンソースとクローズドなビジョン言語モデルの両方をベンチマークします。
論文参考訳（メタデータ） (2025-05-17T15:39:39Z)
Tgea: An error-annotated dataset and benchmark tasks for text generation from pretrained language models [57.758735361535486]
TGEAは、事前訓練された言語モデル(PLM)からテキストを生成するためのエラーアノテートデータセットである。 PLM生成文で発生する24種類の誤りを網羅する誤り分類を作成する。 PLM生成テキストに対する包括的なアノテーションを備えた最初のデータセットである。
論文参考訳（メタデータ） (2025-03-06T09:14:02Z)
Teaching Your Models to Understand Code via Focal Preference Alignment [70.71693365502212]
既存の手法では、テストケースの成功率に基づいてn個の候補解が評価される。このアプローチは、特定のエラーを特定するのではなく、失敗するコードブロック全体を整列するので、意味のあるエラーと訂正の関係を捉えるのに必要な粒度が欠けている。我々は、人間の反復デバッグを模倣してコードLLMを洗練させる新しい優先順位調整フレームワークであるTarget-DPOを提案する。
論文参考訳（メタデータ） (2025-03-04T16:56:34Z)
On Evaluation of Document Classification using RVL-CDIP [3.575650613011277]
RVL-CDIPベンチマークは文書分類作業の性能測定に広く用いられている。 RVL-CDIPベンチマークの好ましくない特徴をいくつか明らかにした。我々は、新しい文書分類ベンチマークの作成を提唱し、そのようなリソースがどのような特徴を持つべきかを推奨する。
論文参考訳（メタデータ） (2023-06-21T20:32:22Z)
Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文参考訳（メタデータ） (2023-03-25T08:56:21Z)
Revisiting Long-tailed Image Classification: Survey and Benchmarks with New Evaluation Metrics [88.39382177059747]
メトリクスのコーパスは、長い尾の分布で学習するアルゴリズムの正確性、堅牢性、およびバウンダリを測定するために設計されている。ベンチマークに基づいて,CIFAR10およびCIFAR100データセット上での既存手法の性能を再評価する。
論文参考訳（メタデータ） (2023-02-03T02:40:54Z)
Evaluating Out-of-Distribution Performance on Document Image Classifiers [2.9962867693321473]
RVL-CDIPコーパスは文書分類のデファクト標準ベンチマークである。このコーパスを使用するすべての研究は、アウト・オブ・ディストリビューション・ドキュメントの評価を含まない。我々の新しいベンチマークは、アウト・オブ・ディストリビューション文書のパフォーマンスを分析するための貴重な新しいリソースを研究者に提供する。
論文参考訳（メタデータ） (2022-10-14T01:24:21Z)
CTRL: Clustering Training Losses for Label Error Detection [4.49681473359251]
教師付き機械学習では、正確なラベルの使用は高い精度を保証するために極めて重要である。本稿では,ラベル誤り検出のための新しいフレームワークClustering TRaining Lossesを提案する。モデルが異なる方法でクリーンでノイズの多いラベルを学習する観察に基づいて、ラベルエラーを2つのステップで検出する。
論文参考訳（メタデータ） (2022-08-17T18:09:19Z)
TACRED Revisited: A Thorough Evaluation of the TACRED Relation Extraction Task [80.38130122127882]
TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つであるパフォーマンスの天井に到達したのか、改善の余地はあるのか? ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
論文参考訳（メタデータ） (2020-04-30T15:07:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。