論文の概要: Do-GOOD: Towards Distribution Shift Evaluation for Pre-Trained Visual Document Understanding Models

• arxiv url: http://arxiv.org/abs/2306.02623v1
• Date: Mon, 5 Jun 2023 06:50:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-06 16:28:30.583648
• Title: Do-GOOD: Towards Distribution Shift Evaluation for Pre-Trained Visual Document Understanding Models
• Title（参考訳）: Do-GOOD: 事前学習型ビジュアル文書理解モデルの分散シフト評価に向けて
• Authors: Jiabang He, Yi Hu, Lei Wang, Xing Xu, Ning Liu, Hui Liu, Heng Tao Shen
• Abstract要約: 本研究では,文書画像関連タスクの微粒化解析のためのDO-GOOD(Out-of-distriion)ベンチマークを開発した。 次に、ロバスト性を評価し、5つの最新のVDU事前学習モデルと2つの典型的なOOD一般化アルゴリズムのきめ細かい解析を行う。
• 参考スコア（独自算出の注目度）: 68.12229916000584
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Numerous pre-training techniques for visual document understanding (VDU) have recently shown substantial improvements in performance across a wide range of document tasks. However, these pre-trained VDU models cannot guarantee continued success when the distribution of test data differs from the distribution of training data. In this paper, to investigate how robust existing pre-trained VDU models are to various distribution shifts, we first develop an out-of-distribution (OOD) benchmark termed Do-GOOD for the fine-Grained analysis on Document image-related tasks specifically. The Do-GOOD benchmark defines the underlying mechanisms that result in different distribution shifts and contains 9 OOD datasets covering 3 VDU related tasks, e.g., document information extraction, classification and question answering. We then evaluate the robustness and perform a fine-grained analysis of 5 latest VDU pre-trained models and 2 typical OOD generalization algorithms on these OOD datasets. Results from the experiments demonstrate that there is a significant performance gap between the in-distribution (ID) and OOD settings for document images, and that fine-grained analysis of distribution shifts can reveal the brittle nature of existing pre-trained VDU models and OOD generalization algorithms. The code and datasets for our Do-GOOD benchmark can be found at https://github.com/MAEHCM/Do-GOOD.
• Abstract（参考訳）: 視覚的文書理解(VDU)のための多くの事前学習技術は、最近、幅広い文書タスクにおけるパフォーマンスを大幅に改善した。 しかし、これらの事前学習VDUモデルは、テストデータの分布とトレーニングデータの分布が異なる場合、継続的な成功を保証できない。 本稿では,既存のVDUモデルが様々な分散シフトに対していかに頑健であるかを検討するために,文書画像関連タスクの微粒化解析のためのDo-GOOD(out-of-distriion, OOD)ベンチマークを開発した。 Do-GOODベンチマークは、分散シフトが異なるメカニズムを定義し、ドキュメント情報抽出、分類、質問応答などの3つのVDU関連タスクをカバーする9つのOODデータセットを含む。 次に、ロバスト性を評価し、これらのOODデータセット上で、5つの最新のVDU事前訓練モデルと2つの典型的なOOD一般化アルゴリズムのきめ細かい解析を行う。 実験の結果, 文書画像の分散化(ID)とOOD設定の間には顕著な性能差があり, 分散シフトのきめ細かい解析により, 既存の訓練済みVDUモデルとOOD一般化アルゴリズムの脆さが明らかになることがわかった。 Do-GOODベンチマークのコードとデータセットはhttps://github.com/MAEHCM/Do-GOODにある。

関連論文リスト

• Non-Linear Outlier Synthesis for Out-of-Distribution Detection [5.019613806273252]
  本稿では,拡散モデル埋め込み空間で直接操作することで,合成外乱器の品質を向上させるNCISを提案する。 これらの改良により,標準的な ImageNet100 および CIFAR100 ベンチマークにおいて,最先端の OOD 検出結果が得られた。
  論文  参考訳（メタデータ） (2024-11-20T09:47:29Z)
• WeiPer: OOD Detection using Weight Perturbations of Class Projections [11.130659240045544]
  入力のよりリッチな表現を生成する最終完全連結層にクラスプロジェクションの摂動を導入する。 我々はOpenOODフレームワークの複数のベンチマークで最先端のOOD検出結果を得る。
  論文  参考訳（メタデータ） (2024-05-27T13:38:28Z)
• Gradient-Regularized Out-of-Distribution Detection [28.542499196417214]
  現実のアプリケーションにおけるニューラルネットワークの課題の1つは、これらのモデルが元のトレーニングディストリビューションからデータが送られていないときに犯す過信エラーである。 本稿では,学習中の損失関数の勾配に埋め込まれた情報を活用して,ネットワークが各サンプルに対して所望のOODスコアを学習できるようにする方法を提案する。 また、トレーニング期間中に、より情報性の高いOODサンプルにネットワークを露出させるための、新しいエネルギーベースのサンプリング手法を開発した。
  論文  参考訳（メタデータ） (2024-04-18T17:50:23Z)
• EAT: Towards Long-Tailed Out-of-Distribution Detection [55.380390767978554]
  本稿では,長い尾を持つOOD検出の課題に対処する。 主な困難は、尾クラスに属するサンプルとOODデータを区別することである。 本稿では,(1)複数の禁制クラスを導入して分布内クラス空間を拡大すること,(2)コンテキストリッチなOODデータに画像をオーバーレイすることでコンテキスト限定のテールクラスを拡大すること,の2つの簡単な考え方を提案する。
  論文  参考訳（メタデータ） (2023-12-14T13:47:13Z)
• Revisiting Out-of-distribution Robustness in NLP: Benchmark, Analysis, and LLMs Evaluations [111.88727295707454]
  本稿では,NLP分野におけるアウト・オブ・ディストリビューション(OOD)のロバスト性に関する研究を再検討する。 本稿では, 明確な分化と分散の困難さを保証するための, ベンチマーク構築プロトコルを提案する。 我々は,OODロバスト性の分析と評価のための事前学習言語モデルの実験を行った。
  論文  参考訳（メタデータ） (2023-06-07T17:47:03Z)
• Rethinking Out-of-distribution (OOD) Detection: Masked Image Modeling is All You Need [52.88953913542445]
  簡単な再構築手法を用いることで,OOD検出の性能が大幅に向上する可能性が示唆された。 我々は、OOD検出フレームワーク(MOOD)のプリテキストタスクとして、マスケ画像モデリング(Masked Image Modeling)を採用する。
  論文  参考訳（メタデータ） (2023-02-06T08:24:41Z)
• Towards Realistic Out-of-Distribution Detection: A Novel Evaluation Framework for Improving Generalization in OOD Detection [14.541761912174799]
  本稿では,OOD(Out-of-Distribution)検出のための新しい評価フレームワークを提案する。 より現実的な設定で機械学習モデルのパフォーマンスを評価することを目的としている。
  論文  参考訳（メタデータ） (2022-11-20T07:30:15Z)
• SimSCOOD: Systematic Analysis of Out-of-Distribution Generalization in Fine-tuned Source Code Models [58.78043959556283]
  本研究は,Low-Rank Adaptation (LoRA)ファインチューニング手法を含む,異なる微調整手法によるモデルの挙動について検討する。 解析の結果、LoRAファインチューニングは様々なシナリオにおけるフルファインチューニングよりも、OODの一般化性能が大幅に向上していることが判明した。
  論文  参考訳（メタデータ） (2022-10-10T16:07:24Z)
• An Empirical Study on Distribution Shift Robustness From the Perspective of Pre-Training and Data Augmentation [91.62129090006745]
  本稿では,事前学習とデータ拡張の観点から分布シフト問題を考察する。 我々は,事前学習とデータ拡張に焦点を当てた,最初の総合的な実証的研究を行った。
  論文  参考訳（メタデータ） (2022-05-25T13:04:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。