論文の概要: Noise-Aware Training of Layout-Aware Language Models

• arxiv url: http://arxiv.org/abs/2404.00488v1
• Date: Sat, 30 Mar 2024 23:06:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-04 03:30:20.087023
• Title: Noise-Aware Training of Layout-Aware Language Models
• Title（参考訳）: レイアウトアウェア言語モデルのノイズアウェアトレーニング
• Authors: Ritesh Sarkhel, Xiaoqi Ren, Lauro Beltrao Costa, Guolong Su, Vincent Perot, Yanan Xie, Emmanouil Koukoumidis, Arnab Nandi,
• Abstract要約: ドキュメントから名前付きエンティティを識別するカスタム抽出器をトレーニングするには、テキストとビジュアルのモダリティで注釈付けされたターゲットドキュメントタイプの多数のインスタンスが必要である。 本稿では,ノイズアウェアトレーニング手法,NATを提案する。 NATでトレーニングされたモデルは、パフォーマンスにおいて堅牢であるだけでなく、マクロF1スコアの点で、トランスファーラーニングベースラインを最大6%上回ります。
• 参考スコア（独自算出の注目度）: 7.387030600322538
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: A visually rich document (VRD) utilizes visual features along with linguistic cues to disseminate information. Training a custom extractor that identifies named entities from a document requires a large number of instances of the target document type annotated at textual and visual modalities. This is an expensive bottleneck in enterprise scenarios, where we want to train custom extractors for thousands of different document types in a scalable way. Pre-training an extractor model on unlabeled instances of the target document type, followed by a fine-tuning step on human-labeled instances does not work in these scenarios, as it surpasses the maximum allowable training time allocated for the extractor. We address this scenario by proposing a Noise-Aware Training method or NAT in this paper. Instead of acquiring expensive human-labeled documents, NAT utilizes weakly labeled documents to train an extractor in a scalable way. To avoid degradation in the model's quality due to noisy, weakly labeled samples, NAT estimates the confidence of each training sample and incorporates it as uncertainty measure during training. We train multiple state-of-the-art extractor models using NAT. Experiments on a number of publicly available and in-house datasets show that NAT-trained models are not only robust in performance -- it outperforms a transfer-learning baseline by up to 6% in terms of macro-F1 score, but it is also more label-efficient -- it reduces the amount of human-effort required to obtain comparable performance by up to 73%.
• Abstract（参考訳）: 視覚的にリッチなドキュメント(VRD)は、視覚的特徴と言語的手がかりを利用して情報を広める。 ドキュメントから名前付きエンティティを識別するカスタム抽出器をトレーニングするには、テキストとビジュアルのモダリティで注釈付けされたターゲットドキュメントタイプの多数のインスタンスが必要である。 これはエンタープライズシナリオにおいて高価なボトルネックであり、スケーラブルな方法で数千の異なるドキュメントタイプのカスタムエクストラクタをトレーニングしたいと考えています。 対象文書型のラベル付けされていないインスタンスに対して抽出器モデルを事前トレーニングし、続いて人ラベル付きインスタンスを微調整するステップは、抽出器に割り当てられた最大トレーニング時間を超えるため、これらのシナリオでは機能しない。 本論文では,騒音認識訓練法やNATを提案することで,このシナリオに対処する。 高価な人ラベルの文書を取得する代わりに、NATは弱いラベルのついた文書を使って抽出器をスケーラブルに訓練する。 ノイズや弱いラベル付きサンプルによるモデル品質の劣化を避けるため、NATは各トレーニングサンプルの信頼性を推定し、トレーニング中に不確実性尺度として組み込む。 我々はNATを用いて複数の最先端抽出モデルを訓練する。 多くの公開データセットと社内データセットの実験では、NATトレーニングされたモデルはパフォーマンスにおいて堅牢であるだけでなく、マクロF1スコアの点で、移行学習ベースラインを最大6%上回り、ラベル効率も向上している。

関連論文リスト

• LC-Protonets: Multi-label Few-shot learning for world music audio tagging [65.72891334156706]
  ラベル結合型プロトタイプネットワーク(LC-Protonets)を導入し,複数ラベルの複数ショット分類の問題に対処する。 LC-Protonetsは、限られたトレーニング項目に存在するラベルのパワーセットから、ラベルの組み合わせごとに1つのプロトタイプを生成する。 本手法は,様々な文化をカバーし,現代音楽と伝統音楽の両方を含む,多様な音楽データセットにまたがる自動音声タグ付けに適用する。
  論文  参考訳（メタデータ） (2024-09-17T15:13:07Z)
• Pre-Trained Vision-Language Models as Partial Annotators [40.89255396643592]
  事前学習された視覚言語モデルは、画像と自然言語の統一表現をモデル化するために大量のデータを学習する。 本稿では,事前学習型モデルアプリケーションのための「事前学習型-弱教師付き学習」パラダイムについて検討し,画像分類タスクの実験を行う。
  論文  参考訳（メタデータ） (2024-05-23T17:17:27Z)
• Probing Representations for Document-level Event Extraction [30.523959637364484]
  この研究は、文書レベルの情報抽出で学んだ表現に探索パラダイムを適用した最初のものである。 文書レベルのイベント抽出に関連するサーフェス,セマンティクス,イベント理解機能を分析するために,8つの埋め込みプローブを設計した。 これらのモデルからトレーニングされたエンコーダは、わずかに引数の検出とラベリングを改善することができるが、イベントレベルのタスクをわずかに強化するだけである。
  論文  参考訳（メタデータ） (2023-10-23T19:33:04Z)
• Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
  ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。 本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
  論文  参考訳（メタデータ） (2021-10-04T08:51:36Z)
• Combining Feature and Instance Attribution to Detect Artifacts [62.63504976810927]
  トレーニングデータアーティファクトの識別を容易にする手法を提案する。 提案手法は,トレーニングデータのアーティファクトの発見に有効であることを示す。 我々は,これらの手法が実際にNLP研究者にとって有用かどうかを評価するために,小規模なユーザスタディを実施している。
  論文  参考訳（メタデータ） (2021-07-01T09:26:13Z)
• Towards Good Practices for Efficiently Annotating Large-Scale Image Classification Datasets [90.61266099147053]
  多数の画像の分類ラベルを収集するための効率的なアノテーション戦略を検討する。 人間のラベリング作業を最小化するための修正とベストプラクティスを提案します。 ImageNet100の125kイメージサブセットのシミュレーション実験では、平均で0.35のアノテーションで80%のトップ-1の精度でアノテートできることが示されている。
  論文  参考訳（メタデータ） (2021-04-26T16:29:32Z)
• Unsupervised Noisy Tracklet Person Re-identification [100.85530419892333]
  本稿では,非照合トラックレットデータから識別的人物再識別モデルを訓練できる選択的トラックレット学習(STL)手法を提案する。 これにより、カメラビュー全体で人物の画像/トラックレットの真のマッチングペアを完全にラベル付けする面倒でコストのかかるプロセスが回避されます。 提案手法は生トラックレットの任意のノイズデータに対して特に頑健であるため,制約のない追跡データから識別モデル学習にスケーラブルである。
  論文  参考訳（メタデータ） (2021-01-16T07:31:00Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Robust Document Representations using Latent Topics and Metadata [17.306088038339336]
  本稿では,文書分類問題に対する事前学習型ニューラルネットワークモデルの微調整手法を提案する。 テキストとメタデータの両方をタスク形式でキャプチャする文書表現を生成します。 私たちのソリューションでは、メタデータを単にテキストで拡張するのではなく、明示的に組み込んでいます。
  論文  参考訳（メタデータ） (2020-10-23T21:52:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。