論文の概要: An Automated Knowledge Mining and Document Classification System with
Multi-model Transfer Learning
- arxiv url: http://arxiv.org/abs/2106.12744v1
- Date: Thu, 24 Jun 2021 03:03:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-25 15:04:13.907407
- Title: An Automated Knowledge Mining and Document Classification System with
Multi-model Transfer Learning
- Title(参考訳): 多モデル転送学習による知識マイニングと文書分類の自動システム
- Authors: Jia Wei Chong, Zhiyuan Chen and Mei Shin Oh
- Abstract要約: サービスマニュアル文書は、サービスエンジニアにガイドラインと知識を提供するため、エンジニアリング会社にとって不可欠である。
本稿では,新しい多モデル移動学習手法を用いた知識マイニングと文書分類システムを提案する。
- 参考スコア(独自算出の注目度): 1.1852751647387592
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Service manual documents are crucial to the engineering company as they
provide guidelines and knowledge to service engineers. However, it has become
inconvenient and inefficient for service engineers to retrieve specific
knowledge from documents due to the complexity of resources. In this research,
we propose an automated knowledge mining and document classification system
with novel multi-model transfer learning approaches. Particularly, the
classification performance of the system has been improved with three effective
techniques: fine-tuning, pruning, and multi-model method. The fine-tuning
technique optimizes a pre-trained BERT model by adding a feed-forward neural
network layer and the pruning technique is used to retrain the BERT model with
new data. The multi-model method initializes and trains multiple BERT models to
overcome the randomness of data ordering during the fine-tuning process. In the
first iteration of the training process, multiple BERT models are being trained
simultaneously. The best model is then selected for the next phase of the
training process with another two iterations and the training processes for
other BERT models will be terminated. The performance of the proposed system
has been evaluated by comparing with two robust baseline methods, BERT and
BERT-CNN. Experimental results on a widely used Corpus of Linguistic
Acceptability (CoLA) dataset have shown that the proposed techniques perform
better than these baseline methods in terms of accuracy and MCC score.
- Abstract(参考訳): サービスマニュアルドキュメントは、サービスエンジニアにガイドラインと知識を提供するため、エンジニアリング会社にとって重要です。
しかし、リソースの複雑さのため、サービスエンジニアがドキュメントから特定の知識を取得するのは不便で非効率になっている。
本研究では,新しい多モデル転送学習手法を用いた知識マイニングと文書分類の自動化システムを提案する。
特に, ファインチューニング, プルーニング, マルチモデル方式の3つの効果的な手法により, システムの分類性能が向上した。
微細チューニング技術は、フィードフォワードニューラルネットワーク層を追加することで、事前トレーニングされたBERTモデルを最適化し、プルーニング技術はBERTモデルを新しいデータで再トレーニングする。
マルチモデル手法は、細調整プロセス中にデータ順序のランダム性を克服するために複数のBERTモデルを初期化し、訓練する。
トレーニングプロセスの最初のイテレーションでは、複数のBERTモデルが同時にトレーニングされています。
その後、トレーニングプロセスの次のフェーズに、次の2つのイテレーションでベストモデルが選択され、他のBERTモデルのトレーニングプロセスが終了する。
提案システムの性能評価は,BERT と BERT-CNN の2つの頑健なベースライン手法との比較により行った。
CoLA(Corp of Linguistic Acceptability)データセットの実験結果から,提案手法はこれらの基準手法よりも精度とMCCスコアの点で優れていることが示された。
関連論文リスト
- BERT-Based Approach for Automating Course Articulation Matrix Construction with Explainable AI [1.4214002697449326]
コースアウトカム(CO)とプログラムアウトカム(PO)/プログラムアウトカム(PSO)アライメントは,カリキュラムの一貫性を確保し,教育効果を評価する上で重要な課題である。
本研究は,CAM(Course Articulation Matrix)の自動生成のためのBERTモデルを用いた伝達学習の可能性を示す。
精度,精度,リコール,F1スコアはそれぞれ98.66%,98.67%,98.66%,98.66%である。
論文 参考訳(メタデータ) (2024-11-21T16:02:39Z) - PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。
一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。
一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
論文 参考訳(メタデータ) (2023-09-13T17:55:11Z) - Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。
アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。
われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
論文 参考訳(メタデータ) (2022-12-01T17:31:42Z) - MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided
Adaptation [68.30497162547768]
本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。
自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
論文 参考訳(メタデータ) (2022-04-15T23:19:37Z) - Training ELECTRA Augmented with Multi-word Selection [53.77046731238381]
本稿では,マルチタスク学習に基づくELECTRAの改良を目的としたテキストエンコーダ事前学習手法を提案する。
具体的には、識別器を訓練し、置換トークンを同時に検出し、候補集合から元のトークンを選択する。
論文 参考訳(メタデータ) (2021-05-31T23:19:00Z) - Learning to Augment for Data-Scarce Domain BERT Knowledge Distillation [55.34995029082051]
本稿では,データスカース領域BERT知識蒸留のための拡張学習法を提案する。
提案手法が4つの異なるタスクにおける最先端のベースラインを大幅に上回ることを示す。
論文 参考訳(メタデータ) (2021-01-20T13:07:39Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳(メタデータ) (2020-12-29T23:43:16Z) - A Practical Incremental Method to Train Deep CTR Models [37.54660958085938]
本稿では,3つの分離モジュールからなる深部CTRモデルを訓練するための実用的なインクリメンタル手法を提案する。
提案手法は従来のバッチモード学習と同等の性能を達成でき,訓練効率も向上する。
論文 参考訳(メタデータ) (2020-09-04T12:35:42Z) - Reinforced Curriculum Learning on Pre-trained Neural Machine Translation
Models [20.976165305749777]
我々は,既存のトレーニングセットから影響力のあるデータサンプルを再選択することで,事前学習したNMTモデルを改善するカリキュラムを学習する。
本稿では,決定論的アクタ批判に基づくデータ選択フレームワークを提案する。
論文 参考訳(メタデータ) (2020-04-13T03:40:44Z) - TwinBERT: Distilling Knowledge to Twin-Structured BERT Models for
Efficient Retrieval [11.923682816611716]
本稿では,効率的な検索のためのTwinBERTモデルを提案する。
クエリとドキュメントをそれぞれ表現するBERTライクなエンコーダがツイン構造化されている。
ドキュメントの埋め込みはオフラインでプリコンパイルされ、メモリにキャッシュされる。
論文 参考訳(メタデータ) (2020-02-14T22:44:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。