Fugu-MT 論文翻訳(概要): BERT-based Chinese Text Classification for Emergency Domain with a Novel Loss Function

論文の概要: BERT-based Chinese Text Classification for Emergency Domain with a Novel Loss Function

arxiv url: http://arxiv.org/abs/2104.04197v1
Date: Fri, 9 Apr 2021 05:25:00 GMT
ステータス: 処理完了
システム内更新日: 2021-04-12 14:14:06.462430
Title: BERT-based Chinese Text Classification for Emergency Domain with a Novel Loss Function
Title（参考訳）: 新しい損失関数を持つ緊急ドメインに対するbert型中国語テキスト分類
Authors: Zhongju Wang, Long Wang, Chao Huang, Xiong Luo
Abstract要約: 本論文では,緊急事象報告分類問題に対する自動中国語テキスト分類法を提案する。緊急イベントカテゴリの分布におけるデータ不均衡を克服するため,BERTモデルの性能向上を目的とした新たな損失関数を提案する。提案手法は, 精度, 重み付き精度, 重み付きリコール, 重み付きF1値で最高の性能を示した。
参考スコア（独自算出の注目度）: 9.028459232146474
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper proposes an automatic Chinese text categorization method for solving the emergency event report classification problem. Since bidirectional encoder representations from transformers (BERT) has achieved great success in natural language processing domain, it is employed to derive emergency text features in this study. To overcome the data imbalance problem in the distribution of emergency event categories, a novel loss function is proposed to improve the performance of the BERT-based model. Meanwhile, to avoid the impact of the extreme learning rate, the Adabound optimization algorithm that achieves a gradual smooth transition from Adam to SGD is employed to learn parameters of the model. To verify the feasibility and effectiveness of the proposed method, a Chinese emergency text dataset collected from the Internet is employed. Compared with benchmarking methods, the proposed method has achieved the best performance in terms of accuracy, weighted-precision, weighted-recall, and weighted-F1 values. Therefore, it is promising to employ the proposed method for real applications in smart emergency management systems.
Abstract（参考訳）: 本稿では,緊急事態報告分類問題を解決するための中国語テキストの自動分類手法を提案する。トランスフォーマ (bert) からの双方向エンコーダ表現は自然言語処理領域で大きな成功を収めているため, 緊急テキストの特徴を導出するために用いられる。緊急イベントカテゴリの分布におけるデータ不均衡問題を解決するため,BERTモデルの性能向上を目的とした新たな損失関数を提案する。一方、極端な学習率の影響を避けるため、Adam から SGD への段階的な滑らかな遷移を実現する Adabound 最適化アルゴリズムを用いてモデルのパラメータを学習する。提案手法の有効性と有効性を検証するために,インターネットから収集した中国緊急テキストデータセットを用いる。ベンチマーク法と比較して,提案手法は,精度,重み付け精度,重み付けリコール,重み付けf1値の点で最高の性能を得た。そのため,スマート緊急管理システムにおいて,提案手法を実運用に活用することが期待されている。

関連論文リスト

Tackling Distribution Shifts in Task-Oriented Communication with Information Bottleneck [28.661084093544684]
本稿では,情報ボトルネック(IB)原理と不変リスク最小化(IRM)フレームワークに基づく新しいアプローチを提案する。提案手法は,効率的な領域シフト一般化のための高機能を有するコンパクトかつ情報的特徴を抽出することを目的としている。提案手法は最先端の手法より優れ、より優れたレート歪みトレードオフを実現することを示す。
論文参考訳（メタデータ） (2024-05-15T17:07:55Z)
Selective Forgetting: Advancing Machine Unlearning Techniques and Evaluation in Language Models [24.784439330058095]
本研究では,個人や機密データを不注意に保持するニューラルモデルに関する懸念について検討する。言語モデル内で、正確かつ選択的に忘れることを実現するために、新しいアプローチが導入された。 S-EL(Sensitive Information extract Likelihood)とS-MA(Sensitive Information Memory Accuracy)の2つの革新的な評価指標が提案されている。
論文参考訳（メタデータ） (2024-02-08T16:50:01Z)
DPBERT: Efficient Inference for BERT based on Dynamic Planning [11.680840266488884]
既存の入力適応推論手法ではBERTの構造を十分に活用できない。本稿では,BERTの推論過程を高速化する新しい微調整戦略であるBERTにおける動的計画法を提案する。提案手法は,98%の精度を維持しながら遅延を75%まで低減し,最先端の入力適応方式に比べて高精度なトレードオフを実現する。
論文参考訳（メタデータ） (2023-07-26T07:18:50Z)
Boosting Event Extraction with Denoised Structure-to-Text Augmentation [52.21703002404442]
イベント抽出は、テキストから事前に定義されたイベントトリガと引数を認識することを目的としている。最近のデータ拡張手法は文法的誤りの問題を無視することが多い。本稿では,イベント抽出DAEEのための記述構造からテキストへの拡張フレームワークを提案する。
論文参考訳（メタデータ） (2023-05-16T16:52:07Z)
A Novel Plagiarism Detection Approach Combining BERT-based Word Embedding, Attention-based LSTMs and an Improved Differential Evolution Algorithm [11.142354615369273]
本稿では,アテンション機構に基づく長短期メモリ(LSTM)とトランスフォーマー(BERT)ワード埋め込みによる双方向エンコーダ表現に基づくプラギアリズム検出手法を提案する。 BERTは下流タスクに含まれることができ、タスク固有の構造として微調整され、訓練されたBERTモデルは様々な言語特性を検出することができる。
論文参考訳（メタデータ） (2023-05-03T18:26:47Z)
Cluster-level pseudo-labelling for source-free cross-domain facial expression recognition [94.56304526014875]
表情認識のためのSFUDA法を提案する。本手法は,自己教師付き事前学習を利用して,対象データから優れた特徴表現を学習する。提案手法の有効性を4つの適応方式で検証し,FERに適用した場合,既存のSFUDA法より一貫して優れていることを示す。
論文参考訳（メタデータ） (2022-10-11T08:24:50Z)
Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2022-06-12T04:42:49Z)
Efficient falsification approach for autonomous vehicle validation using a parameter optimisation technique based on reinforcement learning [6.198523595657983]
自律走行車(AV)の大規模展開は、まだ解決されていない多くの安全上の課題にもかかわらず、差し迫っているように見える。交通参加者とダイナミックワールドの行動の不確実性は、先進的な自律システムにおいて反応を引き起こす。本稿では,システム・アンダー・テストを評価するための効率的なファルシフィケーション手法を提案する。
論文参考訳（メタデータ） (2020-11-16T02:56:13Z)
On Learning Text Style Transfer with Direct Rewards [101.97136885111037]
平行コーパスの欠如により、テキストスタイルの転送タスクの教師付きモデルを直接訓練することは不可能である。我々は、当初、微調整されたニューラルマシン翻訳モデルに使用されていた意味的類似度指標を活用している。我々のモデルは、強いベースラインに対する自動評価と人的評価の両方において大きな利益をもたらす。
論文参考訳（メタデータ） (2020-10-24T04:30:02Z)
Logistic Q-Learning [87.00813469969167]
MDPにおける最適制御の正規化線形プログラミング定式化から導いた新しい強化学習アルゴリズムを提案する。提案アルゴリズムの主な特徴は,広範に使用されているベルマン誤差の代わりとして理論的に音声として機能する,政策評価のための凸損失関数である。
論文参考訳（メタデータ） (2020-10-21T17:14:31Z)
Rectified Meta-Learning from Noisy Labels for Robust Image-based Plant Disease Diagnosis [64.82680813427054]
植物病は食料安全保障と作物生産に対する主要な脅威の1つである。 1つの一般的なアプローチは、葉画像分類タスクとしてこの問題を変換し、強力な畳み込みニューラルネットワーク(CNN)によって対処できる。本稿では,正規化メタ学習モジュールを共通CNNパラダイムに組み込んだ新しいフレームワークを提案する。
論文参考訳（メタデータ） (2020-03-17T09:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。