論文の概要: Semantic and Contextual Modeling for Malicious Comment Detection with BERT-BiLSTM

• arxiv url: http://arxiv.org/abs/2503.11084v1
• Date: Fri, 14 Mar 2025 04:51:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:08:00.150399
• Title: Semantic and Contextual Modeling for Malicious Comment Detection with BERT-BiLSTM
• Title（参考訳）: BERT-BiLSTMによる悪意的コメント検出のための意味的・文脈的モデリング
• Authors: Zhou Fang, Hanlu Zhang, Jacky He, Zhen Qi, Hongye Zheng,
• Abstract要約: BERTとBiLSTMを組み合わせたディープラーニングモデルを提案する。 BERTモデルは、事前トレーニングを通じて、テキストの深いセマンティックな特徴をキャプチャし、BiLSTMネットワークはシーケンシャルなデータを処理するのに優れている。 Jigsaw Unintended Bias in Toxicity Classificationデータセットの実験結果は、BERT+BiLSTMモデルが悪意のあるコメント検出タスクにおいて優れたパフォーマンスを達成することを示す。
• 参考スコア（独自算出の注目度）: 1.5845117761091052
• License:
• Abstract: This study aims to develop an efficient and accurate model for detecting malicious comments, addressing the increasingly severe issue of false and harmful content on social media platforms. We propose a deep learning model that combines BERT and BiLSTM. The BERT model, through pre-training, captures deep semantic features of text, while the BiLSTM network excels at processing sequential data and can further model the contextual dependencies of text. Experimental results on the Jigsaw Unintended Bias in Toxicity Classification dataset demonstrate that the BERT+BiLSTM model achieves superior performance in malicious comment detection tasks, with a precision of 0.94, recall of 0.93, and accuracy of 0.94. This surpasses other models, including standalone BERT, TextCNN, TextRNN, and traditional machine learning algorithms using TF-IDF features. These results confirm the superiority of the BERT+BiLSTM model in handling imbalanced data and capturing deep semantic features of malicious comments, providing an effective technical means for social media content moderation and online environment purification.
• Abstract（参考訳）: 本研究は、ソーシャルメディアプラットフォーム上での虚偽・有害なコンテンツの深刻な問題に対処し、悪意のあるコメントを検出するための効率的かつ正確なモデルを開発することを目的とする。 BERTとBiLSTMを組み合わせたディープラーニングモデルを提案する。 BERTモデルは、事前トレーニングを通じて、テキストの深いセマンティックな特徴をキャプチャし、BiLSTMネットワークはシーケンシャルなデータの処理に優れ、テキストのコンテキスト依存をさらにモデル化することができる。 Jigsaw Unintended Bias in Toxicity Classificationデータセットの実験結果は、BERT+BiLSTMモデルが悪意のあるコメント検出タスクにおいて、精度0.94、リコール0.93、精度0.94で優れたパフォーマンスを達成することを示した。 これは、スタンドアロンのBERT、TextCNN、TextRNN、TF-IDF機能を使用した従来の機械学習アルゴリズムなど、他のモデルを上回る。 これらの結果は、不均衡なデータを処理し、悪意のあるコメントの深い意味的特徴を捉え、ソーシャルメディアのコンテンツモデレーションとオンライン環境の浄化に有効な技術手段を提供するために、BERT+BiLSTMモデルが優れていることを確認する。

関連論文リスト

• A Trustable LSTM-Autoencoder Network for Cyberbullying Detection on Social Media Using Synthetic Data [2.378735224874938]
  本稿では,ソーシャルメディア上でのサイバーバブル検出のための信頼性の高いLSTM-Autoencoderネットワークを提案する。 我々は、機械翻訳データを生成することにより、データの可用性の難しさに対処する最先端の手法を実証した。 我々はヒンディー語、バングラ語、英語のデータセットに対するアグレッシブなコメントを実験的に同定した。
  論文  参考訳（メタデータ） (2023-08-15T17:20:05Z)
• Adapted Multimodal BERT with Layer-wise Fusion for Sentiment Analysis [84.12658971655253]
  本稿では,マルチモーダルタスクのためのBERTベースのアーキテクチャであるAdapted Multimodal BERTを提案する。 アダプタはタスクの事前訓練された言語モデルを手動で調整し、融合層はタスク固有の層ワイドな音声視覚情報とテキストBERT表現を融合させる。 われわれは、このアプローチがより効率的なモデルにつながり、微調整されたモデルよりも優れ、ノイズの入力に堅牢であることを示した。
  論文  参考訳（メタデータ） (2022-12-01T17:31:42Z)
• BiBERT: Accurate Fully Binarized BERT [69.35727280997617]
  BiBERTは、パフォーマンスボトルネックを取り除くために、正確に2項化されたBERTである。 提案手法は,FLOPとモデルサイズで56.3回,31.2回節約できる。
  論文  参考訳（メタデータ） (2022-03-12T09:46:13Z)
• On Sensitivity of Deep Learning Based Text Classification Algorithms to Practical Input Perturbations [0.0]
  深層学習に基づくテキスト分類モデルの性能に及ぼす系統的な実践的摂動の影響を評価する。 摂動は、句読や停止語のような望ましくないトークンの追加と削除によって引き起こされる。 BERTを含むこれらの深層学習アプローチは、4つの標準ベンチマークデータセットにおいて、そのような正当な入力摂動に敏感であることを示す。
  論文  参考訳（メタデータ） (2022-01-02T08:33:49Z)
• Deploying a BERT-based Query-Title Relevance Classifier in a Production System: a View from the Trenches [3.1219977244201056]
  変換器(BERT)モデルによる双方向表現は,多くの自然言語処理(NLP)タスクの性能を大幅に向上させてきた。 BERTを低レイテンシ、高スループットの産業用ユースケースにスケールすることは、その巨大なサイズのために困難である。 BERT Bidirectional Long Short-Term Memory (BertBiLSTM) という名前のコンパクトモデルによるデプロイメントのためのQTR分類器の最適化に成功した。 BertBiLSTMは、上記の実世界の生産作業における精度と効率の観点から、既成のBERTモデルの性能を上回る
  論文  参考訳（メタデータ） (2021-08-23T14:28:23Z)
• MATE-KD: Masked Adversarial TExt, a Companion to Knowledge Distillation [9.91548921801095]
  本稿では,知識蒸留の性能を向上させる新しいテキストベース対逆学習アルゴリズムであるMATE-KDを提案する。 我々は,BERTモデルを用いたアルゴリズムをGLUEベンチマークで評価し,MATE-KDが競合する対角学習やデータ拡張ベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-12T19:11:34Z)
• Evaluation of BERT and ALBERT Sentence Embedding Performance on Downstream NLP Tasks [4.955649816620742]
  本稿では,BERT と ALBERT の文埋め込みモデルについて検討する。 我々は、Sentence-BERT (SBERT) と呼ばれるシアムとトリプルトネットワーク構造を持つBERTネットワークを改良し、BERTをALBERTに置き換え、Sentence-ALBERT (SALBERT) を作成する。
  論文  参考訳（メタデータ） (2021-01-26T09:14:06Z)
• Incorporating BERT into Parallel Sequence Decoding with Adapters [82.65608966202396]
  本稿では,2種類のBERTモデルをエンコーダとデコーダとして取り出し,シンプルで軽量なアダプタモジュールを導入し,それらを微調整する。 我々は、ソース側およびターゲット側BERTモデルに含まれる情報を協調的に活用できるフレキシブルで効率的なモデルを得る。 我々のフレームワークは、BERTの双方向および条件独立性を考慮した、Mask-Predictという並列シーケンス復号アルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2020-10-13T03:25:15Z)
• InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
  BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。 近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。 本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
  論文  参考訳（メタデータ） (2020-10-05T20:49:26Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)
• BERT-ATTACK: Adversarial Attack Against BERT Using BERT [77.82947768158132]
  離散データ(テキストなど)に対するアドリアック攻撃は、連続データ(画像など)よりも難しい。 対戦型サンプルを生成するための高品質で効果的な方法である textbfBERT-Attack を提案する。 本手法は、成功率と摂動率の両方において、最先端の攻撃戦略より優れている。
  論文  参考訳（メタデータ） (2020-04-21T13:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。