Fugu-MT 論文翻訳(概要): Tiny-Toxic-Detector: A compact transformer-based model for toxic content detection

論文の概要: Tiny-Toxic-Detector: A compact transformer-based model for toxic content detection

arxiv url: http://arxiv.org/abs/2409.02114v1
Date: Thu, 29 Aug 2024 22:31:38 GMT
ステータス: 処理完了
システム内更新日: 2024-09-05 23:53:09.935977
Title: Tiny-Toxic-Detector: A compact transformer-based model for toxic content detection
Title（参考訳）: Tiny-Toxic-Detector: 毒性コンテンツ検出のためのコンパクトトランスモデル
Authors: Michiel Kamphuis,
Abstract要約: 本稿では, 有害なコンテンツ検出を目的とした小型トランスモデルTiny-toxic-detectorを提案する。わずか210万のパラメータを持つにもかかわらず、Tiny-toxic-detectorはベンチマークデータセット上での競合的なパフォーマンスを達成する。 Tiny-toxic-detectorは、より持続的でスケーラブルなAI駆動のコンテンツモデレーションソリューションへの進歩を表している。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: This paper presents Tiny-toxic-detector, a compact transformer-based model designed for toxic content detection. Despite having only 2.1 million parameters, Tiny-toxic-detector achieves competitive performance on benchmark datasets, with 90.97% accuracy on ToxiGen and 86.98% accuracy on the Jigsaw dataset, rivaling models over 50 times its size. This efficiency enables deployment in resource-constrained environments, addressing the need for effective content moderation tools that balance performance with computational efficiency. The model architecture features 4 transformer encoder layers, each with 2 attention heads, an embedding dimension of 64, and a feedforward dimension of 128. Trained on both public and private datasets, Tiny-toxic-detector demonstrates the potential of efficient, task-specific models for addressing online toxicity. The paper covers the model architecture, training process, performance benchmarks, and limitations, underscoring its suitability for applications such as social media monitoring and content moderation. By achieving results comparable to much larger models while significantly reducing computational demands, Tiny-toxic-detector represents progress toward more sustainable and scalable AI-driven content moderation solutions.
Abstract（参考訳）: 本稿では, 有害なコンテンツ検出を目的とした小型トランスモデルTiny-toxic-detectorを提案する。わずか2100万のパラメータを持つにもかかわらず、Tiny-toxic-detectorはベンチマークデータセット上での競合性能を達成しており、ToxiGenでは90.97%、Jigsawデータセットでは86.98%の精度で、50倍以上のモデルに匹敵する。この効率性は、リソース制約のある環境へのデプロイを可能にし、パフォーマンスと計算効率のバランスをとる効果的なコンテンツモデレーションツールの必要性に対処する。モデルアーキテクチャは、4つのトランスフォーマーエンコーダ層を備え、それぞれ2つのアテンションヘッド、埋め込み寸法64、フィードフォワード寸法128である。パブリックデータセットとプライベートデータセットの両方でトレーニングされたTiny-toxic-detectorは、オンライン毒性に対処する効率的なタスク固有のモデルの可能性を示している。本論文は,ソーシャルメディア監視やコンテンツモデレーションなどのアプリケーションに適用可能な,モデルアーキテクチャ,トレーニングプロセス,パフォーマンスベンチマーク,制限について述べる。より大きなモデルに匹敵する結果を達成し、計算要求を大幅に削減することで、Tiny-toxic-detectorは、より持続可能でスケーラブルなAI駆動のコンテンツモデレーションソリューションへの進歩を表している。

関連論文リスト

Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-29T19:02:54Z)
InfantCryNet: A Data-driven Framework for Intelligent Analysis of Infant Cries [24.06154195051215]
本稿では,これらのタスクを実現するための新しいデータ駆動フレームワーク"InfantCryNet"を提案する。事前学習された音声モデルを用いて、事前知識をモデルに組み込む。実生活データセットの実験は、提案フレームワークの優れた性能を示す。
論文参考訳（メタデータ） (2024-09-29T12:35:47Z)
LORTSAR: Low-Rank Transformer for Skeleton-based Action Recognition [4.375744277719009]
LORTSARは2つの主要なトランスフォーマーベースモデル、"Hyperformer"と"STEP-CATFormer"に適用される。本手法は, 認識精度の劣化や性能向上などにより, モデルパラメータの数を大幅に削減することができる。これは、SVDと圧縮後の微調整を組み合わせることでモデル効率が向上し、人間の行動認識におけるより持続的で軽量で高性能な技術への道が開けることを確認する。
論文参考訳（メタデータ） (2024-07-19T20:19:41Z)
Exploring the Effectiveness of Dataset Synthesis: An application of Apple Detection in Orchards [68.95806641664713]
本研究では,リンゴ樹の合成データセットを生成するための安定拡散2.1-baseの有用性について検討する。我々は、現実世界のリンゴ検出データセットでリンゴを予測するために、YOLOv5mオブジェクト検出モデルを訓練する。その結果、実世界の画像でトレーニングされたベースラインモデルと比較して、生成データでトレーニングされたモデルはわずかに性能が劣っていることがわかった。
論文参考訳（メタデータ） (2023-06-20T09:46:01Z)
Detection of Pavement Cracks by Deep Learning Models of Transformer and UNet [9.483452333312373]
近年、深層学習技術の出現と発展は、表面き裂検出を容易にする大きな可能性を示している。本研究では, モデル精度, 計算複雑性, モデル安定性により, 舗装面き裂検出の性能を評価するために, 9つの有望なモデルについて検討した。一般に、トランスフォーマーベースのモデルは、トレーニングプロセス中に収束しやすく、精度が高いが、通常、メモリ消費が増加し、処理効率が低下する。
論文参考訳（メタデータ） (2023-04-25T06:07:49Z)
A Computer Vision Enabled damage detection model with improved YOLOv5 based on Transformer Prediction Head [0.0]
現在の最先端ディープラーニング(DL)に基づく損傷検出モデルは、複雑でノイズの多い環境では優れた特徴抽出能力を欠いていることが多い。 DenseSPH-YOLOv5は、DenseNetブロックをバックボーンに統合したリアルタイムDLベースの高性能損傷検出モデルである。 DenseSPH-YOLOv5は平均平均精度(mAP)が85.25%、F1スコアが81.18%、精度(P)が89.51%である。
論文参考訳（メタデータ） (2023-03-07T22:53:36Z)
Fast Exploration of the Impact of Precision Reduction on Spiking Neural Networks [63.614519238823206]
ターゲットハードウェアがコンピューティングの端に達すると、スパイキングニューラルネットワーク(SNN)が実用的な選択となる。我々は、近似誤差を伝播するそのようなモデルの能力を生かした探索手法を開発するために、インターヴァル算術(IA)モデルを用いる。
論文参考訳（メタデータ） (2022-11-22T15:08:05Z)
TinyDefectNet: Highly Compact Deep Neural Network Architecture for High-Throughput Manufacturing Visual Quality Inspection [72.88856890443851]
TinyDefectNetは、高スループット製造の視覚品質検査に適した、非常にコンパクトな深層畳み込みネットワークアーキテクチャである。 TinyDefectNetはAMD EPYC 7R32上にデプロイされ、ネイティブフロー環境を使って7.6倍のスループット、AMD ZenDNNアクセラレーターライブラリを使って9倍のスループットを達成した。
論文参考訳（メタデータ） (2021-11-29T04:19:28Z)
MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
論文参考訳（メタデータ） (2021-10-05T02:14:38Z)
Neural Network Virtual Sensors for Fuel Injection Quantities with Provable Performance Specifications [71.1911136637719]
証明可能な保証が、他の現実世界の設定にどのように自然に適用できるかを示す。本研究では, 燃料噴射量を一定範囲で最大化するために, 特定の間隔の燃料噴射量を目標にする方法を示す。
論文参考訳（メタデータ） (2020-06-30T23:33:17Z)
ResOT: Resource-Efficient Oblique Trees for Neural Signal Classification [12.977151652608047]
本稿では,斜め決定木に基づく機械学習モデルを導入し,ニューラルネットワークを用いた資源効率の高い分類を実現する。性能,メモリ,ハードウェアの要件を評価するため,3つのニューラル分類タスクに対して,電力効率の正則化を施した資源効率木を訓練した。提案モデルは,リアルタイム神経疾患検出および運動復号のための低消費電力メモリ効率な分類器の実装を可能にする。
論文参考訳（メタデータ） (2020-06-14T13:29:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。