論文の概要: Extended LSTM: Adaptive Feature Gating for Toxic Comment Classification
- arxiv url: http://arxiv.org/abs/2510.17018v1
- Date: Sun, 19 Oct 2025 21:50:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-25 00:56:39.249441
- Title: Extended LSTM: Adaptive Feature Gating for Toxic Comment Classification
- Title（参考訳）: 拡張LSTM: 有害コメント分類のための適応的特徴ゲーティング
- Authors: Noor Islam S. Mohammad,
- Abstract要約: xLSTMは、cosine-similarity gating、Adaptive Feature Prioritization、および原則付きクラス再バランスを統一するフレームワークである。
Jigsaw Toxic Commentベンチマークでは、xLSTMは96.4%の精度と0.88マクロF1に達し、BERTを33%、ID_hateカテゴリを28%上回っている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Toxic comment detection remains a challenging task, where transformer-based models (e.g., BERT) incur high computational costs and degrade on minority toxicity classes, while classical ensembles lack semantic adaptability. We propose xLSTM, a parameter-efficient and theoretically grounded framework that unifies cosine-similarity gating, adaptive feature prioritization, and principled class rebalancing. A learnable reference vector {v} in {R}^d modulates contextual embeddings via cosine similarity, amplifying toxic cues and attenuating benign signals to yield stronger gradients under severe class imbalance. xLSTM integrates multi-source embeddings (GloVe, FastText, BERT CLS) through a projection layer, a character-level BiLSTM for morphological cues, embedding-space SMOTE for minority augmentation, and adaptive focal loss with dynamic class weighting. On the Jigsaw Toxic Comment benchmark, xLSTM attains 96.0% accuracy and 0.88 macro-F1, outperforming BERT by 33% on threat and 28% on identity_hate categories, with 15 times fewer parameters and 50ms inference latency. Cosine gating contributes a +4.8% F1 gain in ablations. The results establish a new efficiency adaptability frontier, demonstrating that lightweight, theoretically informed architectures can surpass large pretrained models on imbalanced, domain-specific NLP tasks.
- Abstract（参考訳）: トキシックなコメント検出は依然として困難な課題であり、トランスフォーマーベースのモデル(例えばBERT)は高い計算コストを発生させ、少数派の毒性クラスを劣化させる一方、古典的なアンサンブルは意味的適応性に欠ける。
我々は,コサイン類似性ゲーティング,適応的特徴優先順位付け,原則的クラス再バランスを統一する,パラメータ効率が高く理論的に基礎的なフレームワークであるxLSTMを提案する。
R}^d の学習可能な参照ベクトル {v} は、コサイン類似性、有毒な手がかりの増幅、良性信号の減衰によってコンテキスト埋め込みを変調し、重度のクラス不均衡の下でより強い勾配を生成する。
xLSTMはマルチソース埋め込み(GloVe、FastText、BERT CLS)をプロジェクション層、モルフォロジーキュー用の文字レベルBiLSTM、マイノリティ拡張のための埋め込み空間SMOTE、動的クラス重み付けによる適応焦点損失を通じて統合する。
Jigsaw Toxic Commentベンチマークでは、xLSTMは96.0%の精度と0.88のマクロF1に達し、BERTよりも脅威が33%、ID_hateカテゴリが28%、パラメータが15倍、推論遅延が50msである。
コサインゲーティングは、エイブレーションにおいて+4.8%のF1ゲインを寄与する。
結果は、軽量で理論的に情報を得たアーキテクチャが、不均衡なドメイン固有のNLPタスクにおいて、大きな事前訓練されたモデルを上回ることができることを示す、新しい効率適応性フロンティアを確立した。
関連論文リスト
- Singular Value Decomposition on Kronecker Adaptation for Large Language Model [0.8747606955991707]
大規模な事前訓練されたトランスフォーマーモデルは、様々な言語や推論タスクにまたがって最先端の結果が得られる。
完全な微調整は、かなりのストレージ、メモリ、計算オーバーヘッドを発生させる。
我々は, Kronecker-product tensor factorization と SVD-driven initialization と Dynamic rank selection を組み合わせた新しい PEFT 戦略である SoKA を提案する。
論文 参考訳（メタデータ） (2025-06-18T08:28:53Z) - Taming Polysemanticity in LLMs: Provable Feature Recovery via Sparse Autoencoders [50.52694757593443]
既存のSAEトレーニングアルゴリズムは厳密な数学的保証を欠いていることが多く、実用的な制限に悩まされている。
まず,特徴の特定可能性という新たな概念を含む特徴回復問題の統計的枠組みを提案する。
本稿では、ニューラルネットワークのバイアスパラメータを適応的に調整し、適切なアクティベーション間隔を確保する手法である「バイアス適応」に基づく新たなSAEトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-06-16T20:58:05Z) - Taming LLMs by Scaling Learning Rates with Gradient Grouping [49.91587150497186]
大きな言語モデル(LLM)のトレーニングは、その大規模で異質なアーキテクチャのため、課題を提起する。
SGG(Scaling with Gradient Grouping)は、動的グルーピングとグループ固有のスケーリングによる適応的な学習率推定を改善するグラデーションラッパーである。
論文 参考訳（メタデータ） (2025-06-01T15:30:37Z) - HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。
本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。
テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
論文 参考訳（メタデータ） (2024-11-10T19:59:54Z) - Model Surgery: Modulating LLM's Behavior Via Simple Parameter Editing [63.20133320524577]
パラメータの小さなサブセットを編集することで、大きな言語モデル(LLM)の特定の振る舞いを効果的に調節できることを示す。
我々の手法は、RealToxicityPromptsデータセットで最大90.0%の毒性を減少させ、ToxiGenで49.2%を達成する。
論文 参考訳（メタデータ） (2024-07-11T17:52:03Z) - STAL: Spike Threshold Adaptive Learning Encoder for Classification of Pain-Related Biosignal Data [2.0738462952016232]
本稿では,EmoPainデータセットを用いた慢性腰痛 (CLBP) 分類のためのスパイキングニューラルネットワーク (SNN) の最初の応用について述べる。
本稿では,連続生体信号をスパイク列車に変換する訓練可能なエンコーダであるSpike Threshold Adaptive Learning (STAL)を紹介する。
また,SEMG と IMU データのマルチストリーム処理のためのスパイキングリカレントニューラルネットワーク (SRNN) 分類器のアンサンブルを提案する。
論文 参考訳（メタデータ） (2024-07-11T10:15:52Z) - Adaptive physics-informed neural operator for coarse-grained
non-equilibrium flows [0.0]
このフレームワークは、階層的かつ適応的なディープラーニング戦略を通じて、次元還元とニューラル演算子を組み合わせる。
提案したサロゲートのアーキテクチャは木として構成され、葉ノードは別々の神経オペレータブロックを表す。
0-Dのシナリオでは、提案されたMLフレームワークは、最大相対誤差が4.5%である約30種の力学を適応的に予測することができる。
論文 参考訳（メタデータ） (2022-10-27T23:26:57Z) - Label-Imbalanced and Group-Sensitive Classification under
Overparameterization [32.923780772605596]
ラベルの不均衡でグループに敏感な分類は、関連するメトリクスを最適化するための標準トレーニングアルゴリズムを適切に修正することを目指す。
標準実証的リスク最小化に対するロジット調整による損失修正は,一般的には効果がない可能性がある。
本研究では, 2つの共通する不均衡(ラベル/グループ)を統一的に処理し, 敏感群の二値分類に自然に適用できることを示した。
論文 参考訳（メタデータ） (2021-03-02T08:09:43Z) - Efficient Semantic Image Synthesis via Class-Adaptive Normalization [116.63715955932174]
クラス適応正規化(CLADE)は、セマンティッククラスにのみ適応する軽量かつ等価なバリアントである。
セマンティクスレイアウトから計算したクラス内位置マップエンコーディングを導入し,cladeの正規化パラメータを変調する。
提案されたCLADEは異なるSPADEベースのメソッドに一般化し、SPADEと比較して同等の生成品質を達成できる。
論文 参考訳（メタデータ） (2020-12-08T18:59:32Z) - Rethinking Spatially-Adaptive Normalization [111.13203525538496]
クラス適応正規化(CLADE)は、空間的位置やレイアウトに適応しない軽量な変種である。
CLADEは、生成時に意味情報を保存しながら計算コストを大幅に削減する。
論文 参考訳（メタデータ） (2020-04-06T17:58:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。