論文の概要: Towards Generalized Offensive Language Identification

• arxiv url: http://arxiv.org/abs/2407.18738v1
• Date: Fri, 26 Jul 2024 13:50:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 13:21:06.009716
• Title: Towards Generalized Offensive Language Identification
• Title（参考訳）: 一般化された攻撃的言語識別に向けて
• Authors: Alphaeus Dmonte, Tejas Arya, Tharindu Ranasinghe, Marcos Zampieri,
• Abstract要約: 本稿では,新たな一般化ベンチマークを用いて,攻撃的言語検出モデルとデータセットの一般化可能性を実証的に評価する。 我々の発見は、堅牢な実世界の攻撃的言語検出システムの構築に有用である。
• 参考スコア（独自算出の注目度）: 13.261770797304777
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The prevalence of offensive content on the internet, encompassing hate speech and cyberbullying, is a pervasive issue worldwide. Consequently, it has garnered significant attention from the machine learning (ML) and natural language processing (NLP) communities. As a result, numerous systems have been developed to automatically identify potentially harmful content and mitigate its impact. These systems can follow two approaches; (1) Use publicly available models and application endpoints, including prompting large language models (LLMs) (2) Annotate datasets and train ML models on them. However, both approaches lack an understanding of how generalizable they are. Furthermore, the applicability of these systems is often questioned in off-domain and practical environments. This paper empirically evaluates the generalizability of offensive language detection models and datasets across a novel generalized benchmark. We answer three research questions on generalizability. Our findings will be useful in creating robust real-world offensive language detection systems.
• Abstract（参考訳）: ヘイトスピーチやサイバーいじめを含むインターネット上の攻撃的コンテンツの普及は、世界中で広まっている問題である。 その結果、機械学習(ML)と自然言語処理(NLP)コミュニティから大きな注目を集めている。 その結果、潜在的に有害なコンテンツを自動的に識別し、その影響を軽減するために、多くのシステムが開発されている。 1) 公開可能なモデルとアプリケーションエンドポイントを使用し、大きな言語モデル(LLM)をプロンプトする(2) データセットにアノテーションを付け、MLモデルをトレーニングする。 しかし、どちらのアプローチも、それらがいかに一般化可能であるかを理解していない。 さらに、これらのシステムの適用性は、ドメイン外および実践的な環境でしばしば疑問視される。 本稿では,新たな一般化ベンチマークを用いて,攻撃的言語検出モデルとデータセットの一般化可能性を実証的に評価する。 一般化可能性に関する3つの研究課題に答える。 我々の発見は、堅牢な実世界の攻撃的言語検出システムの構築に有用である。

関連論文リスト

• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• Fine-Tuning Llama 2 Large Language Models for Detecting Online Sexual Predatory Chats and Abusive Texts [2.406214748890827]
  本稿では,Llama 2 7B-パラメーターモデルを用いて,オンライン性的捕食チャットと虐待言語の検出手法を提案する。 我々は、異なる大きさ、不均衡度、言語(英語、ローマ・ウルドゥー語、ウルドゥー語)のデータセットを用いてLLMを微調整する。 実験結果から,提案手法は3つの異なるデータセットに対して精度よく一貫した性能を示す。
  論文  参考訳（メタデータ） (2023-08-28T16:18:50Z)
• Evaluating and Modeling Attribution for Cross-Lingual Question Answering [80.4807682093432]
  この研究は、言語間質問応答の属性を初めて研究したものである。 我々は、5つの言語でデータを収集し、最先端の言語間QAシステムの属性レベルを評価する。 回答のかなりの部分は、検索されたどのパスにも帰属しないことがわかった。
  論文  参考訳（メタデータ） (2023-05-23T17:57:46Z)
• Language Model Behavior: A Comprehensive Survey [5.663056267168211]
  本稿では,タスク固有の微調整前における英語モデル行動に関する最近の250以上の研究について論じる。 モデルが数十億のパラメータにスケールするにつれて、生成テキストの品質は劇的に向上するが、モデルはまだ、非現実的な応答、常識的エラー、暗記されたテキスト、社会的偏見の傾向にある。
  論文  参考訳（メタデータ） (2023-03-20T23:54:26Z)
• Generalizing in the Real World with Representation Learning [1.3494312389622642]
  機械学習(ML)は、コンピュータにパフォーマンスの最適化としての経験から学習させるという問題を、いくつかの指標に従って定式化する。 これは、事前に規定された振る舞い(例えば、ハードコードされたルール)を要求することと対照的である。 この論文では、深いネットの一般化をよりよく理解し、仮定や問題設定が現実の世界に一般化できないいくつかの方法を特定し、実際にそれらの失敗に対処する方法を提案します。
  論文  参考訳（メタデータ） (2022-10-18T15:11:09Z)
• A New Generation of Perspective API: Efficient Multilingual Character-level Transformers [66.9176610388952]
  Google JigsawのAspective APIの次期バージョンの基礎を提示する。 このアプローチの中心は、単一の多言語トークンフリーなCharformerモデルである。 静的な語彙を強制することで、さまざまな設定で柔軟性が得られます。
  論文  参考訳（メタデータ） (2022-02-22T20:55:31Z)
• Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
  目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。 このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。 新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
  論文  参考訳（メタデータ） (2022-02-03T18:55:52Z)
• Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
  言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。 データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。 データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
  論文  参考訳（メタデータ） (2021-11-02T15:48:28Z)
• Curious Case of Language Generation Evaluation Metrics: A Cautionary Tale [52.663117551150954]
  イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。 これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。 本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
  論文  参考訳（メタデータ） (2020-10-26T13:57:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。