論文の概要: SLM-Mod: Small Language Models Surpass LLMs at Content Moderation

• arxiv url: http://arxiv.org/abs/2410.13155v1
• Date: Thu, 17 Oct 2024 02:16:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:20:19.053578
• Title: SLM-Mod: Small Language Models Surpass LLMs at Content Moderation
• Title（参考訳）: SLM-Mod: コンテンツモデレーションにおけるLLMを超越した小言語モデル
• Authors: Xianyang Zhan, Agam Goyal, Yilun Chen, Eshwar Chandrasekharan, Koustuv Saha,
• Abstract要約: 大規模言語モデル(LLM)は、コンテンツモデレーションを含む多くの自然言語理解タスクにおいて有望であることを示している。 コミュニティ固有のコンテンツモデレーションタスクにおいて,SLM(Small Language Model)のオープンソース利用について検討する。 15のRedditコミュニティからの150万のコメントを使って、SLMはコンテンツモデレーションにおいてLLMよりも優れています。
• 参考スコア（独自算出の注目度）: 13.759689015188698
• License:
• Abstract: Large language models (LLMs) have shown promise in many natural language understanding tasks, including content moderation. However, these models can be expensive to query in real-time and do not allow for a community-specific approach to content moderation. To address these challenges, we explore the use of open-source small language models (SLMs) for community-specific content moderation tasks. We fine-tune and evaluate SLMs (less than 15B parameters) by comparing their performance against much larger open- and closed-sourced models. Using 150K comments from 15 popular Reddit communities, we find that SLMs outperform LLMs at content moderation -- 11.5% higher accuracy and 25.7% higher recall on average across all communities. We further show the promise of cross-community content moderation, which has implications for new communities and the development of cross-platform moderation techniques. Finally, we outline directions for future work on language model based content moderation. Code and links to HuggingFace models can be found at https://github.com/AGoyal0512/SLM-Mod.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コンテンツモデレーションを含む多くの自然言語理解タスクにおいて有望であることを示している。 しかし、これらのモデルはリアルタイムにクエリするのに高価であり、コンテンツモデレーションに対するコミュニティ固有のアプローチを許さない。 これらの課題に対処するために、コミュニティ固有のコンテンツモデレーションタスクにオープンソースのSLM(Small Language Model)の使用について検討する。 我々は、より大規模なオープンソースモデルとクローズドソースモデルを比較して、SLM(15Bパラメータ未満)を微調整し、評価する。 15のRedditコミュニティからの150Kコメントを使用して、SLMはコンテンツモデレーションにおいてLLMよりも11.5%高い精度で、すべてのコミュニティで平均25.7%高いリコールを達成している。 また,新たなコミュニティに影響を及ぼすクロスコミュニティコンテンツモデレーションの約束と,クロスプラットフォームモデレーション技術の開発について述べる。 最後に,言語モデルに基づくコンテンツモデレーションの今後の取り組みについて概説する。 HuggingFaceモデルへのコードとリンクはhttps://github.com/AGoyal0512/SLM-Modにある。

関連論文リスト

• WikiContradict: A Benchmark for Evaluating LLMs on Real-World Knowledge Conflicts from Wikipedia [59.96425443250666]
  Retrieval-augmented Generation (RAG) は,大規模言語モデル(LLM)の限界を緩和する,有望なソリューションとして登場した。 本研究では,ウィキペディアからの矛盾文に基づく質問に対するLLM生成回答の総合評価を行う。 我々は、単一のパスを持つRAGと2つの矛盾するパスを持つRAGを含む、様々なQAシナリオ下で、クローズドおよびオープンソース両方のLSMをベンチマークする。
  論文  参考訳（メタデータ） (2024-06-19T20:13:42Z)
• The Curious Case of Nonverbal Abstract Reasoning with Multi-Modal Large Language Models [19.213774611556]
  MLLM(Multi-modal large language model)は、言語情報と視覚情報を統合したものである。 MLLMの革新的展望にもかかわらず、推論能力に対する我々の理解は限られている。 本研究では,オープンソースおよびクローズドソースMLLMの非言語的抽象的推論能力を評価する。
  論文  参考訳（メタデータ） (2024-01-22T16:57:05Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• The Ups and Downs of Large Language Model Inference with Vocabulary Trimming by Language Heuristics [74.99898531299148]
  本研究は,興味のある言語への埋め込みエントリを制限し,時間と記憶効率を高めることによる語彙トリミング(VT)について検討する。 Unicodeベースのスクリプトフィルタリングとコーパスベースの選択という2つの言語を異なる言語ファミリやサイズに適用する。 その結果、VTは小型モデルのメモリ使用量を50%近く削減し、生成速度が25%向上した。
  論文  参考訳（メタデータ） (2023-11-16T09:35:50Z)
• Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning [79.53130089003986]
  大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。 本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
  論文  参考訳（メタデータ） (2023-10-05T09:09:44Z)
• On the Safety of Open-Sourced Large Language Models: Does Alignment Really Prevent Them From Being Misused? [49.99955642001019]
  オープンソースでアライメントされた大きな言語モデルは、望ましくないコンテンツを生成するために簡単に誤解される可能性があることを示す。 我々のキーとなる考え方は、オープンソースLLMの生成プロセスを直接操作して、望ましくないコンテンツを生成するのを誤解することです。
  論文  参考訳（メタデータ） (2023-10-02T19:22:01Z)
• Watch Your Language: Investigating Content Moderation with Large Language Models [5.306187298781318]
  大規模言語モデル(LLM)は、様々な自然言語タスクを実行する能力によって、人気が高まっている。 我々は,ルールベースのコミュニティ・モデレーションと有害なコンテンツ検出という2つの共通コンテンツモデレーションタスクにおいて,コモディティLLMのスイートを評価する。
  論文  参考訳（メタデータ） (2023-09-25T20:23:51Z)
• Scaling Sentence Embeddings with Large Language Models [43.19994568210206]
  本研究では,文埋め込み性能の向上を目的としたテキスト内学習手法を提案する。 提案手法では,従来のプロンプトに基づく表現手法を自己回帰モデルに適用する。 モデルサイズをスケールすることで、数千億以上のパラメータへのスケーリングが意味的なテキスト類似性タスクのパフォーマンスを損なうことが分かる。
  論文  参考訳（メタデータ） (2023-07-31T13:26:03Z)
• Can Large Language Models Transform Computational Social Science? [79.62471267510963]
  大規模言語モデル(LLM)は、(トレーニングデータなしで)ゼロショットで多くの言語処理タスクを実行することができる この研究は、計算社会科学ツールとしてLLMを使用するためのロードマップを提供する。
  論文  参考訳（メタデータ） (2023-04-12T17:33:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。