論文の概要: Large Language Models for Automatic Detection of Sensitive Topics

• arxiv url: http://arxiv.org/abs/2409.00940v1
• Date: Mon, 2 Sep 2024 04:50:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 08:21:03.067140
• Title: Large Language Models for Automatic Detection of Sensitive Topics
• Title（参考訳）: 感性トピックの自動検出のための大規模言語モデル
• Authors: Ruoyu Wen, Stephanie Elena Crowe, Kunal Gupta, Xinyue Li, Mark Billinghurst, Simon Hoermann, Dwain Allan, Alaeddin Nassani, Thammathip Piumsomboon,
• Abstract要約: 大規模言語モデル(LLM)は、自然言語を理解し処理する能力で知られている。 本研究は,精神保健領域における5つのLDMによる機密メッセージの検出能力について検討した。 最高のパフォーマンスモデルであるGPT-4oは平均精度99.5%、F1スコア0.99を達成した。
• 参考スコア（独自算出の注目度）: 20.929598260734995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sensitive information detection is crucial in content moderation to maintain safe online communities. Assisting in this traditionally manual process could relieve human moderators from overwhelming and tedious tasks, allowing them to focus solely on flagged content that may pose potential risks. Rapidly advancing large language models (LLMs) are known for their capability to understand and process natural language and so present a potential solution to support this process. This study explores the capabilities of five LLMs for detecting sensitive messages in the mental well-being domain within two online datasets and assesses their performance in terms of accuracy, precision, recall, F1 scores, and consistency. Our findings indicate that LLMs have the potential to be integrated into the moderation workflow as a convenient and precise detection tool. The best-performing model, GPT-4o, achieved an average accuracy of 99.5\% and an F1-score of 0.99. We discuss the advantages and potential challenges of using LLMs in the moderation workflow and suggest that future research should address the ethical considerations of utilising this technology.
• Abstract（参考訳）: 安全なオンラインコミュニティを維持するためには、コンテンツモデレーションにおいて、敏感な情報検出が不可欠である。 従来の手作業で補助することで、人間のモデレーターが圧倒的で面倒な作業から解放され、潜在的なリスクをもたらす可能性のあるフラグ付きコンテンツのみに集中できるようになる。 急速に進歩する大規模言語モデル(LLM)は、自然言語を理解し処理する能力で知られており、このプロセスをサポートする潜在的なソリューションを提供する。 本研究は,2つのオンラインデータセット内のメンタルヘルス領域における機密メッセージを検出するための5つのLLMの機能について検討し,精度,精度,リコール,F1スコア,一貫性の観点からその性能を評価する。 以上の結果から, LLM はモデレーションワークフローに, 簡便かつ高精度な検出ツールとして組み込まれる可能性が示唆された。 最高のパフォーマンスモデルであるGPT-4oは平均精度99.5\%、F1スコア0.99を達成した。 我々は、モデレーションワークフローでLLMを使うことの利点と潜在的な課題について論じ、将来の研究は、この技術を利用する際の倫理的考慮事項に対処すべきだと提案する。

関連論文リスト

• Evaluating Cultural and Social Awareness of LLM Web Agents [113.49968423990616]
  CASAは,大規模言語モデルの文化的・社会的規範に対する感受性を評価するためのベンチマークである。 提案手法は,標準に違反するユーザクエリや観察を検知し,適切に応答するLLMエージェントの能力を評価する。 実験により、現在のLLMは非エージェント環境で大幅に性能が向上していることが示された。
  論文  参考訳（メタデータ） (2024-10-30T17:35:44Z)
• Evaluating the Usability of LLMs in Threat Intelligence Enrichment [0.30723404270319693]
  大規模言語モデル(LLM)は、脅威知能を著しく向上させる可能性がある。 しかし、その信頼性、正確性、および不正確な情報を生成する可能性に関する懸念は継続する。 本研究では、ChatGPT、Gemini、Cohere、Copilot、Meta AIの5つのLCMの総合的ユーザビリティ評価を行う。
  論文  参考訳（メタデータ） (2024-09-23T14:44:56Z)
• Zero-Shot Learning and Key Points Are All You Need for Automated Fact-Checking [10.788661063801703]
  本研究は,ZSL-KeP(Zero-Shot Learning and Key Points)に基づく自動ファクトチェックフレームワークを提案する。 AVeriTeC共有タスクデータセット上で、ベースラインを堅牢に改善し、10位を達成することで、うまく機能する。
  論文  参考訳（メタデータ） (2024-08-15T19:57:42Z)
• Towards Explainable Network Intrusion Detection using Large Language Models [3.8436076642278745]
  大規模言語モデル(LLM)は、特にチャットエージェントのような自然言語処理タスクに革命をもたらした。 本稿では,ネットワーク侵入検知システム(NIDS)におけるLLMの適用可能性について検討する。 予備的な調査では、LSMは悪性ネットフローの検出には適していないことが示されている。 特に、Retrieval Augmented Generation(RAG)と機能呼び出し機能を統合した場合の脅威応答の説明や支援において、NIDSの補完的エージェントとして有意義な可能性を秘めている。
  論文  参考訳（メタデータ） (2024-08-08T09:59:30Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• The Human Factor in Detecting Errors of Large Language Models: A Systematic Literature Review and Future Research Directions [0.0]
  2022年11月、OpenAIによるChatGPTのローンチは人工知能の重要な瞬間となった。 大規模言語モデル (LLM) は、様々な領域で顕著な会話能力を示す。 これらのモデルは「幻覚」や省略といった誤りに影響を受けやすく、誤った情報や不完全な情報を生成する。
  論文  参考訳（メタデータ） (2024-03-13T21:39:39Z)
• GPT as Psychologist? Preliminary Evaluations for GPT-4V on Visual Affective Computing [74.68232970965595]
  MLLM(Multimodal large language model)は、テキスト、音声、画像、ビデオなどの複数のソースからの情報を処理し、統合するように設計されている。 本稿では、視覚的情緒的タスクと推論タスクにまたがる5つの重要な能力を持つMLLMの適用性を評価する。
  論文  参考訳（メタデータ） (2024-03-09T13:56:25Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• Understanding the Effectiveness of Large Language Models in Detecting Security Vulnerabilities [12.82645410161464]
  5つの異なるセキュリティデータセットから5,000のコードサンプルに対して、16の事前学習された大規模言語モデルの有効性を評価する。 全体として、LSMは脆弱性の検出において最も穏やかな効果を示し、データセットの平均精度は62.8%、F1スコアは0.71である。 ステップバイステップ分析を含む高度なプロンプト戦略は、F1スコア(平均0.18まで)で実世界のデータセット上でのLLMのパフォーマンスを著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-11-16T13:17:20Z)
• Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
  本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。 マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
  論文  参考訳（メタデータ） (2023-10-04T20:27:20Z)
• Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs [60.61002524947733]
  従来の信頼性推論手法は、内部モデル情報やモデル微調整へのホワイトボックスアクセスに依存していた。 これにより、不確実性推定のためのブラックボックスアプローチの未解決領域を探索する必要性が高まっている。 言語的信頼を導き出すための戦略の推進、複数の応答を生成するためのサンプリング方法、一貫性を計算するための集約手法の3つの要素からなる体系的フレームワークを定義する。
  論文  参考訳（メタデータ） (2023-06-22T17:31:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。