論文の概要: Large Language Models for Automatic Detection of Sensitive Topics
- arxiv url: http://arxiv.org/abs/2409.00940v1
- Date: Mon, 2 Sep 2024 04:50:42 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 08:21:03.067140
- Title: Large Language Models for Automatic Detection of Sensitive Topics
- Title（参考訳）: 感性トピックの自動検出のための大規模言語モデル
- Authors: Ruoyu Wen, Stephanie Elena Crowe, Kunal Gupta, Xinyue Li, Mark Billinghurst, Simon Hoermann, Dwain Allan, Alaeddin Nassani, Thammathip Piumsomboon,
- Abstract要約: 大規模言語モデル(LLM)は、自然言語を理解し処理する能力で知られている。
本研究は,精神保健領域における5つのLDMによる機密メッセージの検出能力について検討した。
最高のパフォーマンスモデルであるGPT-4oは平均精度99.5%、F1スコア0.99を達成した。
- 参考スコア（独自算出の注目度）: 20.929598260734995
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sensitive information detection is crucial in content moderation to maintain safe online communities. Assisting in this traditionally manual process could relieve human moderators from overwhelming and tedious tasks, allowing them to focus solely on flagged content that may pose potential risks. Rapidly advancing large language models (LLMs) are known for their capability to understand and process natural language and so present a potential solution to support this process. This study explores the capabilities of five LLMs for detecting sensitive messages in the mental well-being domain within two online datasets and assesses their performance in terms of accuracy, precision, recall, F1 scores, and consistency. Our findings indicate that LLMs have the potential to be integrated into the moderation workflow as a convenient and precise detection tool. The best-performing model, GPT-4o, achieved an average accuracy of 99.5\% and an F1-score of 0.99. We discuss the advantages and potential challenges of using LLMs in the moderation workflow and suggest that future research should address the ethical considerations of utilising this technology.
- Abstract（参考訳）: 安全なオンラインコミュニティを維持するためには、コンテンツモデレーションにおいて、敏感な情報検出が不可欠である。
従来の手作業で補助することで、人間のモデレーターが圧倒的で面倒な作業から解放され、潜在的なリスクをもたらす可能性のあるフラグ付きコンテンツのみに集中できるようになる。
急速に進歩する大規模言語モデル(LLM)は、自然言語を理解し処理する能力で知られており、このプロセスをサポートする潜在的なソリューションを提供する。
本研究は,2つのオンラインデータセット内のメンタルヘルス領域における機密メッセージを検出するための5つのLLMの機能について検討し,精度,精度,リコール,F1スコア,一貫性の観点からその性能を評価する。
以上の結果から, LLM はモデレーションワークフローに, 簡便かつ高精度な検出ツールとして組み込まれる可能性が示唆された。
最高のパフォーマンスモデルであるGPT-4oは平均精度99.5\%、F1スコア0.99を達成した。
我々は、モデレーションワークフローでLLMを使うことの利点と潜在的な課題について論じ、将来の研究は、この技術を利用する際の倫理的考慮事項に対処すべきだと提案する。
関連論文リスト
- A Soft Sensor Method with Uncertainty-Awareness and Self-Explanation Based on Large Language Models Enhanced by Domain Knowledge Retrieval [17.605817344542345]
Few-shot Uncertainty-aware and Self-Explaining Soft Sensor (LLM-FUESS) というフレームワークを提案する。
LLM-FUESSには、ゼロショット補助可変セレクタ(LLM-ZAVS)と不確実性認識Few-shot Soft Sensor(LLM-UFSS)が含まれている。
提案手法は,最先端の予測性能,強靭性,柔軟性を実現し,従来の手法のトレーニング不安定性を効果的に軽減する。
論文 参考訳（メタデータ） (2025-01-06T11:43:29Z) - Evaluating the Performance of Large Language Models in Scientific Claim Detection and Classification [0.0]
本研究では,Twitterのようなプラットフォーム上での誤情報を緩和する革新的な手法として,LLM(Large Language Models)の有効性を評価する。
LLMは、従来の機械学習モデルに関連する広範なトレーニングと過度に適合する問題を回避し、事前訓練された適応可能なアプローチを提供する。
特定データセットを用いたLCMの性能の比較分析を行い、公衆衛生コミュニケーションへの応用のためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-21T05:02:26Z) - Reasoner Outperforms: Generative Stance Detection with Rationalization for Social Media [12.479554210753664]
本研究は、明確な解釈可能な有理性を含む姿勢予測を含む生成的アプローチを採用する。
姿勢検出に推論を組み込むことで、より小さなモデル(FlanT5)がGPT-3.5のゼロショット性能を上回ることが判明した。
論文 参考訳（メタデータ） (2024-12-13T16:34:39Z) - Evaluating Cultural and Social Awareness of LLM Web Agents [113.49968423990616]
CASAは,大規模言語モデルの文化的・社会的規範に対する感受性を評価するためのベンチマークである。
提案手法は,標準に違反するユーザクエリや観察を検知し,適切に応答するLLMエージェントの能力を評価する。
実験により、現在のLLMは非エージェント環境で大幅に性能が向上していることが示された。
論文 参考訳（メタデータ） (2024-10-30T17:35:44Z) - Evaluating the Usability of LLMs in Threat Intelligence Enrichment [0.30723404270319693]
大規模言語モデル(LLM)は、脅威知能を著しく向上させる可能性がある。
しかし、その信頼性、正確性、および不正確な情報を生成する可能性に関する懸念は継続する。
本研究では、ChatGPT、Gemini、Cohere、Copilot、Meta AIの5つのLCMの総合的ユーザビリティ評価を行う。
論文 参考訳（メタデータ） (2024-09-23T14:44:56Z) - Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。
11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。
最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
論文 参考訳（メタデータ） (2024-07-23T15:31:26Z) - The Human Factor in Detecting Errors of Large Language Models: A Systematic Literature Review and Future Research Directions [0.0]
2022年11月、OpenAIによるChatGPTのローンチは人工知能の重要な瞬間となった。
大規模言語モデル (LLM) は、様々な領域で顕著な会話能力を示す。
これらのモデルは「幻覚」や省略といった誤りに影響を受けやすく、誤った情報や不完全な情報を生成する。
論文 参考訳（メタデータ） (2024-03-13T21:39:39Z) - GPT as Psychologist? Preliminary Evaluations for GPT-4V on Visual Affective Computing [74.68232970965595]
MLLM(Multimodal large language model)は、テキスト、音声、画像、ビデオなどの複数のソースからの情報を処理し、統合するように設計されている。
本稿では、視覚的情緒的タスクと推論タスクにまたがる5つの重要な能力を持つMLLMの適用性を評価する。
論文 参考訳（メタデータ） (2024-03-09T13:56:25Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳（メタデータ） (2024-02-28T04:56:21Z) - Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。
マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
論文 参考訳（メタデータ） (2023-10-04T20:27:20Z) - Can LLMs Express Their Uncertainty? An Empirical Evaluation of Confidence Elicitation in LLMs [60.61002524947733]
従来の信頼性推論手法は、内部モデル情報やモデル微調整へのホワイトボックスアクセスに依存していた。
これにより、不確実性推定のためのブラックボックスアプローチの未解決領域を探索する必要性が高まっている。
言語的信頼を導き出すための戦略の推進、複数の応答を生成するためのサンプリング方法、一貫性を計算するための集約手法の3つの要素からなる体系的フレームワークを定義する。
論文 参考訳（メタデータ） (2023-06-22T17:31:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。