論文の概要: Advancing Harmful Content Detection in Organizational Research: Integrating Large Language Models with Elo Rating System

• arxiv url: http://arxiv.org/abs/2506.16575v1
• Date: Thu, 19 Jun 2025 20:01:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.241595
• Title: Advancing Harmful Content Detection in Organizational Research: Integrating Large Language Models with Elo Rating System
• Title（参考訳）: 組織研究における有害コンテンツ検出の促進:エロレーティングシステムによる大規模言語モデルの統合
• Authors: Mustafa Akben, Aaron Satko,
• Abstract要約: 大規模言語モデル(LLM)は、組織研究に有望な機会を提供する。 彼らの内蔵モデレーションシステムは、研究者が有害なコンテンツを分析しようとすると、問題を引き起こす可能性がある。 本稿では,有害コンテンツ分析のためのLCM性能を大幅に向上するElo評価手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) offer promising opportunities for organizational research. However, their built-in moderation systems can create problems when researchers try to analyze harmful content, often refusing to follow certain instructions or producing overly cautious responses that undermine validity of the results. This is particularly problematic when analyzing organizational conflicts such as microaggressions or hate speech. This paper introduces an Elo rating-based method that significantly improves LLM performance for harmful content analysis In two datasets, one focused on microaggression detection and the other on hate speech, we find that our method outperforms traditional LLM prompting techniques and conventional machine learning models on key measures such as accuracy, precision, and F1 scores. Advantages include better reliability when analyzing harmful content, fewer false positives, and greater scalability for large-scale datasets. This approach supports organizational applications, including detecting workplace harassment, assessing toxic communication, and fostering safer and more inclusive work environments.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、組織研究に有望な機会を提供する。 しかし、彼らの内蔵モデレーションシステムは、研究者が有害なコンテンツを分析しようとするとき、しばしば特定の指示に従うことを拒否したり、結果の妥当性を損なう過度に慎重な反応を発生させたりする際に問題を引き起こす可能性がある。 これは、マイクロアグレッションやヘイトスピーチといった組織的な対立を分析する場合に特に問題となる。 本稿では,有害なコンテンツ分析のためのLLM性能を著しく向上させるElo評価に基づく手法を提案する。一方はマイクロアグレス検出に着目し,他方はヘイトスピーチに着目した2つのデータセットにおいて,従来のLLMプロンプト技術や従来の機械学習モデルよりも精度,精度,F1スコアなどの重要な指標で優れていた。 メリットとしては、有害なコンテンツを解析する際の信頼性の向上、偽陽性の低減、大規模データセットのスケーラビリティ向上などがある。 このアプローチは、職場の嫌がらせの検出、有害なコミュニケーションの評価、より安全で包括的な作業環境の育成など、組織的応用を支援する。

関連論文リスト

• Benchmarking Adversarial Robustness to Bias Elicitation in Large Language Models: Scalable Automated Assessment with LLM-as-a-Judge [0.0]
  大規模言語モデル(LLM)は人工知能に革命をもたらし、機械翻訳、要約、会話エージェントの進歩を推進している。 近年の研究では、LSMは偏りのある反応を誘発するために設計された敵攻撃に弱いままである。 本研究は,LLMの逆バイアス誘発に対する堅牢性を評価するためのスケーラブルなベンチマークフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-10T16:00:59Z)
• LLM-Safety Evaluations Lack Robustness [58.334290876531036]
  我々は、大規模言語モデルに対する現在の安全アライメント研究は、多くのノイズ源によって妨げられていると論じる。 本研究では,将来の攻撃・防衛用紙の評価において,ノイズやバイアスを低減させる一連のガイドラインを提案する。
  論文  参考訳（メタデータ） (2025-03-04T12:55:07Z)
• LLMs in Software Security: A Survey of Vulnerability Detection Techniques and Insights [12.424610893030353]
  大規模言語モデル(LLM)は、ソフトウェア脆弱性検出のためのトランスフォーメーションツールとして登場している。 本稿では,脆弱性検出におけるLSMの詳細な調査を行う。 言語間の脆弱性検出、マルチモーダルデータ統合、リポジトリレベルの分析といった課題に対処する。
  論文  参考訳（メタデータ） (2025-02-10T21:33:38Z)
• Evaluating the Performance of Large Language Models in Scientific Claim Detection and Classification [0.0]
  本研究では,Twitterのようなプラットフォーム上での誤情報を緩和する革新的な手法として,LLM(Large Language Models)の有効性を評価する。 LLMは、従来の機械学習モデルに関連する広範なトレーニングと過度に適合する問題を回避し、事前訓練された適応可能なアプローチを提供する。 特定データセットを用いたLCMの性能の比較分析を行い、公衆衛生コミュニケーションへの応用のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-21T05:02:26Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Towards Effective Evaluations and Comparisons for LLM Unlearning Methods [97.2995389188179]
  本稿では,大規模言語モデルにおける機械学習評価の精度向上を図る。 評価指標の堅牢性と、競合する目標間のトレードオフという、2つの重要な課題に対処します。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
  大規模言語モデル(LLM)は意思決定タスクを自動化するために使用される。 本稿では,LPMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを評価する。 さまざまな因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成します。 これらのベンチマークにより、LLMが事実を記憶したり、他のショートカットを見つけたりすることで、変化を正確に予測する能力を切り離すことができます。
  論文  参考訳（メタデータ） (2024-04-08T14:15:56Z)
• The Human Factor in Detecting Errors of Large Language Models: A Systematic Literature Review and Future Research Directions [0.0]
  2022年11月、OpenAIによるChatGPTのローンチは人工知能の重要な瞬間となった。 大規模言語モデル (LLM) は、様々な領域で顕著な会話能力を示す。 これらのモデルは「幻覚」や省略といった誤りに影響を受けやすく、誤った情報や不完全な情報を生成する。
  論文  参考訳（メタデータ） (2024-03-13T21:39:39Z)
• On the Risk of Misinformation Pollution with Large Language Models [127.1107824751703]
  本稿では,現代大規模言語モデル (LLM) の誤用の可能性について検討する。 本研究は, LLMが効果的な誤情報発生器として機能し, DOQAシステムの性能が著しく低下することを明らかにする。
  論文  参考訳（メタデータ） (2023-05-23T04:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。