論文の概要: Assessing and Refining ChatGPT's Performance in Identifying Targeting and Inappropriate Language: A Comparative Study

• arxiv url: http://arxiv.org/abs/2505.21710v1
• Date: Tue, 27 May 2025 19:53:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.260246
• Title: Assessing and Refining ChatGPT's Performance in Identifying Targeting and Inappropriate Language: A Comparative Study
• Title（参考訳）: ターゲットと不適切な言語識別におけるChatGPTの性能評価と精錬 : 比較検討
• Authors: Barbarestani Baran, Maks Isa, Vossen Piek,
• Abstract要約: 本研究では、自然言語処理のための高度なAIモデルであるChatGPTの有効性を評価し、オンラインコメントにおけるターゲティングと不適切な言語を特定する。 我々はChatGPTの性能をクラウドソースアノテーションと専門家評価と比較し,その正確性,検出範囲,一貫性を評価した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study evaluates the effectiveness of ChatGPT, an advanced AI model for natural language processing, in identifying targeting and inappropriate language in online comments. With the increasing challenge of moderating vast volumes of user-generated content on social network sites, the role of AI in content moderation has gained prominence. We compared ChatGPT's performance against crowd-sourced annotations and expert evaluations to assess its accuracy, scope of detection, and consistency. Our findings highlight that ChatGPT performs well in detecting inappropriate content, showing notable improvements in accuracy through iterative refinements, particularly in Version 6. However, its performance in targeting language detection showed variability, with higher false positive rates compared to expert judgments. This study contributes to the field by demonstrating the potential of AI models like ChatGPT to enhance automated content moderation systems while also identifying areas for further improvement. The results underscore the importance of continuous model refinement and contextual understanding to better support automated moderation and mitigate harmful online behavior.
• Abstract（参考訳）: 本研究では、自然言語処理のための高度なAIモデルであるChatGPTの有効性を評価し、オンラインコメントにおけるターゲティングと不適切な言語を特定する。 ソーシャルネットワーク上で大量のユーザー生成コンテンツをモデレートするという課題が増大し、コンテンツモデレーションにおけるAIの役割が注目されている。 我々はChatGPTの性能をクラウドソースアノテーションと専門家評価と比較し、その正確性、検出範囲、一貫性を評価した。 以上の結果から,ChatGPTは不適切なコンテンツの検出に優れており,特にバージョン6では,反復的改善による精度の向上が顕著であることがわかった。 しかし, 言語検出におけるその性能は, 専門家の判断に比べ, 偽陽性率が高く, 可変性を示した。 この研究は、ChatGPTのようなAIモデルの可能性を実証し、自動コンテンツモデレーションシステムを強化するとともに、さらなる改善のための領域を特定することによって、この分野に寄与する。 その結果、自動モデレーションをサポートし、有害なオンライン行動を軽減するために、継続的モデル改善と文脈理解の重要性が浮き彫りになった。

関連論文リスト

• Improving Harmful Text Detection with Joint Retrieval and External Knowledge [16.68620974551506]
  本研究では,学習済み言語モデルと知識グラフを統合し,有害テキスト検出の精度と堅牢性を向上させるための共同検索フレームワークを提案する。 実験結果から, 結合探索法は単一モデルベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-04-03T06:37:55Z)
• Using ChatGPT to Score Essays and Short-Form Constructed Responses [0.0]
  線形回帰、ランダム森林、勾配上昇、隆起など、様々な予測モデルに焦点をあてた調査。 2次重み付きカッパ(QWK)測定値を用いてChatGPTの性能評価を行った。 研究は、ChatGPTは人間のスコアを補完するが、高い評価を得るためにはさらなる開発が必要であると結論付けている。
  論文  参考訳（メタデータ） (2024-08-18T16:51:28Z)
• Toward Practical Automatic Speech Recognition and Post-Processing: a Call for Explainable Error Benchmark Guideline [12.197453599489963]
  本稿では,Error Explainable Benchmark (EEB) データセットの開発を提案する。 このデータセットは、音声レベルとテキストレベルの両方を考慮しているが、モデルの欠点を詳細に理解することができる。 我々の提案は、より現実世界中心の評価のための構造化された経路を提供し、ニュアンスドシステムの弱点の検出と修正を可能にします。
  論文  参考訳（メタデータ） (2024-01-26T03:42:45Z)
• Advancing Spatial Reasoning in Large Language Models: An In-Depth Evaluation and Enhancement Using the StepGame Benchmark [4.970614891967042]
  StepGameベンチマークでGPTの空間推論性能を解析した。 自然言語テキストを空間的関係にマッピングする習熟度は,マルチホップ推論の限界に比例する。 我々は、GPTの認知プロセスに関する洞察を提供しながら、戦略を促すチェーン・オブ・ソートとツリー・オブ・ソートを展開」。
  論文  参考訳（メタデータ） (2024-01-08T16:13:08Z)
• Clarity ChatGPT: An Interactive and Adaptive Processing System for Image Restoration and Enhancement [97.41630939425731]
  本稿では,ChatGPTの会話インテリジェンスと複数のIRE手法を組み合わせた変換システムを提案する。 ケーススタディでは、Clarity ChatGPTがIREの一般化と相互作用能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-20T11:51:13Z)
• DEMASQ: Unmasking the ChatGPT Wordsmith [63.8746084667206]
  そこで本研究では,ChatGPT生成内容を正確に識別する効果的なChatGPT検出器DEMASQを提案する。 提案手法は, 人為的, 機械的, 人為的, 人為的, 機械的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人
  論文  参考訳（メタデータ） (2023-11-08T21:13:05Z)
• Leveraging Large Language Models for Automated Dialogue Analysis [12.116834890063146]
  本稿では,現在最先端の大規模言語モデル(LLM)であるChatGPT-3.5を用いて,実際のロボット対話における9つのカテゴリの対話行動検出を行う。 以上の結果から, 特殊モデルもChatGPTもこの課題に満足できない結果が得られず, 人的性能に乏しいことが判明した。
  論文  参考訳（メタデータ） (2023-09-12T18:03:55Z)
• To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
  本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。 我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。 評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
  論文  参考訳（メタデータ） (2023-04-04T03:04:28Z)
• Consistency Analysis of ChatGPT [65.268245109828]
  本稿では,ChatGPTとGPT-4の論理的一貫した行動に対する信頼性について検討する。 その結果,両モデルとも言語理解能力と推論能力が向上しているように見えるが,論理的に一貫した予測が得られないことが示唆された。
  論文  参考訳（メタデータ） (2023-03-11T01:19:01Z)
• On the Robustness of ChatGPT: An Adversarial and Out-of-distribution Perspective [67.98821225810204]
  本研究は,ChatGPTの頑健性について,敵対的視点とアウト・オブ・ディストリビューションの観点から評価する。 その結果,ほとんどの対人・OOD分類・翻訳作業において一貫した優位性を示した。 ChatGPTは対話関連テキストの理解において驚くべきパフォーマンスを示す。
  論文  参考訳（メタデータ） (2023-02-22T11:01:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。