Fugu-MT 論文翻訳(概要): Socio-Culturally Aware Evaluation Framework for LLM-Based Content Moderation

論文の概要: Socio-Culturally Aware Evaluation Framework for LLM-Based Content Moderation

arxiv url: http://arxiv.org/abs/2412.13578v1
Date: Wed, 18 Dec 2024 07:57:18 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-19 16:46:52.103594
Title: Socio-Culturally Aware Evaluation Framework for LLM-Based Content Moderation
Title（参考訳）: LLMに基づくコンテンツモデレーションのための社会文化的評価フレームワーク
Authors: Shanu Kumar, Gauri Kholkar, Saish Mendke, Anubhav Sadana, Parag Agrawal, Sandipan Dandapat,
Abstract要約: 本稿では,コンテンツモデレーションのための社会的に意識した評価フレームワークを提案する。ペルソナ生成を用いた多様なデータセットを作成するためのスケーラブルな手法を提案する。
参考スコア（独自算出の注目度）: 10.724258809442958
License: http://creativecommons.org/licenses/by/4.0/
Abstract: With the growth of social media and large language models, content moderation has become crucial. Many existing datasets lack adequate representation of different groups, resulting in unreliable assessments. To tackle this, we propose a socio-culturally aware evaluation framework for LLM-driven content moderation and introduce a scalable method for creating diverse datasets using persona-based generation. Our analysis reveals that these datasets provide broader perspectives and pose greater challenges for LLMs than diversity-focused generation methods without personas. This challenge is especially pronounced in smaller LLMs, emphasizing the difficulties they encounter in moderating such diverse content.
Abstract（参考訳）: ソーシャルメディアや大規模言語モデルの成長に伴い、コンテンツモデレーションが重要になっている。多くの既存のデータセットは、異なるグループの適切な表現を欠いているため、信頼性の低い評価をもたらす。そこで本研究では,LLMによるコンテンツモデレーションのための社会的に意識した評価フレームワークを提案し,ペルソナ生成を用いた多様なデータセット作成のためのスケーラブルな手法を提案する。分析の結果、これらのデータセットはパーソナを持たない多様性を重視した生成手法よりも広い視点を提供し、LLMにより大きな課題をもたらすことが明らかとなった。この課題は特に小規模のLLMにおいて顕著であり、このような多様なコンテンツをモデレートする際の困難さを強調している。

関連論文リスト

Exploring and Evaluating Multimodal Knowledge Reasoning Consistency of Multimodal Large Language Models [52.569132872560814]
マルチモーダルな大言語モデル(MLLM)は、テキストとビジョンの理解を深め、大きなブレークスルーを達成した。しかし、現在のMLLMは、マルチモーダルな知識推論において、これらのモダリティを効果的に統合する上での課題に直面している。 MLLMにおけるマルチモーダル知識推論における一貫性劣化の程度を解析・比較する。
論文参考訳（メタデータ） (2025-03-03T09:01:51Z)
Towards Safer Social Media Platforms: Scalable and Performant Few-Shot Harmful Content Moderation Using Large Language Models [9.42299478071576]
ソーシャルメディアプラットフォーム上の有害コンテンツは、ユーザーや社会に重大なリスクをもたらす。現在のアプローチは、人間のモデレーター、教師付き分類器、大量のトレーニングデータに依存している。我々は,Large Language Models (LLMs) を用いて,テキスト内学習による動的コンテンツのモデレーションを少数行う。
論文参考訳（メタデータ） (2025-01-23T00:19:14Z)
Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。現在の手法はバイナリ分類に重点を置いており、人間とAIのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
論文参考訳（メタデータ） (2024-10-18T08:14:10Z)
Hate Personified: Investigating the role of LLMs in content moderation [64.26243779985393]
ヘイト検出などの主観的タスクでは,人々が嫌悪感を知覚する場合には,多様なグループを表現できるLarge Language Model(LLM)の能力は不明確である。追加の文脈をプロンプトに含めることで、LLMの地理的プライミングに対する感受性、ペルソナ属性、数値情報を分析し、様々なグループのニーズがどの程度反映されているかを評価する。
論文参考訳（メタデータ） (2024-10-03T16:43:17Z)
Social Debiasing for Fair Multi-modal LLMs [55.8071045346024]
MLLM(Multi-modal Large Language Models)は、強力な視覚言語理解機能を提供する。しかしながら、これらのモデルはトレーニングデータセットから深刻な社会的偏見を継承することが多く、人種や性別といった属性に基づいた不公平な予測につながります。本稿では,MLLMにおける社会的バイアスの問題に対処する。i)多元的社会的概念(CMSC)を用いた包括的対実的データセットの導入,i)アンチステレオタイプデバイアス戦略(ASD)を提案する。
論文参考訳（メタデータ） (2024-08-13T02:08:32Z)
CulturalTeaming: AI-Assisted Interactive Red-Teaming for Challenging LLMs' (Lack of) Multicultural Knowledge [69.82940934994333]
我々は、人間とAIのコラボレーションを活用して、挑戦的な評価データセットを構築するインタラクティブなレッドチームシステムであるCulturalTeamingを紹介する。我々の研究は、CulturalTeamingの様々なAI支援モードが、文化的な質問の作成においてアノテータを支援することを明らかにした。 CULTURALBENCH-V0.1は、ユーザのリピートの試みにより、コンパクトだが高品質な評価データセットである。
論文参考訳（メタデータ） (2024-04-10T00:25:09Z)
Incorporating Visual Experts to Resolve the Information Loss in Multimodal Large Language Models [121.83413400686139]
本稿では,MLLMの視覚知覚能力を向上させるために,知識の混合強化機構を提案する。本稿では,マルチタスクエンコーダとビジュアルツールを既存のMLLM訓練と推論パイプラインに組み込む新しい手法を提案する。
論文参考訳（メタデータ） (2024-01-06T02:02:34Z)
How Far Can We Extract Diverse Perspectives from Large Language Models? [16.16678226707335]
大規模言語モデル(LLM)が主観的トピックに対する多様な視点を生成できることを示す。本稿では,様々な意見の根拠となる基準に基づくプロンプト手法を提案する。本手法は,タスク主観性の度合いに応じて,LLMが多種多様な意見を生成可能であることを示す。
論文参考訳（メタデータ） (2023-11-16T11:23:38Z)
On the steerability of large language models toward data-driven personas [98.9138902560793]
大規模言語モデル(LLM)は、特定のグループや集団の意見が不足している偏りのある応答を生成することが知られている。本稿では, LLM を用いて特定の視点の制御可能な生成を実現するための新しい手法を提案する。
論文参考訳（メタデータ） (2023-11-08T19:01:13Z)
Retrieving Multimodal Information for Augmented Generation: A Survey [35.33076940985081]
マルチモーダルな知識を検索することで生成モデルを補助・拡張する手法について検討する。このような手法は、事実性、推論、解釈可能性、堅牢性といった重要な問題に対する有望な解決策を提供する。
論文参考訳（メタデータ） (2023-03-20T05:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。