論文の概要: PluRule: A Benchmark for Moderating Pluralistic Communities on Social Media
- arxiv url: http://arxiv.org/abs/2605.17187v1
- Date: Sat, 16 May 2026 22:52:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:47.726819
- Title: PluRule: A Benchmark for Moderating Pluralistic Communities on Social Media
- Title(参考訳): PluRule: ソーシャルメディア上で複数のコミュニティを調整するためのベンチマーク
- Authors: Zoher Kachwala, Bao Tran Truong, Rasika Muralidharan, Haewoon Kwak, Jisun An, Filippo Menczer,
- Abstract要約: ソーシャルメディアは多元主義へと移行しつつある。
我々は、人間のモデレーターが現実世界でどのように機能するかを反映して、タスクを多重選択問題として定式化する。
PluRuleは、9つの言語で2,885のルールにまたがる1,989のRedditコミュニティで13,371のルール違反を検出するマルチモーダル・マルチ言語ベンチマークである。
- 参考スコア(独自算出の注目度): 5.451879555600225
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Social media are shifting towards pluralism -- community-governed platforms where groups define their own norms. What violates rules in one community may be perfectly acceptable in another. Can AI models help moderate such pluralistic communities? We formalize the task as a multiple-choice problem, mirroring how human moderators operate in the real world: given a comment and its surrounding context, identify which specific rule, if any, is violated. We introduce PluRule, a multimodal, multilingual benchmark for detecting 13,371 rule violations across 1,989 Reddit communities spanning 2,885 rules in 9 languages. Using this benchmark, we show that state-of-the-art vision-language models struggle significantly: even GPT-5.2 with high reasoning performs only slightly better than a trivial baseline. We also find that bigger models and increased context provide marginal gains, and universal rules like civility and self-promotion are easier to detect. Our results show that moderation of pluralistic communities on social media is a fundamental challenge for language models. Our code and benchmark are publicly available.
- Abstract(参考訳): ソーシャルメディアは多元主義へと移行しつつある。
あるコミュニティでルールに違反しているものは、別のコミュニティで完全に受け入れられるかもしれません。
AIモデルはそのような多元的コミュニティを中和するのに有効か?
我々は、人間のモデレーターが現実世界でどのように機能するかを反映して、タスクを多重選択問題として形式化し、コメントとその周囲のコンテキストを付与し、どの特定のルールが違反されたかを識別する。
PluRuleは、9つの言語で2,885のルールにまたがる1,989のRedditコミュニティで13,371のルール違反を検出するマルチモーダル・マルチ言語ベンチマークである。
このベンチマークを用いて、最先端のビジョン言語モデルでは、高い推論を持つ GPT-5.2 でさえ、自明なベースラインよりもわずかに優れた性能しか発揮できないことを示します。
また、より大きなモデルと増大したコンテキストは限界的な利益をもたらし、市民性や自己宣伝といった普遍的なルールはより容易に検出できる。
その結果,ソーシャルメディア上での多言語コミュニティのモデレーションは言語モデルにとって根本的な課題であることが示唆された。
私たちのコードとベンチマークは公開されています。
関連論文リスト
- Do Agents Repair When Challenged -- or Just Reply? Challenge, Repair, and Public Correction in a Deployed Agent Forum [9.934280404394636]
大規模な言語モデル(LLM)エージェントフォーラムであるMoltbookと、一致するRedditコミュニティ5つを比較した。
Redditとは対照的に、Moltbookの議論はスレッド数が約10倍少なく、チャレンジやレスポンスの機会ははるかに少ない。
Redditの非曖昧なベースラインは、このギャップが単に深いスレッド化ではなく、課題と関連していることを示唆している。
論文 参考訳(メタデータ) (2026-04-01T06:03:28Z) - Asking For It: Question-Answering for Predicting Rule Infractions in Online Content Moderation [1.803599876087764]
ModQはルールに敏感なコンテンツモデレーションのための新しい問合せフレームワークである。
モデル変種を2つ実装し、RedditとLemmyの大規模データセットでそれらをトレーニングする。
どちらのモデルも、モデレーション関連ルール違反を特定する上で、最先端のベースラインを上回っている。
論文 参考訳(メタデータ) (2025-10-07T18:11:27Z) - A Roadmap to Pluralistic Alignment [49.29107308098236]
本稿では,言語モデルをテストベッドとして用いた多元的アライメントのロードマップを提案する。
我々は,AIシステムにおける多元性を定義・運用する3つの可能な方法を特定し,定式化する。
我々は、現在のアライメント技術は、基本的に多元的AIに限られていると論じる。
論文 参考訳(メタデータ) (2024-02-07T18:21:17Z) - SADAS: A Dialogue Assistant System Towards Remediating Norm Violations
in Bilingual Socio-Cultural Conversations [56.31816995795216]
SADAS(Socially-Aware Dialogue Assistant System)は、会話が敬意と理解で広がることを保証するためのシステムである。
本システムの新しいアーキテクチャは,(1)対話に存在する規範のカテゴリを特定すること,(2)潜在的な規範違反を検出すること,(3)違反の深刻さを評価すること,(4)違反の是正を目的とした対策を実施すること,を含む。
論文 参考訳(メタデータ) (2024-01-29T08:54:21Z) - Reading Books is Great, But Not if You Are Driving! Visually Grounded
Reasoning about Defeasible Commonsense Norms [65.17491295329991]
ビジュアルグラウンドド・コモンセンスの規範を研究するための新しいベンチマーク、NORMLENSを構築した。
我々は、最先端のモデル判断と説明が人間のアノテーションとうまく一致していないことを発見した。
我々は,大規模言語モデルから社会的コモンセンス知識を抽出し,モデルと人間との整合性を向上するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-10-16T14:00:07Z) - Norm Participation Grounds Language [16.726800816202033]
私は、どのような基礎言語が規範的な性質であるのかという考え方を、異なる、より広範に提案します。
物事を正しく行うための基準があり、これらの標準は公然と権威があり、同時に権威の受容が議論され、交渉される。
言語がどのような基盤となるかは、言語ユーザーがそれを利用する決定的な方法であり、それが根底にあるのは、言語利用者のコミュニティである。
論文 参考訳(メタデータ) (2022-06-06T20:21:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。