論文の概要: PluRule: A Benchmark for Moderating Pluralistic Communities on Social Media
- arxiv url: http://arxiv.org/abs/2605.17187v1
- Date: Sat, 16 May 2026 22:52:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:47.726819
- Title: PluRule: A Benchmark for Moderating Pluralistic Communities on Social Media
- Title(参考訳): PluRule: ソーシャルメディア上で複数のコミュニティを調整するためのベンチマーク
- Abstract要約: ソーシャルメディアは多元主義へと移行しつつある。
我々は、人間のモデレーターが現実世界でどのように機能するかを反映して、タスクを多重選択問題として定式化する。
PluRuleは、9つの言語で2,885のルールにまたがる1,989のRedditコミュニティで13,371のルール違反を検出するマルチモーダル・マルチ言語ベンチマークである。
- 参考スコア(独自算出の注目度): 5.451879555600225
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Social media are shifting towards pluralism -- community-governed platforms where groups define their own norms. What violates rules in one community may be perfectly acceptable in another. Can AI models help moderate such pluralistic communities? We formalize the task as a multiple-choice problem, mirroring how human moderators operate in the real world: given a comment and its surrounding context, identify which specific rule, if any, is violated. We introduce PluRule, a multimodal, multilingual benchmark for detecting 13,371 rule violations across 1,989 Reddit communities spanning 2,885 rules in 9 languages. Using this benchmark, we show that state-of-the-art vision-language models struggle significantly: even GPT-5.2 with high reasoning performs only slightly better than a trivial baseline. We also find that bigger models and increased context provide marginal gains, and universal rules like civility and self-promotion are easier to detect. Our results show that moderation of pluralistic communities on social media is a fundamental challenge for language models. Our code and benchmark are publicly available.
- Abstract(参考訳): ソーシャルメディアは多元主義へと移行しつつある。
あるコミュニティでルールに違反しているものは、別のコミュニティで完全に受け入れられるかもしれません。
AIモデルはそのような多元的コミュニティを中和するのに有効か?
我々は、人間のモデレーターが現実世界でどのように機能するかを反映して、タスクを多重選択問題として形式化し、コメントとその周囲のコンテキストを付与し、どの特定のルールが違反されたかを識別する。
PluRuleは、9つの言語で2,885のルールにまたがる1,989のRedditコミュニティで13,371のルール違反を検出するマルチモーダル・マルチ言語ベンチマークである。
このベンチマークを用いて、最先端のビジョン言語モデルでは、高い推論を持つ GPT-5.2 でさえ、自明なベースラインよりもわずかに優れた性能しか発揮できないことを示します。
また、より大きなモデルと増大したコンテキストは限界的な利益をもたらし、市民性や自己宣伝といった普遍的なルールはより容易に検出できる。
その結果,ソーシャルメディア上での多言語コミュニティのモデレーションは言語モデルにとって根本的な課題であることが示唆された。
私たちのコードとベンチマークは公開されています。
関連論文リスト
- Do Agents Repair When Challenged -- or Just Reply? Challenge, Repair, and Public Correction in a Deployed Agent Forum [9.934280404394636]
大規模な言語モデル(LLM)エージェントフォーラムであるMoltbookと、一致するRedditコミュニティ5つを比較した。
Redditとは対照的に、Moltbookの議論はスレッド数が約10倍少なく、チャレンジやレスポンスの機会ははるかに少ない。
Redditの非曖昧なベースラインは、このギャップが単に深いスレッド化ではなく、課題と関連していることを示唆している。
論文 参考訳(メタデータ) (2026-04-01T06:03:28Z) - Asking For It: Question-Answering for Predicting Rule Infractions in Online Content Moderation [1.803599876087764]
ModQはルールに敏感なコンテンツモデレーションのための新しい問合せフレームワークである。
モデル変種を2つ実装し、RedditとLemmyの大規模データセットでそれらをトレーニングする。
どちらのモデルも、モデレーション関連ルール違反を特定する上で、最先端のベースラインを上回っている。
論文 参考訳(メタデータ) (2025-10-07T18:11:27Z) - Reddit Rules and Rulers: Quantifying the Link Between Rules and Perceptions of Governance across Thousands of Communities [13.80648276848838]
5,225のコミュニティで67,545のユニークなルールを収集し、Redditのルールをこれまでで最大の分析を行いました。
単なるポイント・イン・タイムの研究以上のことで、我々の研究は5年以上にわたってコミュニティがルールをどのように変えていくかを測定します。
私たちは、ガバナンスに対する肯定的なコミュニティの認識と最も強く結びついているルールを最初に特定します。
論文 参考訳(メタデータ) (2025-01-24T01:26:41Z) - A Roadmap to Pluralistic Alignment [49.29107308098236]
本稿では,言語モデルをテストベッドとして用いた多元的アライメントのロードマップを提案する。
我々は,AIシステムにおける多元性を定義・運用する3つの可能な方法を特定し,定式化する。
我々は、現在のアライメント技術は、基本的に多元的AIに限られていると論じる。
論文 参考訳(メタデータ) (2024-02-07T18:21:17Z) - Perceptions of Moderators as a Large-Scale Measure of Online Community Governance [13.80648276848838]
われわれは18ヶ月で1億9900万件の投稿とコメントをリツイートした。
モデレーターが特に肯定的かつ否定的に知覚されるコミュニティの種類を同定する。
厳格な規制執行は、ニュースコミュニティなど特定のトピックに特化しているコミュニティのモデレーターに対して、他のコミュニティよりも好意的な認識に結びついていることが示される。
論文 参考訳(メタデータ) (2024-01-29T22:43:12Z) - SADAS: A Dialogue Assistant System Towards Remediating Norm Violations
in Bilingual Socio-Cultural Conversations [56.31816995795216]
SADAS(Socially-Aware Dialogue Assistant System)は、会話が敬意と理解で広がることを保証するためのシステムである。
本システムの新しいアーキテクチャは,(1)対話に存在する規範のカテゴリを特定すること,(2)潜在的な規範違反を検出すること,(3)違反の深刻さを評価すること,(4)違反の是正を目的とした対策を実施すること,を含む。
論文 参考訳(メタデータ) (2024-01-29T08:54:21Z) - Reading Books is Great, But Not if You Are Driving! Visually Grounded
Reasoning about Defeasible Commonsense Norms [65.17491295329991]
ビジュアルグラウンドド・コモンセンスの規範を研究するための新しいベンチマーク、NORMLENSを構築した。
我々は、最先端のモデル判断と説明が人間のアノテーションとうまく一致していないことを発見した。
我々は,大規模言語モデルから社会的コモンセンス知識を抽出し,モデルと人間との整合性を向上するための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2023-10-16T14:00:07Z) - Analyzing Norm Violations in Live-Stream Chat [49.120561596550395]
本研究は,ライブストリーミングプラットフォーム上での会話における規範違反を検出することを目的とした,最初のNLP研究である。
ライブストリームチャットにおける標準違反カテゴリを定義し、Twitchから4,583のコメントを注釈付けします。
以上の結果から,適切なコンテキスト情報がモデレーション性能を35%向上させる可能性が示唆された。
論文 参考訳(メタデータ) (2023-05-18T05:58:27Z) - Language Models are Multilingual Chain-of-Thought Reasoners [83.37148309771378]
本稿では,250の小学校数学問題を10の類型的多言語に手動で翻訳することで,多言語学級数学のベンチマークを導入する。
MGSM問題をチェーン・オブ・ソートにより解く能力は,モデルスケールの増大とともに出現する。
言語モデルの多言語推論能力は他のタスクにも及んでいることを示す。
論文 参考訳(メタデータ) (2022-10-06T17:03:34Z) - Norm Participation Grounds Language [16.726800816202033]
私は、どのような基礎言語が規範的な性質であるのかという考え方を、異なる、より広範に提案します。
物事を正しく行うための基準があり、これらの標準は公然と権威があり、同時に権威の受容が議論され、交渉される。
言語がどのような基盤となるかは、言語ユーザーがそれを利用する決定的な方法であり、それが根底にあるのは、言語利用者のコミュニティである。
論文 参考訳(メタデータ) (2022-06-06T20:21:59Z) - Learning Symbolic Rules for Reasoning in Quasi-Natural Language [74.96601852906328]
我々は,ルールを手作業で構築することなく,自然言語入力で推論できるルールベースシステムを構築した。
本稿では,形式論理文と自然言語文の両方を表現可能な"Quasi-Natural"言語であるMetaQNLを提案する。
提案手法は,複数の推論ベンチマークにおける最先端の精度を実現する。
論文 参考訳(メタデータ) (2021-11-23T17:49:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。