論文の概要: Venire: A Machine Learning-Guided Panel Review System for Community Content Moderation

• arxiv url: http://arxiv.org/abs/2410.23448v1
• Date: Wed, 30 Oct 2024 20:39:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:02:24.664008
• Title: Venire: A Machine Learning-Guided Panel Review System for Community Content Moderation
• Title（参考訳）: Venire: コミュニティコンテンツモデレーションのための機械学習によるパネルレビューシステム
• Authors: Vinay Koshy, Frederick Choi, Yi-Shyuan Chiang, Hari Sundaram, Eshwar Chandrasekharan, Karrie Karahalios,
• Abstract要約: 我々は、Reddit上でパネルレビューを行うML支援システムであるVenireを開発した。 Venireは、ログデータに基づいてトレーニングされた機械学習モデルを使用して、モデレーターが最も不一致しやすいケースを特定する。 我々は、Venireが意思決定の一貫性を改善し、遅れた意見の相違を表面化できることを示します。
• 参考スコア（独自算出の注目度）: 17.673993032146527
• License:
• Abstract: Research into community content moderation often assumes that moderation teams govern with a single, unified voice. However, recent work has found that moderators disagree with one another at modest, but concerning rates. The problem is not the root disagreements themselves. Subjectivity in moderation is unavoidable, and there are clear benefits to including diverse perspectives within a moderation team. Instead, the crux of the issue is that, due to resource constraints, moderation decisions end up being made by individual decision-makers. The result is decision-making that is inconsistent, which is frustrating for community members. To address this, we develop Venire, an ML-backed system for panel review on Reddit. Venire uses a machine learning model trained on log data to identify the cases where moderators are most likely to disagree. Venire fast-tracks these cases for multi-person review. Ideally, Venire allows moderators to surface and resolve disagreements that would have otherwise gone unnoticed. We conduct three studies through which we design and evaluate Venire: a set of formative interviews with moderators, technical evaluations on two datasets, and a think-aloud study in which moderators used Venire to make decisions on real moderation cases. Quantitatively, we demonstrate that Venire is able to improve decision consistency and surface latent disagreements. Qualitatively, we find that Venire helps moderators resolve difficult moderation cases more confidently. Venire represents a novel paradigm for human-AI content moderation, and shifts the conversation from replacing human decision-making to supporting it.
• Abstract（参考訳）: コミュニティコンテンツモデレーションの研究は、モデレーションチームが単一の統一された声で統治することをしばしば想定する。 しかし、近年の研究では、モデレーター同士は控えめに意見が一致しないが、利率に関して意見が一致している。 問題は根本的な意見の相違ではない。 モデレーションの主観性は避けられず、モデレーションチーム内にさまざまな視点を含めることで明らかなメリットがあります。 代わりに問題となるのは、リソースの制約のため、モデレーションの決定は個々の意思決定者によって下される、ということです。 その結果、意思決定は矛盾しており、コミュニティメンバーにはフラストレーションがあります。 この問題に対処するため,我々は,Reddit上でパネルレビューを行うML支援システムであるVenireを開発した。 Venireは、ログデータに基づいてトレーニングされた機械学習モデルを使用して、モデレーターが最も不一致しやすいケースを特定する。 Venireは、これらのケースをマルチパーソンレビューのために高速追跡する。 理想的には、Venireはモデレーターが見つからなかった不一致を表面化して解決することを可能にする。 我々は,モデレーターとの形式的なインタビュー,2つのデータセットの技術的評価,そしてモデレーターがVenireを使って実際のモデレーションケースの意思決定を行うシンク・アラウド・スタディという,Venireの設計と評価を行う3つの研究を行った。 定量的に、Venireは意思決定の一貫性を改善し、潜在的な不一致を表面化できることを実証する。 質的に見れば、Venireはモデレーターが難しいモデレーションケースをより確実に解決するのに役立つ。 Venireは、人間とAIのコンテンツモデレーションのための新しいパラダイムであり、会話を人間の意思決定からそれをサポートするものに置き換える。

関連論文リスト

• Explainability and Hate Speech: Structured Explanations Make Social Media Moderators Faster [72.84926097773578]
  実世界のモデレーターの速度に及ぼす説明の影響について検討する。 我々の実験では、一般的な説明は速度に影響せず、しばしば無視されるが、構造化された説明はモデレーターの意思決定時間を7.4%減少させる。
  論文  参考訳（メタデータ） (2024-06-06T14:23:10Z)
• Content Moderation Justice and Fairness on Social Media: Comparisons Across Different Contexts and Platforms [23.735552021636245]
  我々はRedditとTwitterの200人のアメリカのソーシャルメディアユーザーを対象にオンライン実験を行っている。 帰属的モデレーションは、違法な違反行為において、商業的に中途半端なプラットフォームに対して、より高い正義と公正をもたらすことが分かっています。 我々は、モデレーション・システム設計を改善するためのプラットフォーム・ポリシー作成の機会について論じる。
  論文  参考訳（メタデータ） (2024-03-09T22:50:06Z)
• SADAS: A Dialogue Assistant System Towards Remediating Norm Violations in Bilingual Socio-Cultural Conversations [56.31816995795216]
  SADAS(Socially-Aware Dialogue Assistant System)は、会話が敬意と理解で広がることを保証するためのシステムである。 本システムの新しいアーキテクチャは,(1)対話に存在する規範のカテゴリを特定すること,(2)潜在的な規範違反を検出すること,(3)違反の深刻さを評価すること,(4)違反の是正を目的とした対策を実施すること,を含む。
  論文  参考訳（メタデータ） (2024-01-29T08:54:21Z)
• What if you said that differently?: How Explanation Formats Affect Human Feedback Efficacy and User Perception [53.4840989321394]
  我々は,QAモデルが生成した有理性の効果を分析し,その答えを支持する。 ユーザに対して,様々な形式で誤った回答とそれに対応する有理性を提示する。 このフィードバックの有効性を,文脈内学習を通じて評価する。
  論文  参考訳（メタデータ） (2023-11-16T04:26:32Z)
• Online Decision Mediation [72.80902932543474]
  意思決定支援アシスタントを学習し、(好奇心)専門家の行動と(不完全)人間の行動の仲介役として機能することを検討する。 臨床診断では、完全に自律的な機械行動は倫理的余裕を超えることが多い。
  論文  参考訳（メタデータ） (2023-10-28T05:59:43Z)
• Why Should This Article Be Deleted? Transparent Stance Detection in Multilingual Wikipedia Editor Discussions [47.944081120226905]
  ウィキペディア編集者の議論の新たなデータセットを3言語で構築する。 データセットには、エディタのスタンス(keep、delete、merge、コメント)と、記述された理由、編集決定ごとにコンテンツモデレーションポリシーが含まれている。 我々は、姿勢とそれに対応する理由(政治)を高い精度で予測し、意思決定プロセスに透明性を加えることを実証する。
  論文  参考訳（メタデータ） (2023-10-09T15:11:02Z)
• ChoiceMates: Supporting Unfamiliar Online Decision-Making with Multi-Agent Conversational Interactions [58.71970923420007]
  提案するChoiceMatesは,LLMエージェントの動的セットとの対話を可能にするシステムである。 エージェントは、意見のあるペルソナとして、柔軟に会話に参加し、応答を提供するだけでなく、各エージェントの好みを引き出すために互いに会話する。 ChoiceMatesを従来のWeb検索とシングルエージェントと比較した結果,ChoiceMatesはより信頼性の高いWebと比較して,発見,潜水,情報管理に有用であることが判明した。
  論文  参考訳（メタデータ） (2023-10-02T16:49:39Z)
• Towards Intersectional Moderation: An Alternative Model of Moderation Built on Care and Power [0.4351216340655199]
  代替モデレーションモデルを用いたコミュニティであるr/AskHistoriansのモデレーターと共同でエスノグラフィを行う。 r/AskHistorianの別のモデレーションモデルに関する3つの象徴的な議論に焦点をあてる。 私は、デザイナが意思決定プロセスをサポートするべきであり、政策立案者は社会技術システムの影響を考慮すべきだと論じます。
  論文  参考訳（メタデータ） (2023-05-18T18:27:52Z)
• Multilingual Content Moderation: A Case Study on Reddit [23.949429463013796]
  Redditのコメント18万件の多言語データセットを導入し,コンテンツモデレーションの課題について検討する。 我々は、基礎となる課題を強調し、関連する研究課題を提案するために、広範な実験分析を行う。 私たちのデータセットと分析は、オートモデレーションの課題と機会に備えるのに役立ちます。
  論文  参考訳（メタデータ） (2023-02-19T16:36:33Z)
• AppealMod: Inducing Friction to Reduce Moderator Workload of Handling User Appeals [7.898353262890439]
  我々は,ヒトのモデレーターが不服申立てをレビューする前に,ユーザに追加情報の提供を求めることによって,上訴プロセスの摩擦を誘発するシステムであるFiceModを設計・構築した。 Redditのコミュニティでは,4ヶ月にわたって2900万人以上のユーザを対象にランダムフィールド実験を実施しました。 本システムは,モデレーターの作業量を削減し,有害な内容への曝露を最小限に抑えつつ,直接のエンゲージメントや代理店へのアピールを尊重する上で有効である。
  論文  参考訳（メタデータ） (2023-01-17T20:15:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。