論文の概要: Auditing the Auditors: Does Community-based Moderation Get It Right?

• arxiv url: http://arxiv.org/abs/2603.18053v1
• Date: Tue, 17 Mar 2026 21:58:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:05.728008
• Title: Auditing the Auditors: Does Community-based Moderation Get It Right?
• Title（参考訳）: オーディタの監査: コミュニティベースのモデレーションは正しいか?
• Authors: Yeganeh Alimohammadi, Karissa Huang, Christian Borgs, Jennifer Chayes,
• Abstract要約: 我々は,Xのコミュニティノートにおけるコンセンサスに基づく監査の結果を分析した。 マイノリティ・コントリビュータの評価は多数派に傾き、彼らの参加比率は議論の的となっているトピックに該当する。 多数派との合意によってではなく,過去の残余の安定性によって貢献者を重み付けする2段階監査・集約アルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 0.5833117322405447
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online social platforms increasingly rely on crowd-sourced systems to label misleading content at scale, but these systems must both aggregate users' evaluations and decide whose evaluations to trust. To address the latter, many platforms audit users by rewarding agreement with the final aggregate outcome, a design we term consensus-based auditing. We analyze the consequences of this design in X's Community Notes, which in September 2022 adopted consensus-based auditing that ties users' eligibility for participation to agreement with the eventual platform outcome. We find evidence of strategic conformity: minority contributors' evaluations drift toward the majority and their participation share falls on controversial topics, where independent signals matter most. We formalize this mechanism in a behavioral model in which contributors trade off private beliefs against anticipated penalties for disagreement. Motivated by these findings, we propose a two-stage auditing and aggregation algorithm that weights contributors by the stability of their past residuals rather than by agreement with the majority. The method first accounts for differences across content and contributors, and then measures how predictable each contributor's evaluations are relative to the latent-factor model. Contributors whose evaluations are consistently informative receive greater influence in aggregation, even when they disagree with the prevailing consensus. In the Community Notes data, this approach improves out-of-sample predictive performance while avoiding penalization of disagreement.
• Abstract（参考訳）: オンラインソーシャルプラットフォームは、誤解を招くコンテンツを大規模にラベル付けするためにクラウドソースシステムにますます依存しているが、これらのシステムはユーザーの評価を集約し、誰が信頼するかを決定する必要がある。 後者に対処するため、多くのプラットフォームが最終集計結果との一致を報い、ユーザを監査する。 X の Community Notes では,2022 年 9 月にコンセンサスに基づく監査を実施し,最終的なプラットフォーム結果との合意にユーザの参加資格を結び付けている。 少数派のコントリビュータの評価は多数派に傾き、その参加比率は、独立的なシグナルが最も重要となる議論の的となっている。 我々は、このメカニズムを、コントリビュータが予想される不一致の罰則と私的信念を交換する行動モデルで定式化する。 本研究は,2段階の監査・集約アルゴリズムを提案し,従来の残差の安定性から寄与者を重み付けする。 この手法はまずコントリビュータとコントリビュータ間の差異を考慮し、次に各コントリビュータの評価が潜在因子モデルと比較してどれだけ予測可能かを測定する。 評価が一貫して情報的であるコントリビュータは、一般的なコンセンサスに異を唱える場合でも、アグリゲーションに大きな影響を与える。 Community Notesのデータでは、この手法は不一致のペナルティ化を回避しつつ、サンプル外予測性能を改善する。

関連論文リスト

• Fairness Dynamics in Digital Economy Platforms with Biased Ratings [50.29721091981893]
  我々は、デジタルプラットフォームが格付けに基づく差別を永続的に、あるいは対処する方法について研究する。 この結果から,ユーザエクスペリエンスと公平性の根本的なトレードオフが示される。 また,検索結果の人口動態を調整して介入することが,不公平を抑えるための極めて効果的な方法であることを示す。
  論文  参考訳（メタデータ） (2026-02-18T18:41:16Z)
• Distribution-Calibrated Inference time compute for Thinking LLM-as-a-Judge [5.855996386998925]
  大きな言語モデル(LLM)をペアの選好の判断に使用すると、単一サンプルレベルではノイズが残る。 本研究では,各項目ごとにn個の独立した思考型サンプルを生成する評価器の推論時間計算(ITC)について検討する。
  論文  参考訳（メタデータ） (2025-12-02T18:46:47Z)
• Retentive Relevance: Capturing Long-Term User Value in Recommendation Systems [29.596401271139797]
  本稿では,新しいコンテンツレベル調査に基づくフィードバック尺度であるRetentive Relevanceを紹介する。 Retentive Relevanceは、ユーザーが同様のコンテンツのためにプラットフォームに戻る意図を直接評価する。 これらの結果から,Retentive Relevanceは,エンゲージメント信号および他の調査指標よりも,翌日のリテンションの予測に優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-10-08T23:38:57Z)
• TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
  自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。 スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。 我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
  論文  参考訳（メタデータ） (2025-09-25T13:04:29Z)
• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• Bound by the Bounty: Collaboratively Shaping Evaluation Processes for Queer AI Harms [14.872177285434999]
  我々は、クイアコミュニティに対して、彼らの立場と、監査プロセスへの欲求について尋ねる。 我々は,批判的,偏見的な報奨金に関する参加ワークショップを開催した。 我々は、報奨金のコミュニティ所有を提唱し、報奨金を参加プロセスで補完することで締めくくる。
  論文  参考訳（メタデータ） (2023-07-15T00:49:45Z)
• Towards a multi-stakeholder value-based assessment framework for algorithmic systems [76.79703106646967]
  我々は、価値間の近さと緊張を可視化する価値に基づくアセスメントフレームワークを開発する。 我々は、幅広い利害関係者に評価と検討のプロセスを開放しつつ、それらの運用方法に関するガイドラインを提示する。
  論文  参考訳（メタデータ） (2022-05-09T19:28:32Z)
• A Robust Reputation-based Group Ranking System and its Resistance to Bribery [8.300507994596416]
  マルチパートレーティングワークを利用した評価に基づく新しいランキングシステムを提案する。 贈賄に対する抵抗性と最適な贈賄戦略の設計方法について検討する。
  論文  参考訳（メタデータ） (2020-04-13T22:28:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。