論文の概要: Gaming Consensus: Coordinated Manipulation in Crowdsourced Fact-Checking
- arxiv url: http://arxiv.org/abs/2607.01824v1
- Date: Thu, 02 Jul 2026 07:46:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.723131
- Title: Gaming Consensus: Coordinated Manipulation in Crowdsourced Fact-Checking
- Title（参考訳）: ゲームコンセンサス: クラウドソーシングによるFact-Checkingにおける協調操作
- Abstract要約: クラウドソーシングのファクトチェックシステムは、X、Meta、TikTok、Googleといった大手ソーシャルメディア企業が採用している。
本研究は,これらのシステムの中核行列分解部分について検討する。
我々は10.7%の低品質の音符を10未満のレーティングでコンセンサス閾値以上で操作できることを発見した。
- 参考スコア（独自算出の注目度）: 22.670031445884746
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Crowdsourced fact-checking systems have been adopted by major social media companies such as X, Meta, TikTok and Google with the aim of combating misleading information at scale without relying on centralized editorial control. These systems have been developed around a common underlying concept: a bridging mechanism that identifies notes flagging misleading information when they receive support from people with different perspectives rather than simple majority support. To our knowledge the only publicly disclosed bridging algorithms deployed for fact-checking are based on matrix factorization, as deployed by both X and Meta, augmented with additional components addressing abuse, targeted manipulation, and contributor brigades. This work examines the core matrix factorization portion of these systems, presenting theoretical and empirical evaluations of the degree to which coordinated users could vote strategically by leveraging the latent representations to fabricate the appearance of synthetic consensus within the bridging mechanism. Using historic production data, we find that up to 10.7% of lower quality notes could be manipulated above consensus thresholds using less than 10 ratings. We complement these findings with a theoretical analysis, revealing counterintuitively that rating a note as "Not Helpful" can increase its helpfulness score, as well as a cost model quantifying manipulation effort. We have developed and deployed mitigations within X's Community Notes algorithm to address synthetic consensus.
- Abstract（参考訳）: クラウドソーシングのファクトチェックシステムは、X、Meta、TikTok、Googleといった大手ソーシャルメディア企業が、中央集権的な編集管理に頼ることなく、大規模に誤解を招く情報と戦うために採用している。
これらのシステムは共通の概念に基づいて開発されており、単純な多数派サポートではなく、異なる視点の人たちから支援を受けた際に、誤解を招く情報を通知するブリジング機構である。
我々の知る限り、ファクトチェックのためにデプロイされた唯一の公開ブリッジアルゴリズムは、XとMetaの両方がデプロイしたマトリックス因数分解に基づいており、乱用、ターゲット操作、コントリビュータ旅団に対処する追加のコンポーネントを付加している。
本研究は,これらのシステムの中核となる行列分解部分について検討し,協調利用者が戦略的に投票できる程度に関する理論的および実証的な評価を,遅延表現を活用して,ブリッジ機構内の合成コンセンサスを創出する。
歴史的生産データを用いて、低い品質のノートの最大10.7%が10未満のレーティングを使用してコンセンサス閾値以上で操作できることがわかった。
我々はこれらの知見を理論的分析により補完し、ノートを「Not Helpful」と評価することで、操作の労力を定量化するコストモデルとともに、その有用性を高めることができることを示した。
我々は,合成コンセンサスに対処するため,X の Community Notes アルゴリズム内で軽減策を開発し,展開した。
関連論文リスト
- PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception [75.70273182182397]
PerceptionRubricsはルーブリックベースの評価フレームワークである。
飽和ベンチマークスコアと現実世界の脆さのギャップに対処する。
1,038枚のインフォメーションセンス画像と1万個以上のインスタンス固有のルーリックをペアリングする。
論文 参考訳（メタデータ） (2026-06-26T17:59:15Z) - How Far Did They Go? The Persuasive Tactics of Covert LLM Agents in a Discontinued Field Experiment [12.686044001239708]
本研究では、Redditのr/ChangeMyViewにおけるフィールド実験の中止から、公開データセットを分析した。
この介入は、未知の外部研究者によって実施され、倫理的反発を受けて停止された。
公開公開後、Redditはモデレーターに対して、AI生成されたコメントのアーカイブをリリースすることを許可した。
論文 参考訳（メタデータ） (2026-06-03T15:58:32Z) - Interpretable Coreference Resolution Evaluation Using Explicit Semantics [35.71215348826291]
CoNLL-F1のような集約統計量を用いて、参照分解能を評価する。
コア参照解決のためのセマンティック・エンハンスド・アセスメント・フレームワークを提案する。
我々のフレームワークは、集約されたメトリクスによって隠されたままの体系的な弱点を明らかにする。
論文 参考訳（メタデータ） (2026-05-11T14:20:16Z) - Towards Automated Community Notes Generation with Large Vision Language Models for Combating Contextual Deception [8.79051023144961]
画像に基づく文脈偽造に対するコミュニティノートの自動生成手法について検討する。
主に偽造検出に焦点を当てた以前の作業とは異なり、Community Notesスタイルのシステムは簡潔で接地的なメモを生成する必要がある。
大規模な視覚言語モデル上に構築された検索拡張型マルチエージェント協調フレームワークであるACCNoteを提案する。
論文 参考訳（メタデータ） (2026-03-23T18:21:23Z) - Auditing the Auditors: Does Community-based Moderation Get It Right? [0.5833117322405447]
我々は,Xのコミュニティノートにおけるコンセンサスに基づく監査の結果を分析した。
マイノリティ・コントリビュータの評価は多数派に傾き、彼らの参加比率は議論の的となっているトピックに該当する。
多数派との合意によってではなく,過去の残余の安定性によって貢献者を重み付けする2段階監査・集約アルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-03-17T21:58:13Z) - Gaming the Judge: Unfaithful Chain-of-Thought Can Undermine Agent Evaluation [76.5533899503582]
大規模言語モデル(LLM)は、エージェントのパフォーマンスを評価するために、ますます裁判官として使われている。
このパラダイムは、エージェントのチェーン・オブ・シークレット(CoT)推論が内部の推論と環境状態の両方を忠実に反映していることを暗黙的に仮定している。
我々は、操作された推論だけで、様々なWebタスクにまたがる800の軌跡に対して、最先端のVLM審査員の偽陽性率を最大90%向上させることができることを実証した。
論文 参考訳（メタデータ） (2026-01-21T06:07:43Z) - Community Notes are Vulnerable to Rater Bias and Manipulation [75.34858521118305]
本研究では,現実的なレーダやノートの振る舞いをモデル化したシミュレーションデータを用いて,コミュニティノートアルゴリズムの評価を行う。
このアルゴリズムは、真に有用な音符のかなりの部分を抑制することができ、レーダバイアスに非常に敏感である。
論文 参考訳（メタデータ） (2025-11-04T14:39:34Z) - COMMUNITYNOTES: A Dataset for Exploring the Helpfulness of Fact-Checking Explanations [89.37527535663433]
ユーザが提供するノートと有用なラベルを用いた104kポストの大規模データセットを提示する。
本稿では,自動的なプロンプト最適化による理由定義の自動生成と改善を行うフレームワークを提案する。
実験の結果,最適化された定義は有用性と推論の両方を改善できることがわかった。
論文 参考訳（メタデータ） (2025-10-28T05:28:47Z) - Analytical and Empirical Study of Herding Effects in Recommendation Systems [72.6693986712978]
評価アグリゲーションルールとショートリストされた代表レビューを用いて製品評価を管理する方法について検討する。
本稿では,Amazon と TripAdvisor の収束速度を向上させるために,適切な信頼度評価アグリゲーションルールが有効であることを示す。
論文 参考訳（メタデータ） (2024-08-20T14:29:23Z) - Goodhart's Law Applies to NLP's Explanation Benchmarks [57.26445915212884]
ERASER(Comprehensiveness and sufficiency)メトリクスとEVAL-X(EVAL-X)メトリクスの2つのセットを批判的に検討する。
実験結果の予測や説明を変えることなく,モデル全体の包括性と充足率を劇的に向上させることができることを示す。
我々の結果は、現在のメトリクスが説明可能性の研究をガイドする能力に疑問を呈し、これらのメトリクスが正確に捉えるものを再評価する必要性を強調します。
論文 参考訳（メタデータ） (2023-08-28T03:03:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。