論文の概要: Crowdsourced Fact-Checking at Twitter: How Does the Crowd Compare With Experts?

• arxiv url: http://arxiv.org/abs/2208.09214v1
• Date: Fri, 19 Aug 2022 08:34:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-22 17:35:40.289053
• Title: Crowdsourced Fact-Checking at Twitter: How Does the Crowd Compare With Experts?
• Title（参考訳）: twitterのクラウドソーシングファクトチェック: 専門家とはどのように違うのか?
• Authors: Mohammed Saeed, Nicolas Traub, Maelle Nicolas, Gianluca Demartini, and Paolo Papotti
• Abstract要約: 我々は,TwitterがBirdwatchプログラムで開始した,クラウドソーシングによるファクトチェックを実際に実施する最初の大規模取り組みについて検討した。 我々の分析によると、クラウドソーシングは、人間の専門家による結果に匹敵する効果的な事実チェック戦略であるが、他の環境では一貫性のある行動可能な結果をもたらすものではない。
• 参考スコア（独自算出の注目度）: 8.164546451058659
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fact-checking is one of the effective solutions in fighting online misinformation. However, traditional fact-checking is a process requiring scarce expert human resources, and thus does not scale well on social media because of the continuous flow of new content to be checked. Methods based on crowdsourcing have been proposed to tackle this challenge, as they can scale with a smaller cost, but, while they have shown to be feasible, have always been studied in controlled environments. In this work, we study the first large-scale effort of crowdsourced fact-checking deployed in practice, started by Twitter with the Birdwatch program. Our analysis shows that crowdsourcing may be an effective fact-checking strategy in some settings, even comparable to results obtained by human experts, but does not lead to consistent, actionable results in others. We processed 11.9k tweets verified by the Birdwatch program and report empirical evidence of i) differences in how the crowd and experts select content to be fact-checked, ii) how the crowd and the experts retrieve different resources to fact-check, and iii) the edge the crowd shows in fact-checking scalability and efficiency as compared to expert checkers.
• Abstract（参考訳）: Fact-checkingは、オンラインの誤報と戦うための効果的なソリューションの1つだ。 しかしながら、従来のファクトチェックは、専門家の人材が不足するプロセスであり、新しいコンテンツが継続的に流れるため、ソーシャルメディアではうまくスケールしない。 クラウドソーシングに基づく手法は、より小さなコストでスケールできるため、この課題に取り組むために提案されているが、実現可能であることは示されているが、常に制御された環境で研究されている。 本研究では,twitterがbirdwatchプログラムで開始した,クラウドソーシングによるファクトチェックを実際に実施する最初の大規模な取り組みについて検討した。 我々の分析によると、クラウドソーシングは、人間の専門家による結果に匹敵する効果的な事実チェック戦略であるが、一貫性のある行動可能な結果をもたらすものではない。 Birdwatchプログラムで確認されたツイート119万件を処理し、実証的な証拠を報告した。 一 群衆及び専門家が事実確認を受けるコンテンツを選択する方法の相違 二 群衆及び専門家が事実確認のために異なる資源を取得する方法 三 専門家のチェッカーと比較して、群衆が事実チェックのスケーラビリティと効率性を示すエッジ。

関連論文リスト

• How to Train Your Fact Verifier: Knowledge Transfer with Multimodal Open Models [95.44559524735308]
  大規模言語またはマルチモーダルモデルに基づく検証は、偽コンテンツや有害コンテンツの拡散を緩和するためのオンラインポリシングメカニズムをスケールアップするために提案されている。 我々は,知識伝達の初期研究を通じて,継続的な更新を行うことなく基礎モデルの性能向上の限界をテストする。 最近の2つのマルチモーダルなファクトチェックベンチマークであるMochegとFakedditの結果は、知識伝達戦略がファクドディットのパフォーマンスを最先端よりも1.7%向上し、Mochegのパフォーマンスを2.9%向上させることができることを示唆している。
  論文  参考訳（メタデータ） (2024-06-29T08:39:07Z)
• Who Checks the Checkers? Exploring Source Credibility in Twitter's Community Notes [0.03511246202322249]
  ソーシャルメディアプラットフォーム上での誤情報拡散は重大な懸念となっている。 この研究は、クラウドソースのファクトチェックにおける潜在的な役割にもかかわらず、Twitter Community Notesの特定の機能に焦点を当てている。 引用された情報源の大部分は、左派であり、高い事実性を持つニュースメディアであり、プラットフォームの事実チェックにおける潜在的なバイアスを示唆している。
  論文  参考訳（メタデータ） (2024-06-18T09:47:58Z)
• Too Good To Be True: performance overestimation in (re)current practices for Human Activity Recognition [49.1574468325115]
  データセグメンテーションのためのスライディングウィンドウと、標準のランダムk倍のクロスバリデーションが続くと、バイアスのある結果が得られる。 この問題に対する科学界の認識を高めることは重要であり、その否定的な影響は見落とされつつある。 異なるタイプのデータセットと異なるタイプの分類モデルを用いたいくつかの実験により、問題を示し、メソッドやデータセットとは独立して持続することを示すことができる。
  論文  参考訳（メタデータ） (2023-10-18T13:24:05Z)
• Reinforcement Learning-based Knowledge Graph Reasoning for Explainable Fact-checking [0.0]
  説明可能な事実チェックのためのRLに基づく推論手法を提案する。 FB15K-277とNELL-995データセットの実験では、知識グラフの推論が人間の読みやすい説明を生成する効果的な方法であることが示された。
  論文  参考訳（メタデータ） (2023-10-11T15:58:31Z)
• FaVIQ: FAct Verification from Information-seeking Questions [77.7067957445298]
  実ユーザによる情報探索質問を用いて,ファVIQと呼ばれる大規模事実検証データセットを構築した。 我々の主張は自然であると証明され、語彙バイアスがほとんどなく、検証の証拠を完全に理解する必要がある。
  論文  参考訳（メタデータ） (2021-07-05T17:31:44Z)
• What Ingredients Make for an Effective Crowdsourcing Protocol for Difficult NLU Data Collection Tasks? [31.39009622826369]
  我々は、データ品質を改善する方法として、先行研究で提案された介入の有効性を比較した。 我々は,NLU例の難易度を高めるための非効率なスタンドアロン戦略として,実例の説明書を書くよう労働者に求めていることを見出した。 専門家評価を伴う反復的プロトコルからのデータは、いくつかの尺度によりより困難であることが観察された。
  論文  参考訳（メタデータ） (2021-06-01T21:05:52Z)
• Automated Fact-Checking for Assisting Human Fact-Checkers [29.53133956640405]
  不正確または誤解を招く主張を広めるメディアの誤用は、ファクトチェッカーの近代化をもたらしました。 私たちは、事実確認のさまざまなステップで人間の専門家をサポートすることができる利用可能なインテリジェントな技術を調査します。 いずれの場合も,今後の作業における課題と,実世界のファクトチェックへの影響に注意を払っています。
  論文  参考訳（メタデータ） (2021-03-13T18:29:14Z)
• The COVID-19 Infodemic: Can the Crowd Judge Recent Misinformation Objectively? [17.288917654501265]
  本研究では,クラウドソーシングがパンデミック時の言明の真偽を評価する上で,効果的かつ信頼性の高い方法であるかどうかを検討する。 研究の時点でまだ進行中の、新型コロナウイルスの緊急事態に関する声明を特に対象としています。 実験では,供述の真正性を評価するとともに,URLやテキストの正当性としての評価の証拠を提供するように依頼した。
  論文  参考訳（メタデータ） (2020-08-13T05:53:24Z)
• Machine Learning Explanations to Prevent Overtrust in Fake News Detection [64.46876057393703]
  本研究では、ニュースレビュープラットフォームに組み込んだ説明可能なAIアシスタントが、フェイクニュースの拡散と戦う効果について検討する。 我々は、ニュースレビューと共有インターフェースを設計し、ニュース記事のデータセットを作成し、4つの解釈可能なフェイクニュース検出アルゴリズムを訓練する。 説明可能なAIシステムについてより深く理解するために、説明プロセスにおけるユーザエンゲージメント、メンタルモデル、信頼、パフォーマンス対策の相互作用について議論する。
  論文  参考訳（メタデータ） (2020-07-24T05:42:29Z)
• Measuring Social Biases of Crowd Workers using Counterfactual Queries [84.10721065676913]
  性別、人種などに基づく社会的バイアスは、主にバイアス付きトレーニングデータセットを介して、汚染された機械学習(ML)パイプラインに示されている。 クラウドソーシング(Crowdsourcing)は、ラベル付きトレーニングデータセットを収集するための一般的な費用効果尺度であり、群衆労働者の社会的偏見に免疫がない。 本研究では, 集団労働者ごとの社会的バイアスの程度を定量化するための, 対実的公正度に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-04-04T21:41:55Z)
• Claim Check-Worthiness Detection as Positive Unlabelled Learning [53.24606510691877]
  クレームチェックの信頼性検出はファクトチェックシステムにおいて重要な要素である。 これらの課題の根底にあるクレームチェックの信頼性検出における中心的な課題を照明する。 我々の最良の手法は、正の非競合学習の変種を用いて、これを自動的に修正する統一的なアプローチである。
  論文  参考訳（メタデータ） (2020-03-05T16:06:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。