論文の概要: Wikibench: Community-Driven Data Curation for AI Evaluation on Wikipedia
- arxiv url: http://arxiv.org/abs/2402.14147v1
- Date: Wed, 21 Feb 2024 22:10:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-23 17:15:33.489858
- Title: Wikibench: Community-Driven Data Curation for AI Evaluation on Wikipedia
- Title(参考訳): Wikibench: WikipediaによるAI評価のためのコミュニティ駆動のデータキュレーション
- Authors: Tzu-Sheng Kuo, Aaron Halfaker, Zirui Cheng, Jiwoo Kim, Meng-Hsin Wu,
Tongshuang Wu, Kenneth Holstein, Haiyi Zhu
- Abstract要約: ウィキベンチは,コミュニティが協調してAI評価データセットをキュレートすることを可能にするシステムである。
Wikipediaのフィールドスタディによると、Wikibenchを使ってキュレートされたデータセットは、コミュニティのコンセンサス、不一致、不確実性を効果的に捉えることができる。
- 参考スコア(独自算出の注目度): 39.02973945237259
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: AI tools are increasingly deployed in community contexts. However, datasets
used to evaluate AI are typically created by developers and annotators outside
a given community, which can yield misleading conclusions about AI performance.
How might we empower communities to drive the intentional design and curation
of evaluation datasets for AI that impacts them? We investigate this question
on Wikipedia, an online community with multiple AI-based content moderation
tools deployed. We introduce Wikibench, a system that enables communities to
collaboratively curate AI evaluation datasets, while navigating ambiguities and
differences in perspective through discussion. A field study on Wikipedia shows
that datasets curated using Wikibench can effectively capture community
consensus, disagreement, and uncertainty. Furthermore, study participants used
Wikibench to shape the overall data curation process, including refining label
definitions, determining data inclusion criteria, and authoring data
statements. Based on our findings, we propose future directions for systems
that support community-driven data curation.
- Abstract(参考訳): AIツールは、コミュニティのコンテキストにますますデプロイされる。
しかしながら、AIを評価するために使用されるデータセットは、通常、所定のコミュニティ外の開発者やアノテータによって作成されます。
コミュニティに、それに影響を与えるAIの評価データセットを意図的に設計し、キュレーションする権限を与えるにはどうすればよいのか?
この質問は、複数のAIベースのコンテンツモデレーションツールをデプロイしたオンラインコミュニティであるWikipediaで調査する。
議論を通じてあいまいさや視点の違いをナビゲートしながら、コミュニティが共同でai評価データセットをキュレートできるシステムwikibenchを紹介する。
Wikipediaのフィールドスタディによると、Wikibenchを使ってキュレートされたデータセットは、コミュニティのコンセンサス、不一致、不確実性を効果的に捉えることができる。
さらに、研究参加者はWikibenchを使用して、ラベル定義の精細化、データ含意基準の決定、データステートメントのオーサリングなど、データキュレーションの全体を形成する。
そこで本研究では,コミュニティ主導のデータキュレーションを支援するシステムの今後の方向性を提案する。
関連論文リスト
- On Responsible Machine Learning Datasets with Fairness, Privacy, and
Regulatory Norms [58.93352076927003]
AI技術の信頼性に関する深刻な懸念があった。
機械学習とディープラーニングのアルゴリズムは、開発に使用されるデータに大きく依存する。
本稿では,責任あるルーブリックを用いてデータセットを評価するフレームワークを提案する。
論文 参考訳(メタデータ) (2023-10-24T14:01:53Z) - Collect, Measure, Repeat: Reliability Factors for Responsible AI Data
Collection [8.12993269922936]
AIのデータ収集は責任ある方法で行うべきだと我々は主張する。
本稿では,データ収集をメトリクスの集合でガイドするResponsible AI(RAI)手法を提案する。
論文 参考訳(メタデータ) (2023-08-22T18:01:27Z) - Data-centric Artificial Intelligence: A Survey [47.24049907785989]
近年、AIにおけるデータの役割は大幅に拡大し、データ中心AIという新たな概念が生まれた。
本稿では,データ中心型AIの必要性について論じ,続いて3つの一般的なデータ中心型目標の全体像を考察する。
これは、データライフサイクルのさまざまな段階にわたるタスクのグローバルなビューを提供する、初めての総合的な調査である、と私たちは信じています。
論文 参考訳(メタデータ) (2023-03-17T17:44:56Z) - Wiki-based Communities of Interest: Demographics and Outliers [18.953455338226103]
Wikiの情報源によると、このデータはホワイトハウスコロナウイルスタスクフォースのメンバーなど7.5万のコミュニティをカバーしている。
主観的およびグループ中心のデータセットをフォーマットで、またブラウジングインターフェースとしてリリースします。
論文 参考訳(メタデータ) (2023-03-16T09:58:11Z) - Data-centric AI: Perspectives and Challenges [51.70828802140165]
データ中心AI(DCAI)は、モデル進歩からデータ品質と信頼性の確保への根本的なシフトを提唱している。
データ開発、推論データ開発、データメンテナンスの3つの一般的なミッションをまとめます。
論文 参考訳(メタデータ) (2023-01-12T05:28:59Z) - Knowledge Graph Question Answering Leaderboard: A Community Resource to
Prevent a Replication Crisis [61.740077541531726]
コミュニティの焦点として、KGQAベンチマークデータセットに対して、新たな中心的でオープンなリーダボードを提供しています。
本分析は,KGQAシステムの評価において,既存の問題点を浮き彫りにする。
論文 参考訳(メタデータ) (2022-01-20T13:46:01Z) - Are Missing Links Predictable? An Inferential Benchmark for Knowledge
Graph Completion [79.07695173192472]
InferWikiは推論能力、仮定、パターンの既存のベンチマークを改善している。
各テストサンプルは、トレーニングセットの支持データで予測可能である。
実験では,大きさや構造が異なるInferWikiの2つの設定をキュレートし,比較データセットとしてCoDExに構築プロセスを適用する。
論文 参考訳(メタデータ) (2021-08-03T09:51:15Z) - 'I Updated the <ref>': The Evolution of References in the English
Wikipedia and the Implications for Altmetrics [0.0]
われわれは、2019年6月までの英語ウィキペディアで使われたすべての参照(5500万以上)のデータセットを提示する。
ウィキペディアで参照を識別し、監視する新しい手法を適用したので、それぞれの参照に対して、関連するアクション(生成、修正、削除、再試行)に関するデータを提供できる。
論文 参考訳(メタデータ) (2020-10-06T23:26:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。