論文の概要: Longitudinal Assessment of Reference Quality on Wikipedia

• arxiv url: http://arxiv.org/abs/2303.05227v1
• Date: Thu, 9 Mar 2023 13:04:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-10 15:01:09.475862
• Title: Longitudinal Assessment of Reference Quality on Wikipedia
• Title（参考訳）: Wikipediaにおける基準品質の経時的評価
• Authors: Aitolkyn Baigutanova, Jaehyeon Myung, Diego Saez-Trumper, Ai-Jou Chou, Miriam Redi, Changwook Jung, Meeyoung Cha
• Abstract要約: この研究は、その参照のレンズを通して、このグローバル百科事典の信頼性を分析する。 我々は、参照要求(RN)、すなわち引用を欠く文の割合、参照リスク(RR)、すなわち非権威的参照の割合を定義することで、参照品質の概念を運用する。
• 参考スコア（独自算出の注目度）: 7.823541290904653
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Wikipedia plays a crucial role in the integrity of the Web. This work analyzes the reliability of this global encyclopedia through the lens of its references. We operationalize the notion of reference quality by defining reference need (RN), i.e., the percentage of sentences missing a citation, and reference risk (RR), i.e., the proportion of non-authoritative references. We release Citation Detective, a tool for automatically calculating the RN score, and discover that the RN score has dropped by 20 percent point in the last decade, with more than half of verifiable statements now accompanying references. The RR score has remained below 1% over the years as a result of the efforts of the community to eliminate unreliable references. We propose pairing novice and experienced editors on the same Wikipedia article as a strategy to enhance reference quality. Our quasi-experiment indicates that such a co-editing experience can result in a lasting advantage in identifying unreliable sources in future edits. As Wikipedia is frequently used as the ground truth for numerous Web applications, our findings and suggestions on its reliability can have a far-reaching impact. We discuss the possibility of other Web services adopting Wiki-style user collaboration to eliminate unreliable content.
• Abstract（参考訳）: Wikipediaはウェブの完全性において重要な役割を果たす。 本研究は,この世界百科事典の信頼性を,参考文献のレンズを通して解析する。 我々は、参照要求(rn)、引用を欠く文の割合、および基準リスク(rr)、すなわち非権威的参照の割合を定義することにより、基準品質の概念を運用する。 我々は、RNスコアを自動的に計算するツールであるCitation Detectiveをリリースし、RNスコアが過去10年間で20%減少し、現在半数以上が参照に付随していることを確認した。 RRスコアは、信頼できない参照を排除しようとするコミュニティの努力の結果、長年にわたって1%以下にとどまっている。 我々は、参照品質を高める戦略として、同じウィキペディアの記事に、ペア初心者と経験豊富な編集者を提案する。 このような共同編集経験は,将来の編集において信頼性の低い情報源を同定する上で,永続的な利点をもたらす可能性がある。 ウィキペディアは、多くのウェブアプリケーションの基礎となる真実として頻繁に使われており、その信頼性に関する私たちの発見と提案は、はるかに大きな影響を与えます。 ウィキスタイルのユーザコラボレーションを取り入れた他のWebサービスが、信頼性の低いコンテンツを排除できる可能性について論じる。

関連論文リスト

• RevisEval: Improving LLM-as-a-Judge via Response-Adapted References [95.29800580588592]
  RevisEvalは、応答適応参照による新しいテキスト生成評価パラダイムである。 RevisEvalは、理想的な参照が評価される応答に対する必要な関連性を維持するべきであるというキーオブザーバーによって駆動される。
  論文  参考訳（メタデータ） (2024-10-07T16:50:47Z)
• HelloFresh: LLM Evaluations on Streams of Real-World Human Editorial Actions across X Community Notes and Wikipedia edits [92.62157408704594]
  HelloFreshは、本質的に動機づけられた人間のラベルによって生成された実世界のデータの連続的なストリームに基づいている。 ウィキペディアページのX(元Twitter)コミュニティノートと編集の最近のイベントをカバーしている。 テストデータの汚染とベンチマークオーバーフィッティングのリスクを軽減します。
  論文  参考訳（メタデータ） (2024-06-05T16:25:57Z)
• A Comparative Study of Reference Reliability in Multiple Language Editions of Wikipedia [12.919146538916353]
  本研究は,複数言語版における参照の信頼性を評価するために,500万以上のウィキペディア記事について検討する。 ある言語(すなわち英語)では信頼できないとされる文献は、他の言語では記事に現れ続けている。 ページの英語版に見られる権威のない情報源は、そのページの他の言語バージョンで持続する傾向がある。
  論文  参考訳（メタデータ） (2023-09-01T01:19:59Z)
• Not All Metrics Are Guilty: Improving NLG Evaluation by Diversifying References [123.39034752499076]
  Div-Refは、参照数を増やして評価ベンチマークを強化する方法である。 本研究では,参照表現の多様化が自動評価と人的評価の相関性を大幅に向上させることを示す実験を行った。
  論文  参考訳（メタデータ） (2023-05-24T11:53:29Z)
• Improving Wikipedia Verifiability with AI [116.69749668874493]
  私たちはSideと呼ばれるニューラルネットワークベースのシステムを開発し、彼らの主張を支持できないWikipediaの引用を識別する。 本誌の最初の引用レコメンデーションは、既存のWikipediaの引用よりも60%多い選好を集めている。 以上の結果から,Wikipediaの妥当性を高めるために,AIベースのシステムを人間と共同で活用できることが示唆された。
  論文  参考訳（メタデータ） (2022-07-08T15:23:29Z)
• Assessing the quality of sources in Wikidata across languages: a hybrid approach [64.05097584373979]
  いくつかの言語でラベルを持つWikidataのトリプルからサンプルした参照コーパスの大規模なコーパスを評価するために,一連のマイクロタスク実験を実施している。 クラウドソースアセスメントの統合されたバージョンを使用して、いくつかの機械学習モデルをトレーニングして、Wikidata全体の分析をスケールアップしています。 この結果はWikidataにおける参照の質の確認に役立ち、ユーザ生成多言語構造化データの品質をWeb上で定義し、取得する際の共通の課題を特定するのに役立ちます。
  論文  参考訳（メタデータ） (2021-09-20T10:06:46Z)
• REAM$\sharp$: An Enhancement Approach to Reference-based Evaluation Metrics for Open-domain Dialog Generation [63.46331073232526]
  オープンドメイン対話システムにおける参照ベースのEvAluation Metricsの拡張手法を提案する。 予測モデルは、与えられた基準セットの信頼性を推定するように設計されている。 本稿では,その予測結果が参照集合の増大にどのように役立つかを示し,測定値の信頼性を向上させる。
  論文  参考訳（メタデータ） (2021-05-30T10:04:13Z)
• Wiki-Reliability: A Large Scale Dataset for Content Reliability on Wikipedia [4.148821165759295]
  我々は、幅広いコンテンツ信頼性の問題に注釈を付けた英語ウィキペディア記事の最初のデータセットを構築した。 このデータセットを構築するには、Wikipediaの「テンプレート」を利用します。 ウィキペディアで最も人気のある10の信頼性関連テンプレートを選択し、ウィキペディアの記事改訂のほぼ1Mのサンプルをポジティブまたはネガティブにラベル付ける効果的な方法を提案します。
  論文  参考訳（メタデータ） (2021-05-10T05:07:03Z)
• 'I Updated the <ref>': The Evolution of References in the English Wikipedia and the Implications for Altmetrics [0.0]
  われわれは、2019年6月までの英語ウィキペディアで使われたすべての参照(5500万以上)のデータセットを提示する。 ウィキペディアで参照を識別し、監視する新しい手法を適用したので、それぞれの参照に対して、関連するアクション(生成、修正、削除、再試行)に関するデータを提供できる。
  論文  参考訳（メタデータ） (2020-10-06T23:26:12Z)
• Quantifying Engagement with Citations on Wikipedia [13.703047949952852]
  300ページビューの1つは、参照クリックの結果である。 クリックはより短いページや低い品質のページで頻繁に行われる。 最近のコンテンツ、オープンアクセスソース、ライフイベントに関する参考資料が特に人気である。
  論文  参考訳（メタデータ） (2020-01-23T15:52:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。