論文の概要: WPTokens: A Dataset for Studying the Regulation of Wikipedia
- arxiv url: http://arxiv.org/abs/2610.07108v1
- Date: Mon, 05 Oct 2026 15:19:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.562829
- Title: WPTokens: A Dataset for Studying the Regulation of Wikipedia
- Title（参考訳）: WPTokens:ウィキペディアの規則を研究するためのデータセット
- Abstract要約: データセットには275万記事、153.6万リビジョン、342.6万トークン、573.7万トークンイベントがある。
コンパニオンRパッケージは、これらのレコードをテンポラリなコントリビュータ-トーケンのマルチグラフに変換し、コントリビュータ間の結びつきによって完結する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Studying how Wikipedia is regulated requires knowing who adds, rewrites, moves and deletes which piece of content, when and where. WPTokens is a dataset that answers these questions over the full revision history of the French-language Wikipedia. It relies on a positional diff over two layers: a text layer made of sentences, and a node layer made of the structural elements of wikitext (templates, links, references, headings, tables, lists, etc.). Each piece of content keeps a stable identifier for its whole life, and every change to it is recorded as an addition, an update, a move, a move with update, or a deletion. Built from the April 2026 dump, the dataset covers 2.75 million articles, 153.6 million revisions, 342.6 million tokens and 573.7 million token events, stored in an indexed SQLite database. A companion R package turns these records into temporal contributor--token multigraphs, completed by a layer of revert ties between contributors. We describe the tokenization, the diff algorithm, the data model and the graph construction, and discuss the limitations of the approach.
- Abstract（参考訳）: Wikipediaがどのように規制されているかを研究するには、誰がどのコンテンツを追加し、書き直し、移動し、いつどこで削除するかを知る必要がある。
WPTokensは、フランス語ウィキペディアの完全な改訂履歴について、これらの疑問に答えるデータセットである。
文からなるテキスト層と、wikitextの構造的要素(テンプレート、リンク、参照、見出し、テーブル、リストなど)からなるノード層である。
各コンテンツは、一生、安定した識別子を保持し、その変更はすべて、追加、更新、移動、更新を伴う移動、削除として記録される。
2026年4月のダンプから構築されたデータセットは、275万記事、153.6万リビジョン、342.6万トークン、573.7万トークンイベントをインデックス化したSQLiteデータベースに格納している。
コンパニオンRパッケージは、これらのレコードをテンポラリなコントリビュータ-トーケンのマルチグラフに変換し、コントリビュータ間のリバージョン関係のレイヤによって完結する。
本稿では,トークン化,差分アルゴリズム,データモデル,グラフ構築について述べる。
関連論文リスト
- ATLAS: Article Tracking, Linking, and Analysis of Swedish Encyclopedias [0.9332987715848714]
スウェーデン百科事典のテキスト構造を復元するパイプラインを構築した。
キーワードを抽出し、エントリを識別し、エンティティを分類し、エディション間でエントリにマッチし、Wikidataアイテムにエントリをリンクする。
これは、デジタル化された歴史的知識に対する自動的なアプローチが可能であることを示している。
論文 参考訳（メタデータ） (2026-05-04T11:08:59Z) - Graph-Linguistic Fusion: Using Language Models for Wikidata Vandalism Detection [5.894801758261366]
ウィキデータのための次世代の破壊検出システムを提案する。
Wikidataは、Web上で最大のオープンソースの構造化知識基盤の1つである。
このアプローチでは、Graph2Textと呼ばれるメソッドを使用して、すべての編集を単一のスペースに変換する。
論文 参考訳（メタデータ） (2025-05-23T17:44:06Z) - AnyEdit: Edit Any Knowledge Encoded in Language Models [76.28789588247659]
大規模言語モデル(LLM)のための新しい自動回帰編集パラダイムであるAnyEditを提案する。
長い形式の知識を逐次チャンクに分解し、各チャンク内のキートークンを反復的に編集し、一貫性と正確な出力を保証する。
UnKEBench、AKEW、そして我々の長文の多様な知識のための新しいEditEverythingデータセットを含むベンチマークでは、強いベースラインを21.5%上回っている。
論文 参考訳（メタデータ） (2025-02-08T16:18:37Z) - Mapping Process for the Task: Wikidata Statements to Text as Wikipedia
Sentences [68.8204255655161]
本稿では,ウィキデータ文をウィキペディアのプロジェクト用自然言語テキスト(WS2T)に変換するタスクに対して,文レベルでのマッピングプロセスを提案する。
主なステップは、文を整理し、四つ組と三つ組のグループとして表現し、それらを英語のウィキペディアで対応する文にマッピングすることである。
文構造解析,ノイズフィルタリング,および単語埋め込みモデルに基づく文成分間の関係について,出力コーパスの評価を行った。
論文 参考訳（メタデータ） (2022-10-23T08:34:33Z) - WikiDes: A Wikipedia-Based Dataset for Generating Short Descriptions
from Paragraphs [66.88232442007062]
ウィキデックスはウィキペディアの記事の短い記述を生成するデータセットである。
データセットは、6987のトピックに関する80万以上の英語サンプルで構成されている。
本論文は,ウィキペディアとウィキデータに多くの記述が欠落していることから,実際的な影響を示すものである。
論文 参考訳（メタデータ） (2022-09-27T01:28:02Z) - Wikidated 1.0: An Evolving Knowledge Graph Dataset of Wikidata's
Revision History [5.727994421498849]
Wikidataの完全なリビジョン履歴のデータセットであるWikidated 1.0を提示する。
私たちの知識を最大限に活用するために、それは進化する知識グラフの最初の大きなデータセットを構成する。
論文 参考訳（メタデータ） (2021-12-09T15:54:03Z) - Generating Wikipedia Article Sections from Diverse Data Sources [57.23574577984244]
WikiTableTでいくつかのトレーニングとデコード戦略をベンチマークする。
我々の定性的な分析は、最良のアプローチは、流動的で高品質なテキストを生成することができるが、コヒーレンスに苦しむことがあることを示している。
論文 参考訳（メタデータ） (2020-12-29T19:35:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。