論文の概要: Do LLMs Judge Distantly Supervised Named Entity Labels Well? Constructing the JudgeWEL Dataset

• arxiv url: http://arxiv.org/abs/2601.00411v1
• Date: Thu, 01 Jan 2026 17:53:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-05 15:04:33.43086
• Title: Do LLMs Judge Distantly Supervised Named Entity Labels Well? Constructing the JudgeWEL Dataset
• Title（参考訳）: LLMの判断は「エンティティラベル」を不当に監督したか?
• Authors: Alistair Plum, Laura Bernardy, Tharindu Ranasinghe,
• Abstract要約: ルクセンブルク語で名前付きエンティティ認識(NER)のためのデータセットである judgeWEL を,大規模言語モデル(LLM)を用いて自動的にラベル付けし,検証する。 ウィキペディアの記事の内部リンクを利用して、対応するウィキデータエントリに基づいてエンティティタイプを推論する。 このようなリンクは均一に信頼性がないため、高品質なラベル付き文のみを識別・保持するために複数のLLMを使用・比較することによりノイズを軽減する。
• 参考スコア（独自算出の注目度）: 8.437906092903582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present judgeWEL, a dataset for named entity recognition (NER) in Luxembourgish, automatically labelled and subsequently verified using large language models (LLM) in a novel pipeline. Building datasets for under-represented languages remains one of the major bottlenecks in natural language processing, where the scarcity of resources and linguistic particularities make large-scale annotation costly and potentially inconsistent. To address these challenges, we propose and evaluate a novel approach that leverages Wikipedia and Wikidata as structured sources of weak supervision. By exploiting internal links within Wikipedia articles, we infer entity types based on their corresponding Wikidata entries, thereby generating initial annotations with minimal human intervention. Because such links are not uniformly reliable, we mitigate noise by employing and comparing several LLMs to identify and retain only high-quality labelled sentences. The resulting corpus is approximately five times larger than the currently available Luxembourgish NER dataset and offers broader and more balanced coverage across entity categories, providing a substantial new resource for multilingual and low-resource NER research.
• Abstract（参考訳）: 本稿では,Luxembourgishにおける名前付きエンティティ認識(NER)のためのデータセットである judgeWEL について述べる。 表現不足言語のためのデータセットの構築は、リソースの不足と言語的特異性の不足が大規模アノテーションのコストと一貫性を損なうという、自然言語処理における大きなボトルネックの1つのままである。 これらの課題に対処するために、ウィキペディアとウィキデータを弱監督源として活用する新しいアプローチを提案し、評価する。 ウィキペディアの記事の内部リンクを利用することで、対応するウィキデータエントリに基づいてエンティティタイプを推論し、人間の介入を最小限に抑えた初期アノテーションを生成する。 このようなリンクは均一に信頼性がないため、高品質なラベル付き文のみを識別・保持するために複数のLLMを使用・比較することによりノイズを軽減する。 得られたコーパスは、現在利用可能なLuxembourgish NERデータセットの約5倍の大きさで、エンティティカテゴリ全体にわたって広く、よりバランスの取れたカバレッジを提供し、多言語および低リソースのNER研究のための実質的なリソースを提供する。

関連論文リスト

• Ready to Translate, Not to Represent? Bias and Performance Gaps in Multilingual LLMs Across Language Families and Domains [6.357124887141297]
  大規模言語モデル (LLM) は機械翻訳 (MT) を再定義した LLMは言語家族や専門ドメイン間で不均一なパフォーマンスを示すことが多い。 オープンソースLLMの翻訳品質と公平性を評価するための統合フレームワークおよびデータセットであるTranslation Tanglesを紹介する。
  論文  参考訳（メタデータ） (2025-10-09T07:28:30Z)
• LexMatcher: Dictionary-centric Data Collection for LLM-based Machine Translation [67.24113079928668]
  本稿では、バイリンガル辞書に見られる感覚のカバレッジによって駆動されるデータキュレーション手法であるLexMatcherを提案する。 我々の手法は、WMT2022テストセットの確立されたベースラインよりも優れています。
  論文  参考訳（メタデータ） (2024-06-03T15:30:36Z)
• NusaWrites: Constructing High-Quality Corpora for Underrepresented and Extremely Low-Resource Languages [54.808217147579036]
  インドネシアの地方言語について事例研究を行う。 データセット構築におけるオンラインスクラップ,人文翻訳,および母語話者による段落作成の有効性を比較した。 本研究は,母語話者による段落作成によって生成されたデータセットが,語彙的多様性と文化的内容の点で優れた品質を示すことを示す。
  論文  参考訳（メタデータ） (2023-09-19T14:42:33Z)
• CLSE: Corpus of Linguistically Significant Entities [58.29901964387952]
  専門家が注釈を付けた言語学的に重要なエンティティ(CLSE)のコーパスをリリースする。 CLSEは74種類のセマンティックタイプをカバーし、航空券売機からビデオゲームまで様々なアプリケーションをサポートする。 言語的に代表されるNLG評価ベンチマークを,フランス語,マラティー語,ロシア語の3言語で作成する。
  論文  参考訳（メタデータ） (2022-11-04T12:56:12Z)
• CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual Labeled Sequence Translation [113.99145386490639]
  言語間NERは、整列した言語間表現や機械翻訳結果を通じて、言語間で知識を伝達することができる。 ゼロショット言語間NERを実現するために,クロスランガル・エンティティ・プロジェクション・フレームワーク(CROP)を提案する。 多言語ラベル付きシーケンス翻訳モデルを用いて、タグ付けされたシーケンスをターゲット言語に投影し、ターゲットの原文にラベル付けする。
  論文  参考訳（メタデータ） (2022-10-13T13:32:36Z)
• DaN+: Danish Nested Named Entities and Lexical Normalization [18.755176247223616]
  本稿では,デンマークのネスト付き名前付きエンティティ(NE)と語彙正規化のための,新しいマルチドメインコーパスとアノテーションガイドラインであるDaN+を紹介する。 我々は,NERタスクをモデル化する3つの戦略を実証的に評価した。 以上の結果から,1)多ラベル復号化と競合するマルチタスク学習,2) BERTベースのNERモデルはドメインシフトに敏感であり,3) 言語内BERTと語彙正規化は最小標準データにおいて最も有用であることが示唆された。
  論文  参考訳（メタデータ） (2021-05-24T14:35:21Z)
• Named Entity Recognition and Linking Augmented with Large-Scale Structured Data [3.211619859724085]
  BSNLP 2019とBSNLP 2021で開かれた第2回と第3回SlavNER共有タスクへの提出について述べる。 タスクは、スラブ語の多言語web文書における名前付きエンティティの分析に焦点を当てた。 私たちのソリューションは、非構造化文書と構造化文書の両方の大規模なコレクションを利用します。
  論文  参考訳（メタデータ） (2021-04-27T20:10:18Z)
• Multilingual Autoregressive Entity Linking [49.35994386221958]
  mGENREはMultilingual Entity Linking問題のためのシーケンス対シーケンスシステムである。 与えられた言語で言及すると、mGENREはターゲットエンティティの名前を左から右へ、トークンごとに予測します。 提案手法の有効性を3つのMELベンチマーク実験を含む広範囲な評価により示す。
  論文  参考訳（メタデータ） (2021-03-23T13:25:55Z)
• AMALGUM -- A Free, Balanced, Multilayer English Web Corpus [14.073494095236027]
  ジャンルバランスの取れたウェブコーパスを4Mトークンで提示する。 オープンなオンラインデータソースをタップすることで、コーパスはより小さく手作業で作成した注釈付きデータセットに代わる、より大きな代替手段を提供する。
  論文  参考訳（メタデータ） (2020-06-18T17:05:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。