論文の概要: Hansel: A Chinese Few-Shot and Zero-Shot Entity Linking Benchmark

• arxiv url: http://arxiv.org/abs/2207.13005v2
• Date: Sun, 29 Oct 2023 14:35:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 01:25:32.025104
• Title: Hansel: A Chinese Few-Shot and Zero-Shot Entity Linking Benchmark
• Title（参考訳）: Hansel: 中国のFew-ShotとZero-Shot Entity Linkingベンチマーク
• Authors: Zhenran Xu, Zifei Shan, Yuxin Li, Baotian Hu, Bing Qin
• Abstract要約: 以下に示すのは、中国語の新しいベンチマークであるHanselで、英語以外の小文字とゼロショットのEL課題の空白を埋める。 Hanselのテストセットは注釈付きでレビューされ、ゼロショットのELデータセットを収集する新しい方法によって作成される。
• 参考スコア（独自算出の注目度）: 31.771622410983625
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern Entity Linking (EL) systems entrench a popularity bias, yet there is no dataset focusing on tail and emerging entities in languages other than English. We present Hansel, a new benchmark in Chinese that fills the vacancy of non-English few-shot and zero-shot EL challenges. The test set of Hansel is human annotated and reviewed, created with a novel method for collecting zero-shot EL datasets. It covers 10K diverse documents in news, social media posts and other web articles, with Wikidata as its target Knowledge Base. We demonstrate that the existing state-of-the-art EL system performs poorly on Hansel (R@1 of 36.6% on Few-Shot). We then establish a strong baseline that scores a R@1 of 46.2% on Few-Shot and 76.6% on Zero-Shot on our dataset. We also show that our baseline achieves competitive results on TAC-KBP2015 Chinese Entity Linking task.
• Abstract（参考訳）: 現代のエンティティリンク(EL)システムは、人気バイアスを抱いているが、英語以外の言語の尾と新興エンティティに焦点を当てたデータセットはない。 今回紹介するhanselは、中国語の新しいベンチマークで、英語以外の少数ショットとゼロショットのelチャレンジの空白を埋める。 Hanselのテストセットは注釈付きでレビューされ、ゼロショットのELデータセットを収集する新しい方法によって作成される。 Wikidataをターゲットとするニュース、ソーシャルメディア投稿、その他のウェブ記事の10万件の多種多様なドキュメントをカバーしている。 既存の最先端ELシステムはHansel(Few-ShotのR@1は36.6%)では性能が良くないことを示す。 次に、Few-Shotで46.2%、Zero-Shotで76.6%という強力なベースラインを確立します。 また,TAC-KBP2015 China Entity Linkingタスクにおいて,ベースラインが競合する結果を得ることを示す。

関連論文リスト

• CBBQ: A Chinese Bias Benchmark Dataset Curated with Human-AI Collaboration for Large Language Models [52.25049362267279]
  本稿では,人的専門家と生成言語モデルによって共同で構築された100万以上の質問からなる中国語バイアスベンチマークデータセットを提案する。 データセットのテストインスタンスは、手作業による厳格な品質管理を備えた3K以上の高品質テンプレートから自動的に抽出される。 大規模な実験により、データセットがモデルバイアスを検出することの有効性が実証された。
  論文  参考訳（メタデータ） (2023-06-28T14:14:44Z)
• ZeroSCROLLS: A Zero-Shot Benchmark for Long Text Understanding [86.08738156304224]
  我々は、長いテキスト上での自然言語理解のためのゼロショットベンチマークであるZeroSCROLLSを紹介する。 SCROLLSベンチマークから6つのタスクを適応させ、新しい2つの情報拡散タスクを含む4つのデータセットを追加します。 クロードはChatGPTより優れており、GPT-4は最高スコアを得る。
  論文  参考訳（メタデータ） (2023-05-23T16:15:31Z)
• LEXTREME: A Multi-Lingual and Multi-Task Benchmark for the Legal Domain [24.54412069999257]
  法的なNLP文献を調査し、LEXTREMEを作成する24言語を含む11のデータセットを選択した。 ベストベースライン(XLM-R大)は、両方のデータセットアグリゲーションが言語アグリゲーションスコア61.3を達成する。 これは、LEXTREMEが依然として非常に困難であり、改善の余地が十分にあることを示している。
  論文  参考訳（メタデータ） (2023-01-30T18:05:08Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• JU_NLP at HinglishEval: Quality Evaluation of the Low-Resource Code-Mixed Hinglish Text [0.7775650627548182]
  合成Hinglishデータセットの平均評価スコアと分解スコアを予測するために,Bi-LSTMに基づくニューラルネットワークモデルを実装した。 我々はF1スコア0.11を達成し,平均スコア予測タスクでは平均2乗誤差6.0を達成した。
  論文  参考訳（メタデータ） (2022-06-16T10:12:44Z)
• Czech Dataset for Cross-lingual Subjectivity Classification [13.70633147306388]
  そこで本研究では,映画レビューや説明文から10kの注釈付き主観的,客観的な文を手作業で作成する新しいチェコ語主観性データセットを提案する。 2つのアノテータはデータセットにコーエンのカッパ間アノテータ契約の0.83に達した。 新しいデータセットの単一言語ベースラインを設定するために、トレーニング済みのBERT風モデルを5つ微調整し、93.56%の精度を達成する。
  論文  参考訳（メタデータ） (2022-04-29T07:31:46Z)
• QALD-9-plus: A Multilingual Dataset for Question Answering over DBpedia and Wikidata Translated by Native Speakers [68.9964449363406]
  私たちは8つの言語に高品質な質問の翻訳を導入することで、最も人気のあるKGQAベンチマークの1つ、QALD-9を拡張します。 アルメニア語、ウクライナ語、リトアニア語、バシキル語、ベラルーシ語という5つの言語は、これまでにKGQA研究コミュニティで最高の知識について検討されたことがなかった。
  論文  参考訳（メタデータ） (2022-01-31T22:19:55Z)
• A Sentence Cloze Dataset for Chinese Machine Reading Comprehension [64.07894249743767]
  我々はSentence Cloze-style Machine Reading (SC-MRC)と呼ばれる新しいタスクを提案する。 提案課題は,複数の空白を持つ文に適切な候補文を埋めることである。 私たちは、SC-MRCタスクの難しさを評価するためにCMRC 2019という中国のデータセットを構築しました。
  論文  参考訳（メタデータ） (2020-04-07T04:09:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。