論文の概要: ltzGLUE: Luxembourgish General Language Understanding Evaluation
- arxiv url: http://arxiv.org/abs/2604.17976v1
- Date: Mon, 20 Apr 2026 08:54:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-21 21:52:52.779307
- Title: ltzGLUE: Luxembourgish General Language Understanding Evaluation
- Title(参考訳): ltzGLUE:Luxembourgish General Language Understanding Evaluation
- Authors: Alistair Plum, Felicia Körner, Anne-Marie Lutgen, Laura Bernardy, Fred Philippy, Emilia Milano, Nils Rehlinger, Cédric Lothritz, Tharindu Ranasinghe, Barbara Plank, Christoph Purschke,
- Abstract要約: 本稿では,Luxembourgish (LTZ)の最初の自然言語理解(NLU)ベンチマークであるltzGLUEについて述べる。
我々は、新しいタスクを構築し、既存のタスクを再利用し、最初の公式なNLUベンチマークを導入し、言語のためのエンコーダモデルの評価を伴う。
- 参考スコア(独自算出の注目度): 29.787841689155986
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents ltzGLUE, the first Natural Language Understanding (NLU) benchmark for Luxembourgish (LTZ) based on the popular GLUE benchmark for English. Although NLU tasks are available for many European languages nowadays, LTZ is one of the official national languages that is often overlooked. We construct new tasks and reuse existing ones to introduce the first official NLU benchmark and accompanying evaluation of encoder models for the language. Our tasks include common natural language processing tasks in binary and multi-class classification settings, including named entity recognition, topic classification, and intent classification. We evaluate various pre-trained language models for LTZ to present an overview of the current capabilities of these models on the LTZ language.
- Abstract(参考訳): 本稿では,Luxembourgish(LTZ)のための最初の自然言語理解(NLU)ベンチマークであるltzGLUEについて述べる。
NLUタスクは今日では多くのヨーロッパの言語で利用可能であるが、LTZは見落とされがちな公式の国語の一つである。
我々は、新しいタスクを構築し、既存のタスクを再利用し、最初の公式なNLUベンチマークを導入し、言語のためのエンコーダモデルの評価を伴う。
我々のタスクには、名前付きエンティティ認識、トピック分類、インテント分類を含む、バイナリおよびマルチクラス分類設定における共通自然言語処理タスクが含まれる。
我々は,LTZ言語上でのこれらのモデルの現状を概観するために,様々な事前学習型言語モデルの評価を行った。
関連論文リスト
- MultiLexNorm++: A Unified Benchmark and a Generative Model for Lexical Normalization for Asian Languages [35.41743483735058]
ソーシャルメディアのデータは10年以上にわたって自然言語処理(NLP)の実践者にとって関心を集めてきた。
言語の使用はより非公式であり、自発的であり、多くの異なる社会表現に固執するため、NLPモデルの性能は劣化することが多い。
この問題の解決策の1つは、データを処理する前に標準的な変種に変換することである。
論文 参考訳(メタデータ) (2026-01-23T10:27:40Z) - ChiKhaPo: A Large-Scale Multilingual Benchmark for Evaluating Lexical Comprehension and Generation in Large Language Models [4.615257892219717]
生成モデルの語彙的理解と生成能力を評価するために, 様々な難易度を持つ8つのサブタスクからなるChiKhaPoを紹介した。
ChiKhaPoは既存のレキシコン、モノリンガルデータ、bitextをベースとして、2つのサブタスクで2700以上の言語をカバーする。
論文 参考訳(メタデータ) (2025-10-19T16:55:20Z) - skLEP: A Slovak General Language Understanding Benchmark [0.030113849517062304]
skLEPはスロバキアの自然言語理解(NLU)モデルを評価するために特別に設計された最初の包括的なベンチマークである。
このベンチマークを作成するために、スロバキア向けに調整された新しいオリジナルデータセットをキュレートし、精密に英語のNLUリソースを翻訳した。
本稿では,スロバキア固有の言語モデル,多言語言語モデル,および英語事前学習言語モデルの体系的および広範囲な評価を行う。
論文 参考訳(メタデータ) (2025-06-26T17:35:04Z) - Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。
我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文 参考訳(メタデータ) (2023-06-13T08:08:08Z) - Prompting Language-Informed Distribution for Compositional Zero-Shot Learning [73.49852821602057]
合成ゼロショット学習(CZSL)タスクは、目に見えない合成視覚概念を認識することを目的としている。
本稿では,タスクに対して言語インフォームド分布(PLID)を指示するモデルを提案する。
MIT-States、UT-Zappos、C-GQAデータセットの実験結果は、PLIDの先行技術よりも優れた性能を示している。
論文 参考訳(メタデータ) (2023-05-23T18:00:22Z) - This is the way: designing and compiling LEPISZCZE, a comprehensive NLP
benchmark for Polish [5.8090623549313944]
ポーランドNLPの新しい総合ベンチマークであるLEPISZCZEを紹介する。
ポーランドのベンチマークから5つのデータセットを使用し、8つの新しいデータセットを追加しています。
我々はポーランド語のためのベンチマークを作成しながら学んだ洞察と経験を提供し、他の低リソース言語のための同様のベンチマークを設計する青写真を提供する。
論文 参考訳(メタデータ) (2022-11-23T16:51:09Z) - Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。
これらのデータセットは10以上のプログラミング言語をカバーする。
コード生成モデルの性能を多言語で評価することができる。
論文 参考訳(メタデータ) (2022-10-26T17:17:06Z) - Multi-level Contrastive Learning for Cross-lingual Spoken Language
Understanding [90.87454350016121]
コントラスト学習のための難解なサンプルを, あらゆるレベルで生成するコードスイッチング手法を開発した。
言語間知識伝達にラベルセマンティクスを利用するラベル認識ジョイントモデルを開発した。
論文 参考訳(メタデータ) (2022-05-07T13:44:28Z) - CLUE: A Chinese Language Understanding Evaluation Benchmark [41.86950255312653]
最初の大規模中国語理解評価(CLUE)ベンチマークを紹介する。
CLUEは、確立された1文/文ペアの分類タスクにまたがる9つのタスクと、機械読み取りの理解を提供する。
我々は、現在最先端の中国のモデルを用いてスコアを報告する。
論文 参考訳(メタデータ) (2020-04-13T15:02:29Z) - XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating
Cross-lingual Generalization [128.37244072182506]
言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。
我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
論文 参考訳(メタデータ) (2020-03-24T19:09:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。