論文の概要: BLiMPPI: Benchmark of Linguistic Minimal Pairs for Polarity Items

• arxiv url: http://arxiv.org/abs/2610.13607v1
• Date: Fri, 09 Oct 2026 13:55:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.608858
• Title: BLiMPPI: Benchmark of Linguistic Minimal Pairs for Polarity Items
• Title（参考訳）: BLiMPPI:極性項目のための言語学的最小ペアのベンチマーク
• Abstract要約: 負極性項目(NPI)は、特定の環境においてのみ文法的である。 言語モデルにおけるNPIの研究はほとんど英語に限られている。 我々は33言語で12,000 NPI以上の最小ペアからなる多言語評価スイートであるBLiMPPIを紹介する。
• 参考スコア（独自算出の注目度）: 23.922949305405524
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Negative polarity items (NPIs), such as "anymore" and "ever", are grammatical only in select environments, predominantly in the context of negation. Because their grammaticality depends on both syntax and semantics, they have a rich, multilingual literature in theoretical linguistics, yet work on NPIs in language models is almost entirely confined to English. We introduce BLiMPPI, a multilingual evaluation suite of over 12,000 NPI minimal pairs in 33 languages, built by a pipeline that discovers NPIs in Universal Dependencies (UD) treebanks, labels their licensing environments, and perturbs these into minimal pairs. Evaluating 12 multilingual and 2 monolingual models alongside n-gram baselines, we find that multilingual models struggle most with lower-resource languages and with pairs that are not n-gram solvable. We further examine the effects of NPI typology, language family, licensing variability, and NPI-licenser distance. Data: https://github.com/arzuburcuguven/blimppi-data
• Abstract（参考訳）: 否定的極性項目(NPI)は、"anymore" や "ever" のように、特定の環境でのみ文法的であり、主に否定の文脈にある。 文法性は文法と意味論の両方に依存するため、理論言語学では多言語文学が豊富であるが、言語モデルにおけるNPIの研究はほとんど英語に限られている。 我々は,Universal Dependencies(UD)ツリーバンク内のNPIを検出し,ライセンス環境をラベル付けし,これらを最小ペアに分割するパイプラインによって構築された,33言語で12,000 NPI以上の最小ペアからなる多言語評価スイートであるBLiMPPIを紹介する。 n-gramベースラインと平行して12の多言語モデルと2つの単言語モデルを評価すると、多言語モデルは低リソース言語とn-gramが解けないペアに最も苦労していることが分かる。 さらに, NPI タイプ, 言語族, ライセンス変数, NPI ライセンス距離の影響について検討した。 データ:https://github.com/arzuburcuguven/blimppi-data

関連論文リスト

• Corpus-Based Approaches to Igbo Diacritic Restoration [0.23552726065717702]
  自然言語を処理するコンピュータの能力は、NLP研究者がその境界を押し進めているため、増大している。 世界の7000言語のうち95%以上がNLPのために低リソースであり、NLP作業のためのデータ、ツール、技術はほとんど、あるいは全く持っていない。 ダイアクリティカルな曖昧さの概観と、他の言語に対する以前のダイアクリティカルな曖昧さのアプローチの見直しについて述べる。
  論文  参考訳（メタデータ） (2026-01-26T11:30:36Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• RuBLiMP: Russian Benchmark of Linguistic Minimal Pairs [2.9521383230206966]
  本稿では,RuBLiMP (Linguistic Minimal Pairs) のロシア語ベンチマークを紹介する。 RuBLiMPは文法性が異なる45k対の文を含み、形態的、構文的、意味的な現象を分離する。 ロシア語の言語モデルは, 構造的・合意的コントラストに敏感であるが, 構造的関係, 否定, 推移性, 時制の理解を必要とする現象に人間に遅れがあることが判明した。
  論文  参考訳（メタデータ） (2024-06-27T14:55:19Z)
• Implicit Discourse Relation Classification For Nigerian Pidgin [14.883782513177092]
  ナイジェリアのピジン(NP)は1億人近い人々によって話されているが、比較的少ないNLP資源とコーパスを持っている。 我々は、オープンソースのIDRCツールを使用してラベルをバックプロジェクションし、NPのための合成談話コーパスを作成し、PDTBとPDTBラベルをプロジェクションする。 ネイティブ」NP分類を学習する後者のアプローチは、ベースラインを13.27%、f$_1$スコアで33.98%上回っている。
  論文  参考訳（メタデータ） (2024-06-26T22:10:15Z)
• CLSE: Corpus of Linguistically Significant Entities [58.29901964387952]
  専門家が注釈を付けた言語学的に重要なエンティティ(CLSE)のコーパスをリリースする。 CLSEは74種類のセマンティックタイプをカバーし、航空券売機からビデオゲームまで様々なアプリケーションをサポートする。 言語的に代表されるNLG評価ベンチマークを,フランス語,マラティー語,ロシア語の3言語で作成する。
  論文  参考訳（メタデータ） (2022-11-04T12:56:12Z)
• Inducing Language-Agnostic Multilingual Representations [61.97381112847459]
  言語間の表現は、世界中のほとんどの言語でNLP技術が利用可能になる可能性がある。 i) 対象言語のベクトル空間をピボットソース言語に再配置すること、(ii) 言語固有の手段と分散を取り除くこと、(ii) 副産物としての埋め込みの識別性を向上すること、(iii) 形態的制約や文の並べ替えを除去することによって言語間の入力類似性を高めること、の3つのアプローチを検討する。
  論文  参考訳（メタデータ） (2020-08-20T17:58:56Z)
• Knowledge Distillation for Multilingual Unsupervised Neural Machine Translation [61.88012735215636]
  unsupervised neural machine translation (UNMT) は、最近、いくつかの言語対に対して顕著な結果を得た。 UNMTは単一の言語ペア間でのみ翻訳することができ、同時に複数の言語ペアに対して翻訳結果を生成することはできない。 本稿では,1つのエンコーダと1つのデコーダを用いて13言語間を翻訳する簡単な手法を実証的に紹介する。
  論文  参考訳（メタデータ） (2020-04-21T17:26:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。