論文の概要: TatBLiMP: A Benchmark of Linguistic Minimal Pairs for Tatar
- arxiv url: http://arxiv.org/abs/2609.20832v1
- Date: Thu, 23 Jul 2026 17:16:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.679942
- Title: TatBLiMP: A Benchmark of Linguistic Minimal Pairs for Tatar
- Title（参考訳）: TatBLiMP: タタール語用最小ペアのベンチマーク
- Abstract要約: TatBLiMPは、タタール語モデルに対する最初の文法的評価である。
1248の文対における16のモルフォシンタクティック現象をカバーしている。
可算性原理は構成を支配しているので、非文法的要素は実世界の誤りである。
- 参考スコア（独自算出の注目度）: 0.5371337604556311
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce TatBLiMP, the first benchmark of linguistic minimal pairs for Tatar (tt, ISO 639-3 tat), a Qypchaq Turkic language written in Cyrillic. To our knowledge it is the first grammaticality evaluation for Tatar language models of any kind, since even the 101-language MultiBLiMP does not include Tatar. TatBLiMP covers 16 morphosyntactic phenomena in 1248 sentence pairs. Each pair differs by a single morpheme, one grammatical and one ungrammatical. A model passes a pair when it assigns higher probability to the grammatical member. Scoring compares probabilities the model already assigns, so the benchmark needs no text generation and no parser, and it runs on base models and on mid-training checkpoints. TatBLiMP adapts the phenomenon inventory and single-morpheme breaking operations of TurBLiMP to Tatar and adds one phenomenon specific to Tatar, bare-noun number after numerals and quantifiers. The grammatical member of every pair is an attested sentence from Tatar literary prose. The ungrammatical member is produced by a deterministic single-morpheme perturbation with the apertium-tat transducer. Every pair is ratified by a native speaker. A plausibility principle governs construction, so the ungrammatical member is a plausible real-world error rather than an arbitrary corruption. Across from-scratch Tatar models, cross-lingual adaptations, and frontier multilingual LLMs, the benchmark tracks focused Tatar training rather than parameter scale. A 478M from-scratch model and a 125M monolingual model lead near 0.97, a 7B adaptation trails, frontier LLMs of 30-120B parameters fall to 0.80-0.92, and a lightly tuned multilingual model is weakest. We close with the benchmark's main limitation. Its inherited taxonomy omits the morphophonology, vowel harmony and consonant assimilation, that is most salient to native speakers, and we sketch a native second layer that would add it.
- Abstract（参考訳）: 本稿では,キリル文字で書かれたQypchaqのテュルク語であるTatar(tt, ISO 639-3 tat)の言語最小ペアの最初のベンチマークであるTatBLiMPを紹介する。
我々の知る限り、101言語MultiBLiMPでさえタタールを含まないため、タタール語モデルに対する最初の文法的評価である。
TatBLiMPは1248の文対における16のモルフォシンタクティック現象をカバーしている。
各対は1つの形態素、1つの文法と1つの非文法によって異なる。
モデルは、高い確率を文法的部材に割り当てるときにペアを渡す。
Scoringはモデルをすでに割り当てている確率と比較するので、ベンチマークはテキスト生成もパーサも必要とせず、ベースモデルとトレーニング中のチェックポイントで実行される。
TatBLiMPは、TurBLiMPの現象在庫と単一形態の破壊操作をターターに適応させ、数値と量化器の後に、ターターに固有の1つの現象を付加する。
すべてのペアの文法的メンバーは、タタール文学の散文から証明された文である。
非文法部材は、アペルチウム−タットトランスデューサによる決定論的単一形態体摂動によって製造される。
すべてのペアはネイティブスピーカーによって批准されます。
可算性原理は構成を支配しているので、非文法的メンバーは任意の汚職というよりは、実世界の誤りである。
オフスクラッチのタタールモデル、クロスランガル適応、フロンティアの多言語LLMの他、ベンチマークトラックではパラメータスケールではなくタタールトレーニングに重点を置いていた。
478Mのオフスクラッチモデルと125Mのモノリンガルモデルリードが0.97に近づき、7B適応トレイル、30-120BパラメータのフロンティアLSMが0.80-0.92に落ち、微調整された多言語モデルが最も弱い。
我々はベンチマークの主な限界に近づいた。
その遺伝した分類法は、形態音韻学、母音調和、子音同化を省略し、これは母語話者にとって最も有能なものであり、我々はそれを付加する母語第2層をスケッチする。
関連論文リスト
- Evaluating Dedicated Monolingual and Joint Multilingual Causal Models for Dravidian Languages [0.0]
タミル語、テルグ語、カナダ語、マラヤラム語などのドラヴィダ語は、多言語モデルの訓練に使用されるデータのごく一部を占める。
私は4つの単言語モデルを比較するために、5つのGPT-2アーキテクチャモデルをスクラッチからトレーニングしました。
私は、mGPTと比較したパープレキシティ、ビット/バイト、トークン化効率、微調整結果でモデルをテストしました。
論文 参考訳（メタデータ） (2026-08-07T19:33:11Z) - M-GATE: Multilingual Grammar, Accuracy in Translation, and Efficiency Benchmark for Large Language Models [0.0]
M-GATE(英語: M-GATE)は、30言語にまたがる言語能力のベンチマークである。
80以上の構成で50以上のモデルを評価しました。
論文 参考訳（メタデータ） (2026-08-04T15:16:05Z) - Benchmarking POS Tagging for the Tajik Language: A Comparative Study of Neural Architectures on the TajPersParallel Corpus [0.0]
本稿では,タジク語のPOSタグ付け作業における最初のベンチマークについて述べる。
TajPersParallel corpusは、約44,000の辞書エントリからなる並列語彙資源である。
論文 参考訳（メタデータ） (2026-05-06T07:26:56Z) - Should LLMs, $\textit{like}$, Generate How Users Talk? Building Dialect-Accurate Dialog[ue]s Beyond the American Default with MDial [13.016574005932311]
16億人の英語話者の80%以上が標準アメリカ英語を使用していない。
我々は,多言語対話データを生成するための最初の大規模フレームワークである$textbfMDial$を紹介した。
論文 参考訳（メタデータ） (2026-01-30T12:08:08Z) - Language Models are Multilingual Chain-of-Thought Reasoners [83.37148309771378]
本稿では,250の小学校数学問題を10の類型的多言語に手動で翻訳することで,多言語学級数学のベンチマークを導入する。
MGSM問題をチェーン・オブ・ソートにより解く能力は,モデルスケールの増大とともに出現する。
言語モデルの多言語推論能力は他のタスクにも及んでいることを示す。
論文 参考訳（メタデータ） (2022-10-06T17:03:34Z) - Language Anisotropic Cross-Lingual Model Editing [61.51863835749279]
既存の作業はモノリンガルのシナリオのみを研究しており、言語間で同時に編集を行うための言語間転送能力が欠如している。
本稿では,並列コーパスを用いた一言語モデル編集手法を言語間シナリオに適用する枠組みを提案する。
本研究では,複数言語への編集の伝播における単言語ベースラインの失敗と,提案言語異方性モデル編集の有効性を実証的に示す。
論文 参考訳（メタデータ） (2022-05-25T11:38:12Z) - Do Multilingual Language Models Capture Differing Moral Norms? [71.52261949766101]
大量多言語文表現は、未処理データの大規模なコーパスに基づいて訓練される。
これは、高資源言語からの道徳的判断を含む文化的価値をモデルが把握する原因となる可能性がある。
特定の言語におけるデータ不足は、ランダムで潜在的に有害な信念を発達させる可能性がある。
論文 参考訳（メタデータ） (2022-03-18T12:26:37Z) - How Good is Your Tokenizer? On the Monolingual Performance of
Multilingual Language Models [96.32118305166412]
本研究では,5つの単一言語下流タスクのセットに基づいて,事前学習可能な単言語モデルを持つ9種類の言語について検討した。
多言語モデルの語彙で適切に表現された言語は、単言語モデルよりも性能が著しく低下する。
論文 参考訳（メタデータ） (2020-12-31T14:11:00Z) - Cross-lingual Machine Reading Comprehension with Language Branch
Knowledge Distillation [105.41167108465085]
言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。
本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。
LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。
複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
論文 参考訳（メタデータ） (2020-10-27T13:12:17Z) - Cross-Linguistic Syntactic Evaluation of Word Prediction Models [25.39896327641704]
本稿では,ニューラルワード予測モデルの文法学習能力が言語によってどう異なるかを検討する。
CLAMSには、英語、フランス語、ドイツ語、ヘブライ語、ロシア語のサブバーブ協定の課題セットが含まれている。
CLAMSを用いてLSTM言語モデルと単言語および多言語BERTの評価を行う。
論文 参考訳（メタデータ） (2020-05-01T02:51:20Z) - Structure-Level Knowledge Distillation For Multilingual Sequence
Labeling [73.40368222437912]
本稿では,複数の単言語モデルの構造的知識を統一多言語モデル(学生)に蒸留することにより,単言語モデルと統一多言語モデルとのギャップを低減することを提案する。
25のデータセットを用いた4つの多言語タスクの実験により、我々のアプローチはいくつかの強いベースラインを上回り、ベースラインモデルと教師モデルの両方よりも強力なゼロショット一般化性を有することが示された。
論文 参考訳（メタデータ） (2020-04-08T07:14:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。