論文の概要: BLiMP-RO: A Benchmark of Linguistic Minimal Pairs for Romanian
- arxiv url: http://arxiv.org/abs/2611.17836v1
- Date: Fri, 13 Nov 2026 07:17:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.324853
- Title: BLiMP-RO: A Benchmark of Linguistic Minimal Pairs for Romanian
- Title(参考訳): BLiMP-RO: ルーマニア語のための言語学的最小ペアのベンチマーク
- Abstract要約: ルーマニアの最小ペアベンチマークであるBLiMP-ROを導入する。
493の言語学者による文対で構成され、5つの実験で母語話者によって評価され、5,942の追加の半自動生成、人格化ペアで構成されている。
さらに,ルーマニアのBabyBabelLMデータからGPT-2およびGPT-BERTモデルをスクラッチから学習し,子ども向けビデオキャプションから新たに収集した1000万語コーパスを用いて,限られた言語入力下での文法的一般化について検討した。
- 参考スコア(独自算出の注目度): 0.5249805590164902
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluating grammatical knowledge in language models requires benchmarks that cover diverse linguistic phenomena and are validated against human judgments. We introduce BLiMP-RO, a Romanian minimal-pair benchmark covering 50 grammatical phenomena across ten domains. It comprises 493 linguist-constructed sentence pairs, evaluated by native speakers in five experiments, and 5,942 additional semi-automatically generated, human-validated pairs. We further investigate grammatical generalization under limited linguistic input by training GPT-2 and GPT-BERT models from scratch on Romanian BabyBabelLM data and a newly collected corpus of 10 million words from child-targeted video captions. Increasing caption training data yields approximately 9 percentage points of accuracy improvement per tenfold increase in corpus size. At matched data sizes, BabyBabelLM generally outperforms video captions, while GPT-BERT consistently outperforms GPT-2. Our findings highlight how training data quantity, composition, and model architecture shape grammatical generalization in Romanian.
- Abstract(参考訳): 言語モデルにおける文法的知識の評価には、多様な言語現象をカバーし、人間の判断に対して検証されるベンチマークが必要である。
ルーマニアの最小ペアベンチマークであるBLiMP-ROを導入する。
493の言語学者による文対で構成され、5つの実験で母語話者によって評価され、5,942の追加の半自動生成、人格化ペアで構成されている。
さらに,ルーマニアのBabyBabelLMデータからGPT-2およびGPT-BERTモデルをスクラッチから学習し,子ども向けビデオキャプションから新たに収集した1000万語コーパスを用いて,限られた言語入力下での文法的一般化について検討した。
キャプショントレーニングデータの増大により、コーパスサイズが10倍増するごとに、約9ポイントの精度向上が得られる。
一致したデータサイズでは、BabyBabelLMは一般的にビデオキャプションより優れ、GPT-BERTは一貫してGPT-2より優れている。
本研究は, ルーマニア語におけるデータ量, 構成, モデルアーキテクチャの文法的一般化の学習方法を強調した。
関連論文リスト
- Neurograf v1: An End-to-End Romanian-First Language Model Family [0.0]
実験的なエンドツーエンドのルーマニア語第一言語モデルパイプラインであるNeurograf v1を提案する。
パイプラインは、ルーマニアの635GBのコーパスであるRoSferaと、175.7百万のドキュメント、80kバイトレベルのBPEトークンライザ、160Mから6Bパラメータのデコーダのみの5つのモデル、131億のトークンでトレーニングされた5つのデコーダのみのモデル、3つの命令調整されたアシスタント、2つの対照的に訓練された埋め込みモデルで構成されている。
論文 参考訳(メタデータ) (2026-10-09T07:28:03Z) - DATASHI: A Parallel English-Tashlhiyt Corpus for Orthography Normalization and Low-Resource Language Processing [0.0]
DATASHIは、Amazigh言語における計算リソースの重大なギャップを埋める、新しい並列英語タシュレイトコーパスである。
5000の文対を含み、1500文のサブセットがあり、専門家の標準化と非標準のユーザ生成バージョンがある。
論文 参考訳(メタデータ) (2026-03-23T04:46:59Z) - GerAV: Towards New Heights in German Authorship Verification using Fine-Tuned LLMs on a New Benchmark [20.533795195003286]
オーサシップ検証 (AV) とは、2つのテキストが同じ著者によって書かれたかどうかを決定するタスクである。
GerAVは600k以上のラベル付きテキストペアからなるドイツのAVの総合ベンチマークである。
論文 参考訳(メタデータ) (2026-01-20T08:08:18Z) - Centurio: On Drivers of Multilingual Ability of Large Vision-Language Model [66.17354128553244]
多くのLVLM(Large Vision-Language Models)は、主に英語のデータに基づいて訓練されている。
異なる言語群に対する学習がいかに異なるかを検討する。
私たちはCenturio(100言語LVLM)をトレーニングし、14のタスクと56の言語を対象とした評価で最先端のパフォーマンスを提供する。
論文 参考訳(メタデータ) (2025-01-09T10:26:14Z) - Findings of the Second BabyLM Challenge: Sample-Efficient Pretraining on Developmentally Plausible Corpora [79.03392191805028]
BabyLM Challengeは、人間と計算言語学習者のデータ効率ギャップを埋めるためのコミュニティの取り組みである。
参加者は1億ワード以下の固定言語データ予算で、言語モデルトレーニングを最適化するために競争する。
論文 参考訳(メタデータ) (2024-12-06T16:06:08Z) - Romanian Multiword Expression Detection Using Multilingual Adversarial
Training and Lateral Inhibition [0.17188280334580194]
本稿では、PARSEME v1.2共有タスク用にリリースされたコーパス上でのルーマニア語マルチワード式の自動識別の改善について述べる。
提案手法では,最近導入された側方抑制層に基づく多言語的視点と,多言語言語モデルの性能向上のための対角訓練を仮定する。
論文 参考訳(メタデータ) (2023-04-22T09:10:49Z) - Evaluation of Transfer Learning for Polish with a Text-to-Text Model [54.81823151748415]
ポーランド語におけるテキスト・テキスト・モデルの質を評価するための新しいベンチマークを導入する。
KLEJベンチマークはテキスト・トゥ・テキスト、en-pl翻訳、要約、質問応答に適応している。
本稿では,ポーランド語のための汎用テキスト・テキスト・ツー・テキスト・モデルであるplT5について述べる。
論文 参考訳(メタデータ) (2022-05-18T09:17:14Z) - OneAligner: Zero-shot Cross-lingual Transfer with One Rich-Resource
Language Pair for Low-Resource Sentence Retrieval [91.76575626229824]
文検索タスク用に特別に設計されたアライメントモデルであるOneAlignerを提案する。
大規模並列多言語コーパス(OPUS-100)の全ての言語ペアで訓練すると、このモデルは最先端の結果が得られる。
実験結果から,文アライメントタスクの性能はモノリンガルおよび並列データサイズに大きく依存することがわかった。
論文 参考訳(メタデータ) (2022-05-17T19:52:42Z) - A Massively Multilingual Analysis of Cross-linguality in Shared
Embedding Space [61.18554842370824]
言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。
我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。
我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
論文 参考訳(メタデータ) (2021-09-13T21:05:37Z) - NEMO: Frequentist Inference Approach to Constrained Linguistic Typology
Feature Prediction in SIGTYP 2020 Shared Task [83.43738174234053]
タイプ的特徴間の相関関係を表現するために頻繁な推論を用い、この表現を用いて、個々の特徴を予測する単純なマルチクラス推定器を訓練する。
テスト言語149言語に対して,マイクロ平均精度0.66を達成できた。
論文 参考訳(メタデータ) (2020-10-12T19:25:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。