論文の概要: Right Tool, Right Job: Native-Language Evaluation, Tokenizer Sensitivity, and Methodological Findings from a French-Only BabyLM
- arxiv url: http://arxiv.org/abs/2609.17435v1
- Date: Tue, 15 Sep 2026 16:43:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 14:56:08.627432
- Title: Right Tool, Right Job: Native-Language Evaluation, Tokenizer Sensitivity, and Methodological Findings from a French-Only BabyLM
- Title（参考訳）: 右のツール, 右のジョブ: ネイティブランゲージ評価, トケナイザー感度, およびフランス語のみのBabyLMからの方法論的発見
- Abstract要約: 我々は、92.47万語で事前訓練された125万GPT-2であるMéTRON-FRをBabyLM 2026 Strictトラックに送信する。
QFrBLiMPでは85.97 +/-0.17%、BabyLMでは62.80%である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We submit MéTRON-FR, a 125M GPT-2 pretrained on 92.47M words of French, to the BabyLM 2026 Strict track. It scores 85.97 +/- 0.17% on QFrBLiMP (a native Quebec-French benchmark of grammatical minimal pairs) and 62.80% on the BabyLM-weighted leaderboard. A cross-lingual GLUE (General Language Understanding Evaluation) protocol that combines French task-data translation with rank-16 LoRA (Low-Rank Adaptation) produces a sharp task-type gradient: relational tasks gain measurably, while world-knowledge tasks regress. Bilingual Lexicon Induction aligns the French embeddings to GPT-2 at p@1 = 68.84 +/- 8.61%, 18X above chance, suggesting cross-lingual alignment tracks acquired grammatical competence rather than training duration. An ablation study shows that single-token zero-shot scoring is dominated by tokenizer and template artifacts at the child scale, motivating tokenizer-swap sensitivity, placebo-controlled prompting, and native-language minimal-pair benchmarks as standard diagnostics.
- Abstract（参考訳）: 我々は、92.47万語で事前訓練された125万GPT-2であるMéTRON-FRをBabyLM 2026 Strictトラックに送信する。
QFrBLiMPでは85.97 +/- 0.17%、BabyLMでは62.80%である。
言語横断的なGLUE(General Language Understanding Evaluation)プロトコルは、フランス語のタスクデータ翻訳とランク16のLoRA(Low-Rank Adaptation)を組み合わせたプロトコルである。
バイリンガルレキシコン誘導は、フランス語の埋め込みをp@1 = 68.84 +/- 8.61%、18倍の確率でGPT-2に整列させ、訓練期間よりも文法的な能力を得たことを示唆している。
アブレーション研究では、シングルトークンゼロショットスコアは、トークンライザとテンプレートアーティファクトがチャイルドスケールで支配しており、トークンライザとスワップの感度、プラセボ制御プロンプト、および標準診断としてネイティブな最小ペアベンチマークを動機付けている。
関連論文リスト
- EuroAlpaca: Task-Preserving Localisation of Instruction Data for European Languages [2.897376329231807]
機械翻訳はタスククリティカルな制約と必要な出力を歪めることができる。
タスク保存型ローカライゼーションパイプラインであるEuroAlpacaを紹介する。
タスクセマンティクスの保存は多言語命令のチューニングに不可欠であることを示す。
論文 参考訳（メタデータ） (2026-09-04T12:05:53Z) - Expanding the Lexicon of Ge'ez Based African Languages: A Comparative Study of Amharic and Tigrinya [6.396476220617138]
本稿では,Amharic と Tigrinya の2言語を対象とした語彙拡張型 XLM-R を提案する。
VexMLMは87.0 EM/90.0 F1、XLM-Rは66.0 EM/78.0 F1、Glot500は74.0 EM/78.0 F1を達成する。
SAでは、VEXMLMは80.0%、XLM-Rは77.0%、Glot500は46.0%に達する。
論文 参考訳（メタデータ） (2026-07-16T17:08:28Z) - Spoken Language Identification with Pre-trained Models and Margin Loss [9.800066159312749]
本稿では,TydyLang Challenge 2026で提案されている話者制御音声言語識別タスクについて,事前学習モデルに基づく言語識別手法を提案する。
提案手法は,事前学習したECAPA-TDNNを特徴エンコーダとして採用し,言語表現の識別能力を高めるためにマージンに基づく損失を取り入れる。
論文 参考訳（メタデータ） (2026-05-03T14:37:52Z) - Translation as a Scalable Proxy for Multilingual Evaluation [41.29816736489213]
翻訳品質だけで、モデルのより広い多言語機能を示すことができるだろうか?
翻訳性能がダウンストリームタスクの成功を示す良い指標であることに気付きました。
論文 参考訳（メタデータ） (2026-01-16T21:01:40Z) - XplaiNLP at CheckThat! 2025: Multilingual Subjectivity Detection with Finetuned Transformers and Prompt-Based Inference with Large Language Models [2.749729059235755]
このノートには、XplaiがCheckThat!に提出されたことを報告しています。
単言語および機械翻訳によるトレーニングデータに基づいて,変換器エンコーダの教師付き微調整,EuroBERT,XLM-RoBERTa,ジャーマン-BERTの2つの手法を評価する。
ドイツ語の場合、タイポロジーに関連のある言語から翻訳されたトレーニングデータに基づいて微調整されたドイツ語-BERTモデルでは、ベースライン上での競争性能が向上する。
論文 参考訳（メタデータ） (2025-09-15T16:53:41Z) - SLRTP2025 Sign Language Production Challenge: Methodology, Results, and Future Work [87.9341538630949]
第1回手話生産チャレンジはCVPR 2025で第3回SLRTPワークショップの一環として開催された。
コンペティションの目的は、音声言語文からスケルトンポーズのシーケンスに変換するアーキテクチャを評価することである。
本稿では,挑戦設計と入賞方法について述べる。
論文 参考訳（メタデータ） (2025-08-09T11:57:33Z) - SLAM: Towards Efficient Multilingual Reasoning via Selective Language Alignment [78.4550589538805]
本稿では,多言語性を扱うレイヤを正確に識別し,微調整する,効率的な多言語推論アライメント手法を提案する。
実験の結果, SLAM法は7Bおよび13BLLMのパラメータの6.5-8%を含む6層のフィードフォワードサブ層のみをチューニングできることがわかった。
論文 参考訳（メタデータ） (2025-01-07T10:29:43Z) - Extrapolating Large Language Models to Non-English by Aligning Languages [109.09051737966178]
既存の大きな言語モデルは、異なる言語間で異なる能力を示す。
本稿では,言語間のセマンティックアライメントを構築することで,英語以外の言語に事前学習したLLMを強化する。
論文 参考訳（メタデータ） (2023-08-09T13:32:06Z) - Error Analysis Prompting Enables Human-Like Translation Evaluation in Large Language Models [57.80514758695275]
機械翻訳(MT)の品質を評価するために,大規模言語モデル(LLM)を用いることで,システムレベルでの最先端のパフォーマンスを実現する。
我々はtextbftexttError Analysis Prompting (EAPrompt) と呼ばれる新しいプロンプト手法を提案する。
本手法は,多次元品質指標 (MQM) とtextitproduces を用いて,システムレベルとセグメントレベルの両方で説明可能かつ信頼性の高いMT評価を行う。
論文 参考訳（メタデータ） (2023-03-24T05:05:03Z) - Toward Efficient Language Model Pretraining and Downstream Adaptation
via Self-Evolution: A Case Study on SuperGLUE [203.65227947509933]
このレポートでは、スーパーGLUEのリーダーボードにJDExplore d-teamのVega v2を提出しました。
SuperGLUEは、広く使われている汎用言語理解評価(GLUE)ベンチマークよりも難易度が高く、8つの難しい言語理解タスクを含んでいる。
論文 参考訳（メタデータ） (2022-12-04T15:36:18Z) - CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual
Labeled Sequence Translation [113.99145386490639]
言語間NERは、整列した言語間表現や機械翻訳結果を通じて、言語間で知識を伝達することができる。
ゼロショット言語間NERを実現するために,クロスランガル・エンティティ・プロジェクション・フレームワーク(CROP)を提案する。
多言語ラベル付きシーケンス翻訳モデルを用いて、タグ付けされたシーケンスをターゲット言語に投影し、ターゲットの原文にラベル付けする。
論文 参考訳（メタデータ） (2022-10-13T13:32:36Z) - AmericasNLI: Evaluating Zero-shot Natural Language Understanding of
Pretrained Multilingual Models in Truly Low-resource Languages [75.08199398141744]
我々は、XNLI(Conneau et al)の拡張である AmericasNLI を提示する。
は、アメリカ大陸の10の原住民の言語である。
XLM-Rで実験を行い、複数のゼロショットおよび翻訳ベースのアプローチをテストします。
XLM-Rのゼロショット性能は全10言語で低調であり、平均性能は38.62%である。
論文 参考訳（メタデータ） (2021-04-18T05:32:28Z) - Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。
AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。
実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
論文 参考訳（メタデータ） (2020-10-15T18:34:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。