論文の概要: Qwenfant: Train Big Character-level BabyLMs on Concise Parallel Text

• arxiv url: http://arxiv.org/abs/2610.19294v1
• Date: Tue, 13 Oct 2026 23:15:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.846349
• Title: Qwenfant: Train Big Character-level BabyLMs on Concise Parallel Text
• Title（参考訳）: Qwenfant: 簡潔なパラレルテキストによるビッグキャラクタレベルのベビーフィルムのトレーニング
• Abstract要約: 本研究は,2026年のBabyLM Challengeの多言語トラックの提出に関するものである。 LLMによって要約・翻訳されたデータを用いてベースラインを改善する。 最後のQwen3ベースのモデルであるQwenfantは、提出時点では、多言語トラックで第1位でした。
• 参考スコア（独自算出の注目度）: 54.626578706811436
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work concerns our submission for the Multilingual track of the 2026 BabyLM Challenge. We improve on our baseline using data that has been summarized and translated by an LLM, showing that higher-quality data can come from synthetic sources. We further improve with 2 simple changes: using a larger model, and using a character-level vocabulary. Both of these changes require LoRA-style fine-tuning for realizing their full potential. We dub our final Qwen3-based model Qwenfant, which, at the time of submission, ranks 1st in the Multilingual track.
• Abstract（参考訳）: 本研究は,2026年のBabyLM Challengeの多言語トラックの提出に関するものである。 LLMで要約, 翻訳したデータを用いて, ベースラインの改善を行い, 高品質なデータが合成源から得られることを示す。 より大規模なモデルと文字レベルの語彙の2つの単純な変更でさらに改善する。 これらの変更はどちらも、LoRAスタイルの微調整を必要とする。 最後のQwen3ベースのモデルであるQwenfantは、提出時点では、多言語トラックで第1位でした。

関連論文リスト

• Mask and You Shall Receive: Optimizing Masked Language Modeling For Pretraining BabyLMs [54.626578706811436]
  2025年版BabyLM Challengeの戦略について述べる。 私たちの主な貢献は、MLM(Masked Language Modeling)の改良形式で、モデルの予測能力に応じて隠蔽されたトークンの確率に適応することです。
  論文  参考訳（メタデータ） (2025-10-23T12:15:24Z)
• Conan-Embedding-v2: Training an LLM from Scratch for Text Embeddings [25.724646707322986]
  大規模言語モデル(LLM)は、最近、テキスト埋め込みタスクにおいて優れたパフォーマンスを示している。 本研究では,スクラッチからトレーニングし,テキスト埋め込みとして微調整した新しい1.4BパラメータであるConan-embedding-v2を紹介する。 直感的で有効であり、約1.4Bのパラメータしか持たないConan-embedding-v2は、MTEB(Massive Text Embedding Benchmark)と中国のMTEB(2025年5月19日)でSOTA性能を達成する。
  論文  参考訳（メタデータ） (2025-09-16T09:48:11Z)
• BabyLMs for isiXhosa: Data-Efficient Language Modelling in a Low-Resource Context [2.57490464660469]
  BabyLMの課題は、参加者にサンプル効率の良い言語モデルを開発することであった。 申請は、子供が開発中に露出する単語の量に制限される、固定された英語コーパスで事前訓練された。 データ効率のよい言語モデリングのための新しいアーキテクチャは、数兆ワードで訓練されたモデルよりも優れていた。
  論文  参考訳（メタデータ） (2025-01-07T15:13:45Z)
• Improving Language Models Trained on Translated Data with Continual Pre-Training and Dictionary Learning Analysis [3.16714407449467]
  学習言語モデルにおける翻訳と合成データの役割について検討する。 NLLB-3B MTモデルを用いて英語からアラビア語に翻訳した。 これらの問題を是正するために、我々は、合成された高品質のアラビア物語の小さなデータセットでモデルを事前訓練する。
  論文  参考訳（メタデータ） (2024-05-23T07:53:04Z)
• Why Not Transform Chat Large Language Models to Non-English? [60.200490339844634]
  非英語データの不足は、非英語大言語モデル(LLM)の開発を制限する TransLLMは、転送問題を変換チェーン・オブ・シント(translation chain of-of- Thought)でいくつかの一般的なサブタスクに分割する。 本手法は,シングルターンデータのみを用いて,マルチターンベンチマークMT-benchにおいて,強いベースラインとChatGPTより優れる。
  論文  参考訳（メタデータ） (2024-05-22T18:53:25Z)
• Baby's CoThought: Leveraging Large Language Models for Enhanced Reasoning in Compact Models [3.1244568065126863]
  より小さな"ベイビー"言語モデル(BabyLM)を効率的に学習する"CoThought"パイプラインを提案する。 我々のパイプラインは、GPT-3.5-turboを使って1億以下のデータセットを再構成し、タスク指向のヒューマン可読テキストに変換する。 私たちのBabyLMは、言語、NLU、質問応答タスクにおいて、バニラRoBERTaよりも3ポイント以上優れています。
  論文  参考訳（メタデータ） (2023-08-03T10:52:52Z)
• Translate to Disambiguate: Zero-shot Multilingual Word Sense Disambiguation with Pretrained Language Models [67.19567060894563]
  事前訓練された言語モデル(PLM)は、豊富な言語間知識を学習し、多様なタスクでうまく機能するように微調整することができる。 C-WLT(Contextual Word-Level Translation)を用いた言語間単語感覚の捉え方の検討を行った。 モデルのサイズが大きくなるにつれて、PLMはより言語間単語認識の知識をエンコードし、WLT性能を改善するためのコンテキストを良くする。
  論文  参考訳（メタデータ） (2023-04-26T19:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。