論文の概要: Luth: Efficient French Specialization for Small Language Models and Cross-Lingual Transfer
- arxiv url: http://arxiv.org/abs/2510.05846v1
- Date: Tue, 07 Oct 2025 12:08:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-08 17:57:08.238766
- Title: Luth: Efficient French Specialization for Small Language Models and Cross-Lingual Transfer
- Title（参考訳）: Luth: 小言語モデルと言語間移動のための効率的なフランス語特殊化
- Authors: Maxence Lasbordes, Sinoué Gad,
- Abstract要約: 既存の多言語モデルは、英語と比較してフランス語のパフォーマンスがかなり低いことを示している。
我々は、フランス語専門のSLMのファミリーである textbfLuth を紹介する。
私たちのモデルは、オリジナルの英語能力を維持しながら、複数のフランスのベンチマークで同等のサイズのオープンソースを全て上回ります。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The landscape of Large Language Models (LLMs) remains predominantly English-centric, resulting in a significant performance gap for other major languages, such as French, especially in the context of Small Language Models (SLMs). Existing multilingual models demonstrate considerably lower performance in French compared to English, and research on efficient adaptation methods for French remains limited. To address this, we introduce \textbf{Luth}, a family of French-specialized SLMs: through targeted post-training on curated, high-quality French data, our models outperform all open-source counterparts of comparable size on multiple French benchmarks while retaining their original English capabilities. We further show that strategic model merging enhances performance in both languages, establishing Luth as a new state of the art for French SLMs and a robust baseline for future French-language research.
- Abstract（参考訳）: 大規模言語モデル(LLM)のランドスケープは、主に英語中心であり、特に小言語モデル(SLM)の文脈において、フランス語などの他の主要言語に顕著なパフォーマンスギャップをもたらしている。
既存の多言語モデルでは、英語に比べてフランス語の性能は著しく低下しており、フランス語の効率的な適応法の研究は依然として限られている。
この問題を解決するために、フランスの特殊化されたSLMのファミリーである \textbf{Luth} を紹介します。
さらに,戦略的統合が両言語のパフォーマンスを向上させることを示し,Lusをフランス語SLMの新たな最先端と将来のフランス語研究のための堅牢なベースラインとして確立する。
関連論文リスト
- Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。
この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。
さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
論文 参考訳（メタデータ） (2025-05-24T12:31:27Z) - LLMic: Romanian Foundation Language Model [76.09455151754062]
ルーマニア語に特化して設計された基礎言語モデルである LLMic について述べる。
英語からルーマニア語への翻訳作業において,事前学習後の言語翻訳のための微調整 LLMic が既存の解よりも優れていることを示す。
論文 参考訳（メタデータ） (2025-01-13T22:14:45Z) - Seamless Language Expansion: Enhancing Multilingual Mastery in Self-Supervised Models [69.59613095232598]
既存のSSLモデルにLoRAを統合して新しい言語を拡張する適応手法を提案する。
また、既存の言語における能力を維持するために、データの組み合わせと再クラスタ化を含む保存戦略も開発している。
論文 参考訳（メタデータ） (2024-06-20T08:13:30Z) - CroissantLLM: A Truly Bilingual French-English Language Model [42.03897426049679]
英語とフランス語のトークンセットを事前訓練した1.3B言語モデルであるCroissantLLMを紹介する。
我々は、英語とフランス語の事前学習データ比率1:1で、本質的なバイリンガルモデルを訓練するアプローチを開拓した。
英語以外のパフォーマンスを評価するため、新しいベンチマークである FrenchBench を作成します。
論文 参考訳（メタデータ） (2024-02-01T17:17:55Z) - Zero-Shot Cross-Lingual Reranking with Large Language Models for
Low-Resource Languages [51.301942056881146]
アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。
私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。
我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
論文 参考訳（メタデータ） (2023-12-26T18:38:54Z) - PAGnol: An Extra-Large French Generative Model [53.40189314359048]
本稿では,フランスのGPTモデルのコレクションであるPAGnolを紹介する。
スケーリング法則を用いて,CamemBERTと同じ計算予算でPAGnol-XLを効率的に訓練する。
論文 参考訳（メタデータ） (2021-10-16T11:44:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。