論文の概要: Optimizing Multilingual LLMs via Federated Learning: A Study of Client Language Composition

• arxiv url: http://arxiv.org/abs/2603.24242v1
• Date: Wed, 25 Mar 2026 12:29:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-26 21:06:11.287027
• Title: Optimizing Multilingual LLMs via Federated Learning: A Study of Client Language Composition
• Title（参考訳）: フェデレーションラーニングによる多言語LLMの最適化:クライアント言語構成の検討
• Authors: Aleix Sant, Jordi Luque, Carlos Escolano,
• Abstract要約: 多言語環境におけるLLM(Federated Learning of Large Language Models)は重要な課題である。 我々はFederatedScope-LLMフレームワークを拡張し、LLMによる多言語命令チューニング実験をサポートする。 本稿では、クライアント固有の早期停止機構であるローカル動的早期停止(LDES-FL)を導入し、クライアントがローカルトレーニングを一時停止し、再開できるようにする。
• 参考スコア（独自算出の注目度）: 2.897376329231807
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated Learning (FL) of Large Language Models (LLMs) in multilingual environments presents significant challenges stemming from heterogeneous language distributions across clients and disparities in language resource availability. To address these challenges, we extended the FederatedScope-LLM framework to support multilingual instruction-tuning experiments with LLMs. We also introduced a novel client-specific early stopping mechanism, Local Dynamic Early Stopping (LDES-FL), which allows clients to pause and resume local training based on client-side validation performance, enhancing training efficiency and sustainability. Through a series of experiments, we studied how client language composition - from fully monolingual to increasingly multilingual clients - affects multilingual quality, fairness and training cost. Monolingual local fine-tuning remains the most effective for single-language specialization, whereas federated training is better suited to learning a single balanced multilingual model. In FL, increasing within-client multilinguality leads to stronger and fairer global models, narrows the gap to centralized multilingual fine-tuning, and yields the largest gains for lower-resource languages, albeit at the cost of more optimization steps. Overall, our results identify client language composition as a key design variable in multilingual FL, shaping performance, fairness and efficiency
• Abstract（参考訳）: 多言語環境における大規模言語モデル(LLM)のフェデレートラーニング(FL)は、クライアント間での不均一な言語分布と言語リソースの可用性の格差から生じる大きな課題を示す。 これらの課題に対処するため、我々はFederatedScope-LLMフレームワークを拡張し、LLMを用いた多言語命令チューニング実験をサポートした。 また、クライアント固有の早期停止機構であるLDES-FLを導入し、クライアント側バリデーション性能に基づいたローカルトレーニングの停止と再開を可能にし、トレーニング効率と持続可能性を向上させる。 一連の実験を通じて、クライアント言語構成 – 完全なモノリンガルからますます多言語化されるクライアント – が、多言語品質、公平性、トレーニングコストにどのように影響するかを調査した。 単言語局所的な微調整は単一言語の特殊化に最も効果的であるが、フェデレーショントレーニングは単一のバランスの取れた多言語モデルを学ぶのに適している。 FLでは、クライアント内での多言語性の増加は、より強くより公平なグローバルモデルをもたらし、集中型多言語微調整へのギャップを狭め、より最適化的なステップを犠牲にして、低リソース言語にとって最大の利益をもたらす。 以上の結果から,クライアント言語構成を多言語FLにおける鍵となる設計変数,整形性能,公平性,効率性として同定した。

関連論文リスト

• MiLorE-SSL: Scaling Multilingual Capabilities in Self-Supervised Models without Forgetting [69.6938830307759]
  MiLorE-SSLは、LoRAモジュールとソフトミキシング・オブ・エキスパート・メカニズムを組み合わせて、効率的な連続多言語トレーニングを行う軽量フレームワークである。 LoRAは効率的な低ランク適応を提供するが、ソフトなMoEは言語間のフレキシブルな専門家共有を促進し、言語間の干渉を減らす。 ML-SUPERBの実験では、MiLorE-SSLは新しい言語で高いパフォーマンスを実現し、2.14%のトレーニング可能なパラメータで既存の言語での性能を向上させることが示されている。
  論文  参考訳（メタデータ） (2026-01-28T06:48:52Z)
• Aligning LLMs for Multilingual Consistency in Enterprise Applications [39.24743635297897]
  大規模言語モデル(LLM)は、グローバルなエンタープライズアプリケーションには信頼できないままである。 細調整LDMのための実用的なバッチワイドアライメント戦略を提案する。 このアプローチは、英語のパフォーマンス、モデル推論、検索品質を損なうことなく、英語以外の精度を最大23.9%向上させる。
  論文  参考訳（メタデータ） (2025-09-28T05:51:22Z)
• Exploring Polyglot Harmony: On Multilingual Data Allocation for Large Language Models Pretraining [16.590296049892576]
  本稿では,多言語データアロケーションを体系的に最適化する新しいフレームワークであるClimbを紹介する。 Climbの中核となるのは、言語間の相互作用を意識した言語比率を導入し、言語間の依存関係をキャプチャすることで、各言語の効果的なアロケーションを明示的に定量化している。 大規模な実験により、Climbは様々な多言語間相互作用を正確に測定できることを確認した。
  論文  参考訳（メタデータ） (2025-09-19T03:34:34Z)
• Bridging Language Gaps: Enhancing Few-Shot Language Adaptation [32.157041759856]
  言語資源の格差は、多言語NLPにおける課題となっている。 高リソース言語は広範なデータから恩恵を受ける一方、低リソース言語は効果的なトレーニングに十分なデータを持っていない。 我々のContrastive Language Alignment with Prompting (CoLAP) 法は、コントラスト学習と言語間表現を統合することで、このギャップに対処する。
  論文  参考訳（メタデータ） (2025-08-26T22:49:17Z)
• LUSIFER: Language Universal Space Integration for Enhanced Multilingual Embeddings with Large Language Models [89.13128402847943]
  LUSIFERは,LLMをベースとした多言語タスクの埋め込みモデルに,多言語監視を必要とせずに適用可能なゼロショット方式である。 LUSIFERのアーキテクチャは多言語エンコーダを組み、言語ユニバーサル学習者として機能し、埋め込み固有のタスクに最適化されたLLMベースの埋め込みモデルと組み合わせている。 5つの主要な埋め込みタスク、123の多様なデータセット、14言語にわたるカバレッジを含む新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-01-01T15:43:07Z)
• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  大規模言語モデル(LLM)における多言語機能向上のための新しいアプローチであるLensを提案する。 Lensは2つの部分空間で機能する: 言語に依存しない部分空間で、ターゲット言語と中心言語を一致させて強力な意味表現を継承する部分空間、言語固有の部分空間で、ターゲット言語と中心言語を分離して言語的特異性を保存する部分空間である。 レンズは、モデルの英語能力を維持しながら、多言語のパフォーマンスを著しく向上させ、既存の訓練後のアプローチと比べて計算コストの低い結果を得る。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• Enhancing Multilingual Capabilities of Large Language Models through Self-Distillation from Resource-Rich Languages [60.162717568496355]
  大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。 彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
  論文  参考訳（メタデータ） (2024-02-19T15:07:32Z)
• Monolingual or Multilingual Instruction Tuning: Which Makes a Better Alpaca [32.66997811671922]
  本研究では、Alpacaデータセットと機械翻訳を用いて、多言語データを生成する。 制御された予算の下では、比較は、多言語チューニングが各言語のモデルをチューニングするよりも、同等かそれ以上であることを示している。 本研究は,指導指導による言語サポートの拡充のためのガイドとして機能する。
  論文  参考訳（メタデータ） (2023-09-16T11:22:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。