論文の概要: COMPASS: COntinual Multilingual PEFT with Adaptive Semantic Sampling

• arxiv url: http://arxiv.org/abs/2604.20720v1
• Date: Wed, 22 Apr 2026 16:07:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-23 15:36:11.215745
• Title: COMPASS: COntinual Multilingual PEFT with Adaptive Semantic Sampling
• Title（参考訳）: CompASS: 適応セマンティックサンプリングを用いたContinual Multilingual PEFT
• Abstract要約: ターゲット言語に大規模言語モデルを適用するための,データ中心のフレームワークを導入する。 我々は、既存のトレーニングデータとターゲット利用分布のセマンティックギャップを特定するために、分布対応サンプリング戦略を用いる。 我々はこれを継続的学習フレームワークに拡張し、本番環境でのデータ分散シフトを監視し、アダプタを動的に更新し、モデルの不安定さを防ぐ。
• 参考スコア（独自算出の注目度）: 0.023074632109535153
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) often exhibit performance disparities across languages, with naive multilingual fine-tuning frequently degrading performance due to negative cross-lingual interference. To address this, we introduce COMPASS (COntinual Multilingual PEFT with Adaptive Semantic Sampling), a novel data-centric framework for adapting LLMs to target languages. COMPASS leverages parameter-efficient fine-tuning (PEFT) by training lightweight, language-specific adapters on a judiciously selected subset of auxiliary multilingual data. The core of our method is a distribution-aware sampling strategy that uses multilingual embeddings and clustering to identify semantic gaps between existing training data and a target usage distribution. By prioritizing auxiliary data from under-represented semantic clusters, COMPASS maximizes positive cross-lingual transfer while minimizing interference. We extend this into a continual learning framework, COMPASS-ECDA, which monitors for data distribution shifts in production and dynamically updates adapters to prevent model staleness, balancing adaptation to new data with the preservation of existing knowledge. Across three different model architectures (Phi-4-Mini, Llama-3.1-8B, and Qwen2.5-7B) and multiple challenging multilingual benchmarks (Global-MMLU, MMLU-ProX), including unseen long-context tasks (OneRuler), we demonstrate that COMPASS consistently outperforms baseline methods guided by linguistic similarity, providing an effective, efficient, and sustainable solution for developing and maintaining high-performing multilingual models in dynamic environments.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、言語間での性能格差をしばしば示し、単純で多言語的な微調整は、負の言語間干渉によってしばしば劣化する。 そこで本研究では,LLMを対象言語に適用するための新しいデータ中心フレームワークであるCompASS(Continual Multilingual PEFT with Adaptive Semantic Smpling)を紹介する。 CompASSは、補助的多言語データの部分集合に対して、軽量で言語固有のアダプタを訓練することにより、パラメータ効率の良い微調整(PEFT)を利用する。 本手法の中核は,複数言語埋め込みとクラスタリングを用いて,既存のトレーニングデータとターゲット利用分布のセマンティックギャップを識別する分散対応サンプリング戦略である。 表現されていないセマンティッククラスタから補助データを優先順位付けすることで、CompASSは干渉を最小限にしながら正の言語間転送を最大化する。 我々はこれを継続学習フレームワークCompASS-ECDAに拡張し、生産におけるデータ分散シフトを監視し、アダプタを動的に更新し、モデルの安定化を防ぎ、新しいデータへの適応と既存の知識の保存を両立させる。 3つの異なるモデルアーキテクチャ (Phi-4-Mini, Llama-3.1-8B, Qwen2.5-7B) と複数の挑戦的マルチリンガル・ベンチマーク (Global-MMLU, MMLU-ProX) にまたがって, 言語的類似性によって導かれるベースライン手法を一貫して上回り, 動的環境における高性能マルチリンガル・モデルの開発と維持のための効率的で持続可能なソリューションを提供することを示した。

関連論文リスト

• Leveraging Routing Dynamics in Mixture-of-Experts Models for Efficient Language Adaptation [50.731838216268706]
  多言語コーパス上での英語中心のMoEモデルの継続事前学習における多言語ルーティングのダイナミクスについて検討する。 連続的な多言語事前学習は、初期層と中層に拡散し、言語に依存しないルーティングをもたらす。 最終MoE層における言語固有の専門家と共有専門家を更新するパラメータ効率適応戦略を提案する。
  論文  参考訳（メタデータ） (2026-05-28T10:12:41Z)
• Multi-lingual Multi-institutional Electronic Health Record based Predictive Model [13.930489950153657]
  そこで本研究では,言語的アライメントを持つテキストベースのフレームワークが,数ショットの微調整による伝達学習を効果的に行うことを示す。 これは多言語多国籍ITU EHRデータセットを1つの予測モデルに集約する最初の研究である。
  論文  参考訳（メタデータ） (2026-03-11T07:21:27Z)
• Exploring Polyglot Harmony: On Multilingual Data Allocation for Large Language Models Pretraining [16.590296049892576]
  本稿では,多言語データアロケーションを体系的に最適化する新しいフレームワークであるClimbを紹介する。 Climbの中核となるのは、言語間の相互作用を意識した言語比率を導入し、言語間の依存関係をキャプチャすることで、各言語の効果的なアロケーションを明示的に定量化している。 大規模な実験により、Climbは様々な多言語間相互作用を正確に測定できることを確認した。
  論文  参考訳（メタデータ） (2025-09-19T03:34:34Z)
• CM-Align: Consistency-based Multilingual Alignment for Large Language Models [84.19366314925593]
  高品質な多言語嗜好データを構築するための一貫性に基づくデータ手法を提案する。 具体的には、一貫性のある英語参照選択と、言語間一貫性に基づく多言語嗜好データ構築の2つの部分を含む。
  論文  参考訳（メタデータ） (2025-09-10T12:40:49Z)
• Judging Quality Across Languages: A Multilingual Approach to Pretraining Data Filtering with Language Models [52.22235443948351]
  大規模言語モデル(LLM)を効果的に事前学習するためには,高品質な多言語学習データが不可欠である 本稿では,多言語多言語データを大規模に効率的にキュレートする体系的アプローチであるJQLを紹介する。 JQLは、LLMのアノテーション機能を、事前トレーニングされた多言語埋め込みに基づいて軽量アノテータに蒸留する。
  論文  参考訳（メタデータ） (2025-05-28T11:06:54Z)
• LUSIFER: Language Universal Space Integration for Enhanced Multilingual Embeddings with Large Language Models [89.13128402847943]
  LUSIFERは,LLMをベースとした多言語タスクの埋め込みモデルに,多言語監視を必要とせずに適用可能なゼロショット方式である。 LUSIFERのアーキテクチャは多言語エンコーダを組み、言語ユニバーサル学習者として機能し、埋め込み固有のタスクに最適化されたLLMベースの埋め込みモデルと組み合わせている。 5つの主要な埋め込みタスク、123の多様なデータセット、14言語にわたるカバレッジを含む新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-01-01T15:43:07Z)
• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P -M P-MMEvalは、さまざまなデータセットにわたって一貫した言語カバレッジを提供し、並列サンプルを提供する。 我々は、モデルとタスク間の性能を比較するために、代表的多言語モデル系列に関する広範な実験を行う。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。