論文の概要: AlignX: Advancing Multilingual Large Language Models with Multilingual Representation Alignment

• arxiv url: http://arxiv.org/abs/2509.24338v1
• Date: Mon, 29 Sep 2025 06:37:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.788471
• Title: AlignX: Advancing Multilingual Large Language Models with Multilingual Representation Alignment
• Title（参考訳）: AlignX:多言語表現アライメントによる多言語大言語モデルの改善
• Authors: Mengyu Bu, Shaolei Zhang, Zhongjun He, Hua Wu, Yang Feng,
• Abstract要約: 多言語大言語モデル(LLM)には、印象的な多言語理解と生成能力がある。 LLMのパフォーマンスと言語間アライメントは、非支配言語ではしばしば遅れる。 2段階の表現レベルフレームワークである多言語のパフォーマンスギャップを橋渡しするために,AlignXを提案する。
• 参考スコア（独自算出の注目度）: 46.881574083116085
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual large language models (LLMs) possess impressive multilingual understanding and generation capabilities. However, their performance and cross-lingual alignment often lag for non-dominant languages. A common solution is to fine-tune LLMs on large-scale and more balanced multilingual corpus, but such approaches often lead to imprecise alignment and suboptimal knowledge transfer, struggling with limited improvements across languages. In this paper, we propose AlignX to bridge the multilingual performance gap, which is a two-stage representation-level framework for enhancing multilingual performance of pre-trained LLMs. In the first stage, we align multilingual representations with multilingual semantic alignment and language feature integration. In the second stage, we stimulate the multilingual capability of LLMs via multilingual instruction fine-tuning. Experimental results on several pre-trained LLMs demonstrate that our approach enhances LLMs' multilingual general and cross-lingual generation capability. Further analysis indicates that AlignX brings the multilingual representations closer and improves the cross-lingual alignment.
• Abstract（参考訳）: 多言語大言語モデル(LLM)には、印象的な多言語理解と生成能力がある。 しかし、そのパフォーマンスと言語間のアライメントは、非支配的な言語では遅れることが多い。 大規模でバランスの取れた多言語コーパス上でLLMを微調整することが一般的な方法であるが、そのようなアプローチは不正確なアライメントや準最適知識伝達を招き、言語間の限定的な改善に苦慮することが多い。 本稿では,事前学習したLLMの多言語性能向上のための2段階の表現レベルフレームワークである多言語性能ギャップを橋渡しするAlignXを提案する。 最初の段階では、多言語表現を多言語意味的アライメントと言語機能統合で整列する。 第2段階では,多言語命令の微調整によるLLMの多言語化を刺激する。 実験結果から,LLMの多言語一般および多言語同時生成能力の向上が確認された。 さらなる分析は、AlignXが多言語表現をより近付け、言語間アライメントを改善することを示している。

関連論文リスト

• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  大規模言語モデル(LLM)における多言語機能向上のための新しいアプローチであるLensを提案する。 Lensは2つの部分空間で機能する: 言語に依存しない部分空間で、ターゲット言語と中心言語を一致させて強力な意味表現を継承する部分空間、言語固有の部分空間で、ターゲット言語と中心言語を分離して言語的特異性を保存する部分空間である。 レンズは、モデルの英語能力を維持しながら、多言語のパフォーマンスを著しく向上させ、既存の訓練後のアプローチと比べて計算コストの低い結果を得る。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
  大きな言語モデル(LLM)は印象的な言語機能を示している。 本研究では,LLMの自然多言語アライメント改善について検討する。 質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:46:19Z)
• How Vocabulary Sharing Facilitates Multilingualism in LLaMA? [19.136382859468693]
  大きな言語モデル(LLM)は英語のタスクに強いパフォーマンスを示すが、他の言語には制限がある。 本研究では,語彙共有の観点からLLMの多言語的能力について検討する。
  論文  参考訳（メタデータ） (2023-11-15T16:13:14Z)
• Massively Multilingual Lexical Specialization of Multilingual Transformers [18.766379322798837]
  本稿では,2つの標準言語間語彙タスクにおいて,多言語レキシカル特殊化が著しく向上することを示す。 我々は,語彙制約のない言語への多言語語彙の特殊化によって一般化できることを示唆し,特殊化に欠かせない言語に対するゲインを観察する。
  論文  参考訳（メタデータ） (2022-08-01T17:47:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。