論文の概要: Language on Demand, Knowledge at Core: Composing LLMs with Encoder-Decoder Translation Models for Extensible Multilinguality

• arxiv url: http://arxiv.org/abs/2603.17512v1
• Date: Wed, 18 Mar 2026 09:19:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.594905
• Title: Language on Demand, Knowledge at Core: Composing LLMs with Encoder-Decoder Translation Models for Extensible Multilinguality
• Title（参考訳）: 需要言語, コアにおける知識: 拡張可能な多言語性のためのエンコーダ・デコーダ翻訳モデルを用いたLLMの構成
• Authors: Mengyu Bu, Yang Feng,
• Abstract要約: 大規模言語モデル(LLM)は、強い汎用性を示すが、多言語性能は相変わらず高い不均衡を保っている。 合成エンコーダ-LLMデコーダアーキテクチャであるXBridgeを提案する。
• 参考スコア（独自算出の注目度）: 15.547613042199167
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) exhibit strong general intelligence, yet their multilingual performance remains highly imbalanced. Although LLMs encode substantial cross-lingual knowledge in a unified semantic space, they often struggle to reliably interface this knowledge with low-resource or unseen languages. Fortunately, pretrained encoder-decoder translation models already possess balanced multilingual capability, suggesting a natural complement to LLMs. In this work, we propose XBridge, a compositional encoder-LLM-decoder architecture that offloads multilingual understanding and generation to external pretrained translation models, while preserving the LLM as an English-centric core for general knowledge processing. To address the resulting representation misalignment across models, we introduce lightweight cross-model mapping layers and an optimal transport-based alignment objective, enabling fine-grained semantic consistency for multilingual generation. Experiments on four LLMs across multilingual understanding, reasoning, summarization, and generation indicate that XBridge outperforms strong baselines, especially on low-resource and previously unseen languages, without retraining the LLM.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、強い汎用性を示すが、多言語性能は相変わらず高い不均衡を保っている。 LLMは、統一的な意味空間における言語間知識を符号化するが、この知識を低リソース言語や見当たらない言語で確実にインターフェースするのに苦労することが多い。 幸いなことに、事前訓練されたエンコーダ-デコーダ変換モデルは、既にバランスの取れた多言語機能を有しており、LLMの自然な補完を示唆している。 本稿では,多言語理解と生成を外部の事前学習翻訳モデルにオフロードするコンポジションエンコーダ-LLMデコーダアーキテクチャであるXBridgeを提案する。 モデル間の表現の不整合に対処するために、軽量なクロスモデルマッピング層と最適なトランスポートベースアライメント目的を導入し、多言語生成のためのきめ細かいセマンティック一貫性を実現する。 多言語理解、推論、要約、生成にまたがる4つのLLMの実験は、XBridgeがLLMを再訓練することなく、特に低リソース言語や以前は目に見えない言語において、強力なベースラインよりも優れていることを示している。

関連論文リスト

• Tracing Multilingual Representations in LLMs with Cross-Layer Transcoders [51.380449540006985]
  大規模言語モデル(LLM)は多くの言語を処理できるが、どのようにして内部的にこの多様性を表現しているのかは不明だ。 言語固有のデコーディングと多言語表現を共有できるのでしょうか? 層間トランスコーダ(CLT)と属性グラフを用いて内部メカニズムを解析する。
  論文  参考訳（メタデータ） (2025-11-13T22:51:06Z)
• Multilingual Encoder Knows more than You Realize: Shared Weights Pretraining for Extremely Low-Resource Languages [9.066355705304984]
  極低リソース言語におけるテキスト生成に多言語エンコーダを適用するための新しいフレームワークを提案する。 我々のフレームワークは,エンコーダとデコーダの間の重みを再利用することにより,学習したエンコーダの意味空間を活用することができる。 この枠組みを4つの中国語マイノリティ言語に適用し、XLM-SWCMを提案し、様々な下流タスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2025-02-15T16:53:10Z)
• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• LUSIFER: Language Universal Space Integration for Enhanced Multilingual Embeddings with Large Language Models [89.13128402847943]
  LUSIFERは,LLMをベースとした多言語タスクの埋め込みモデルに,多言語監視を必要とせずに適用可能なゼロショット方式である。 LUSIFERのアーキテクチャは多言語エンコーダを組み、言語ユニバーサル学習者として機能し、埋め込み固有のタスクに最適化されたLLMベースの埋め込みモデルと組み合わせている。 5つの主要な埋め込みタスク、123の多様なデータセット、14言語にわたるカバレッジを含む新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-01-01T15:43:07Z)
• Bridging the Language Gap: Enhancing Multilingual Prompt-Based Code Generation in LLMs via Zero-Shot Cross-Lingual Transfer [5.355430735475281]
  本稿では,多言語プロンプトベースのコード生成の複雑さについて検討する。 評価の結果,非英語のプロンプトにおけるコード品質の相違が明らかとなった。 本稿では,ニューラルプロジェクション手法を用いたゼロショット言語間アプローチを提案する。
  論文  参考訳（メタデータ） (2024-08-19T05:11:46Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Self-Distillation for Model Stacking Unlocks Cross-Lingual NLU in 200+ Languages [2.53740603524637]
  機械翻訳モデル(MT)は優れた多言語表現を生成し、低リソース言語でも強力な翻訳性能が得られる。 本研究は,MTエンコーダをサンプル効率のよい自己蒸留法により,言語バックボーンに直接組み込むことにより,両世界のベストを得られる。 MT-LLMは、MTエンコーダから固有の多言語表現アライメントを保持しており、低リソース言語は英語中心のLLMに埋め込まれた豊富な知識を取り入れることができる。
  論文  参考訳（メタデータ） (2024-06-18T16:00:20Z)
• Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
  大きな言語モデル(LLM)は印象的な言語機能を示している。 本研究では,LLMの自然多言語アライメント改善について検討する。 質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:46:19Z)
• CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large Language Models in 167 Languages [86.90220551111096]
  大規模言語モデル(LLM)のトレーニングデータセットは、完全には公開されないことが多い。 我々は167言語で6.3兆のトークンを持つ相当な多言語データセットであるCulturaXを紹介する。
  論文  参考訳（メタデータ） (2023-09-17T23:49:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。