論文の概要: EMCee: Improving Multilingual Capability of LLMs via Bridging Knowledge and Reasoning with Extracted Synthetic Multilingual Context

• arxiv url: http://arxiv.org/abs/2503.05846v2
• Date: Fri, 17 Oct 2025 07:19:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-20 13:49:08.575263
• Title: EMCee: Improving Multilingual Capability of LLMs via Bridging Knowledge and Reasoning with Extracted Synthetic Multilingual Context
• Title（参考訳）: EMCee:LLMのブリッジ知識と抽出合成多言語文脈による推論による多言語対応性の向上
• Authors: Hamin Koo, Jaehyung Kim,
• Abstract要約: 大規模言語モデル(LLM)は、広範囲のタスクで目覚ましい進歩を遂げました。 英語中心のトレーニングデータに大きく依存すると、非英語言語ではパフォーマンスが大幅に低下する。 本稿では,クエリ関連知識を明示的に抽出し,活用することにより,LLMの多言語機能を向上させるフレームワークであるEMCeeを提案する。
• 参考スコア（独自算出の注目度）: 6.612630497074871
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) have achieved impressive progress across a wide range of tasks, yet their heavy reliance on English-centric training data leads to significant performance degradation in non-English languages. While existing multilingual prompting methods emphasize reformulating queries into English or enhancing reasoning capabilities, they often fail to incorporate the language- and culture-specific grounding that is essential for some queries. To address this limitation, we propose EMCee (Extracting synthetic Multilingual Context and merging), a simple yet effective framework that enhances the multilingual capabilities of LLMs by explicitly extracting and utilizing query-relevant knowledge from the LLM itself. In particular, EMCee first extracts synthetic context to uncover latent, language-specific knowledge encoded within the LLM, and then dynamically merges this contextual insight with reasoning-oriented outputs through a judgment-based selection mechanism. Extensive experiments on four multilingual benchmarks covering diverse languages and tasks demonstrate that EMCee consistently outperforms prior approaches, achieving an average relative improvement of 16.4% overall and 31.7% in low-resource languages.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広いタスクで目覚ましい進歩を遂げているが、英語中心のトレーニングデータに大きく依存しているため、非英語言語ではパフォーマンスが大幅に低下している。 既存の多言語プロンプト手法では、クエリを英語に書き換えることや推論能力の向上が強調されているが、いくつかのクエリに不可欠な言語や文化固有の基盤を組み込むことがしばしば失敗する。 この制限に対処するため,EMCee (Extracting synthetic Multilingual Context and merging) を提案する。 特に、EMCeeはまず、LLM内に符号化された潜在言語固有の知識を明らかにするために合成コンテキストを抽出し、その後、判断に基づく選択機構を通じて推論指向の出力と動的にこのコンテキストインサイトをマージする。 多様な言語やタスクをカバーする4つの多言語ベンチマークに関する大規模な実験は、EMCeeが従来のアプローチを一貫して上回り、低リソース言語では16.4%、31.7%の平均的な相対的な改善を達成していることを示している。

関連論文リスト

• Unlocking Multilingual Reasoning Capability of LLMs and LVLMs through Representation Engineering [44.596434537567916]
  MRRE(Representation Engineering)を用いた多言語推論機能向上のためのトレーニング不要推論時間法を提案する。 MRREは、低リソース言語(タイ語とスワヒリ語)で平均5.48%、7.54%の上昇により、英語以外の推論を継続的に強化する。
  論文  参考訳（メタデータ） (2025-11-28T14:40:27Z)
• Code-Switching In-Context Learning for Cross-Lingual Transfer of Large Language Models [64.54005959758733]
  我々は,コードスイッチング・イン・コンテキスト・ラーニング(CSICL)を,推論中の翻訳障壁を克服するための原則的かつ堅牢なアプローチとして導入する。 4つのLLM、6つのデータセット、10の言語にわたる広範な実験を行い、知識集約型ドメインと推論指向ドメインの両方にまたがる。 その結果、CSICLはX-ICLベースラインを一貫して上回り、ターゲット言語と見当たらない言語の両方で3.1%pと1.9%pを達成した。
  論文  参考訳（メタデータ） (2025-10-07T08:35:42Z)
• A method for improving multilingual quality and diversity of instruction fine-tuning datasets [29.07537849245622]
  マルチリンガルデータ品質・多様性(M-DaQ)を導入し,IFT(Multilingual Instruction Fine-Tuning)の改善を図る。 M-DaQは、高品質で意味的に多様な多言語IFTサンプルを選択することで、LLMの多言語性を改善する新しい方法である。 18言語にわたる実証的な結果から、M-DaQで微調整されたモデルでは、バニラベースラインの60%の勝利率よりも大きなパフォーマンス向上が達成されている。
  論文  参考訳（メタデータ） (2025-09-19T03:07:59Z)
• On the Consistency of Multilingual Context Utilization in Retrieval-Augmented Generation [12.848952248427977]
  大規模言語モデル(LLM)を用いた検索言語拡張生成(RAG)は,多言語質問応答タスクにおいて高い性能を示した。 多言語RAGでは、検索されたパスは、ユーザが入力したクエリ以外の言語で書くことができる。
  論文  参考訳（メタデータ） (2025-04-01T09:55:23Z)
• MMLU-ProX: A Multilingual Benchmark for Advanced Large Language Model Evaluation [86.7047714187813]
  MMLU-ProXは29の言語をカバーするベンチマークであり、英語のベンチマーク上に構築されている。 それぞれの言語バージョンは11,829の同一の質問で構成されており、直接言語間比較を可能にする。 効率的な評価ニーズを満たすため,言語毎の質問数は658件である。
  論文  参考訳（メタデータ） (2025-03-13T15:59:20Z)
• Balanced Multi-Factor In-Context Learning for Multilingual Large Language Models [53.38288894305388]
  MLLM(Multilingual Large Language Model)は,言語間知識伝達をパラメータ更新なしで活用することにより,文脈内学習(ICL)を活用して高い性能を実現する。 1) 意味的類似性,(2) 言語的アライメント,(3) 言語固有のパフォーマンスの3つの要因が多言語ICLに影響を与える。 我々は,これらの因子を定量化し,最適にバランスをとる手法として,バランスの取れた多要素ICL(textbfBMF-ICL)を提案する。
  論文  参考訳（メタデータ） (2025-02-17T06:56:33Z)
• LUSIFER: Language Universal Space Integration for Enhanced Multilingual Embeddings with Large Language Models [89.13128402847943]
  LUSIFERは,LLMをベースとした多言語タスクの埋め込みモデルに,多言語監視を必要とせずに適用可能なゼロショット方式である。 LUSIFERのアーキテクチャは多言語エンコーダを組み、言語ユニバーサル学習者として機能し、埋め込み固有のタスクに最適化されたLLMベースの埋め込みモデルと組み合わせている。 5つの主要な埋め込みタスク、123の多様なデータセット、14言語にわたるカバレッジを含む新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-01-01T15:43:07Z)
• Extracting and Combining Abilities For Building Multi-lingual Ability-enhanced Large Language Models [109.60937659029076]
  我々は,MAEC という名称の多言語抽出と組み合わせ手法を提案する。 我々のキーとなる考え方は、大きな言語モデルから言語に依存しない能力に関する重みを分解し抽出することである。 実験の結果,MAECは高度能力の抽出と組み合わせを効果的に効果的に行うことができることがわかった。
  論文  参考訳（メタデータ） (2024-10-10T11:23:18Z)
• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。 既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• LLM for Everyone: Representing the Underrepresented in Large Language Models [21.07409393578553]
  この論文は、表現不足言語に焦点をあてて、NLPの研究と開発におけるギャップを埋めることを目的としている。 大規模言語モデル(LLM)の包括的評価を行い,それらの能力を評価する。 提案手法は、言語間連続的命令チューニング、検索に基づく言語間インコンテキスト学習、コンテキスト内クエリアライメントを網羅する。
  論文  参考訳（メタデータ） (2024-09-20T20:53:22Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Teaching LLMs to Abstain across Languages via Multilingual Feedback [40.84205285309612]
  多言語フィードバックは,多様な言語,文化,コミュニティ間の知識ギャップを識別する上で有効であることを示す。 大規模な実験により、多言語フィードバックアプローチは、様々な強いベースラインよりも優れていることが示された。 さらに分析したところ、多言語フィードバックは多言語話者に役立てるための効果的かつ公平な回避戦略であることがわかった。
  論文  参考訳（メタデータ） (2024-06-22T21:59:12Z)
• MindMerger: Efficient Boosting LLM Reasoning in non-English Languages [26.334092384176518]
  推論能力は大規模言語モデル(LLM)にとって不可欠である 我々は,多言語モデルからLLMと外部言語理解機能を融合したMindMergerを提案する。 MindMergerは、特に低リソース言語において、すべてのベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2024-05-27T17:41:54Z)
• Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners [67.85635044939836]
  大きな言語モデル(LLM)は印象的な言語機能を示している。 本研究では,LLMの自然多言語アライメント改善について検討する。 質問翻訳データ(すなわち注釈付き回答なし)に基づいて学習したLLMは、英語と幅広い言語との整合を促進できることがわかった。
  論文  参考訳（メタデータ） (2024-05-22T16:46:19Z)
• Is Translation All You Need? A Study on Solving Multilingual Tasks with Large Language Models [79.46179534911019]
  大規模言語モデル (LLM) は多言語機能を示しているが、トレーニングコーパスの不均衡のため、主に英語中心である。 この作業は、NLPタスクから実際のユーザクエリまで、評価を拡張します。 深い言語理解を必要とする文化関連のタスクでは、ネイティブ言語のプロンプトがより有望になる傾向があります。
  論文  参考訳（メタデータ） (2024-03-15T12:47:39Z)
• UltraLink: An Open-Source Knowledge-Enhanced Multilingual Supervised Fine-tuning Dataset [69.33424532827608]
  オープンソースの大規模言語モデル(LLM)は、様々な分野において大きな強みを持っている。 本研究では,オープンソースの多言語教師付き微調整データセットを構築する。 結果として得られたUltraLinkデータセットは、5つの言語にわたる約100万のサンプルで構成されている。
  論文  参考訳（メタデータ） (2024-02-07T05:05:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。