Fugu-MT 論文翻訳(概要): Uncovering Cross-Linguistic Disparities in LLMs using Sparse Autoencoders

論文の概要: Uncovering Cross-Linguistic Disparities in LLMs using Sparse Autoencoders

arxiv url: http://arxiv.org/abs/2507.18918v1
Date: Fri, 25 Jul 2025 03:22:50 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-28 16:16:48.809094
Title: Uncovering Cross-Linguistic Disparities in LLMs using Sparse Autoencoders
Title（参考訳）: スパースオートエンコーダを用いたLLMにおける言語間差異の解明
Authors: Richmond Sin Jing Xuan, Jalil Huseynov, Yang Zhang,
Abstract要約: Gemma-2-2Bの活性化パターンを26の残層と10の言語で解析した。中級から低級のリソース言語は、初期層のアクティベーションが26.27パーセント減少し、深い層では19.89パーセントのギャップがある。
参考スコア（独自算出の注目度）: 3.2643248408907324
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Multilingual large language models (LLMs) exhibit strong cross-linguistic generalization, yet medium to low resource languages underperform on common benchmarks such as ARC-Challenge, MMLU, and HellaSwag. We analyze activation patterns in Gemma-2-2B across all 26 residual layers and 10 languages: Chinese (zh), Russian (ru), Spanish (es), Italian (it), medium to low resource languages including Indonesian (id), Catalan (ca), Marathi (mr), Malayalam (ml), and Hindi (hi), with English (en) as the reference. Using Sparse Autoencoders (SAEs), we reveal systematic disparities in activation patterns. Medium to low resource languages receive up to 26.27 percent lower activations in early layers, with a persistent gap of 19.89 percent in deeper layers. To address this, we apply activation-aware fine-tuning via Low-Rank Adaptation (LoRA), leading to substantial activation gains, such as 87.69 percent for Malayalam and 86.32 percent for Hindi, while maintaining English retention at approximately 91 percent. After fine-tuning, benchmark results show modest but consistent improvements, highlighting activation alignment as a key factor in enhancing multilingual LLM performance.
Abstract（参考訳）: 多言語大言語モデル(LLM)は、強力な言語間一般化を示すが、ARC-Challenge、MMLU、HellaSwagといった一般的なベンチマークでは性能が低い。我々は,中国語(zh),ロシア語(ru),スペイン語(es),イタリア語(it),インドネシア語(id),カタルーニャ語(ca),マラタイ語(mr),マラヤラム語(ml),ヒンディー語(hi)など,26の残層と10の言語にわたるGemma-2-2Bのアクティベーションパターンを分析した。スパースオートエンコーダ(SAE)を用いて,アクティベーションパターンの系統的差異を明らかにする。中級から低級のリソース言語は、初期層のアクティベーションが26.27パーセント減少し、深い層では19.89パーセントのギャップがある。これを解決するために、ローランド適応(LoRA)を介してアクティベーション対応の微調整を適用し、マラヤラムでは87.69パーセント、ヒンディー語では86.32パーセントのアクティベーション向上を実現した。微調整後、ベンチマークの結果は質素だが一貫した改善を示し、多言語LLM性能向上の鍵となるアクティベーションアライメントを強調した。

関連論文リスト

Towards Inclusive NLP: Assessing Compressed Multilingual Transformers across Diverse Language Benchmarks [33.2185998586144]
本研究は、アラビア語、英語、インド語にまたがる多言語および単言語大言語モデル(LLM)の性能をベンチマークする。発見は言語的多様性と資源の可利用性によって引き起こされる顕著なパフォーマンスの違いを示している。量子化(4ビットと8ビット)は、効率を向上しながらモデルの精度を維持するのに有効であるが、アグレッシブプルーニングは性能を著しく損なう。
論文参考訳（メタデータ） (2025-07-25T22:35:10Z)
MMLU-ProX: A Multilingual Benchmark for Advanced Large Language Model Evaluation [86.7047714187813]
MMLU-ProXは29の言語をカバーするベンチマークであり、英語のベンチマーク上に構築されている。それぞれの言語バージョンは11,829の同一の質問で構成されており、直接言語間比較を可能にする。効率的な評価ニーズを満たすため,言語毎の質問数は658件である。
論文参考訳（メタデータ） (2025-03-13T15:59:20Z)
INJONGO: A Multicultural Intent Detection and Slot-filling Dataset for 16 African Languages [15.983678567785004]
スロットフィリングとインテント検出は、会話型AIにおいて確立されたタスクである。 Injongoは16のアフリカ言語のための、多文化でオープンソースのベンチマークデータセットです。アフリカ文化の発話を西洋中心の発話に活用して言語間移動を改善する利点を示す。
論文参考訳（メタデータ） (2025-02-13T23:17:10Z)
Language Imbalance Driven Rewarding for Multilingual Self-improving [35.1576728251478]
大規模言語モデル(LLM)は多くのタスクで最先端のパフォーマンスを達成した。この不均衡は、より広範なアプリケーションを制限する一方で、言語間の自然な選好ランキングを生成する。本稿では,優越型言語と非優越型言語との固有不均衡を報酬信号として活用する,$textitLanguage Im Balance Driven Rewardingを提案する。
論文参考訳（メタデータ） (2024-10-11T16:32:05Z)
Low-Resource Machine Translation through Retrieval-Augmented LLM Prompting: A Study on the Mambai Language [1.1702440973773898]
本研究では,Timor-Lesteで話される低音源のオーストロネシア語であるMambaiへの英語翻訳における大規模言語モデルの利用について検討した。提案手法は, 並列文と辞書エントリの戦略的な選択と, プロンプトのための手法である。辞書をインプロンプトに含め,-IDFで検索した文とセマンティック埋め込みを混合することにより,翻訳品質が大幅に向上することがわかった。
論文参考訳（メタデータ） (2024-04-07T05:04:38Z)
Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
論文参考訳（メタデータ） (2023-12-26T18:38:54Z)
Breaking Language Barriers in Multilingual Mathematical Reasoning: Insights and Observations [59.056367787688146]
本稿では, マルチリンガル数学推論 (xMR) LLM の探索と学習の先駆者である。我々は10の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。翻訳を利用して、10個の異なる言語を含む最初の多言語数学推論命令データセットMGSM8KInstructを構築した。
論文参考訳（メタデータ） (2023-10-31T08:09:20Z)
The Skipped Beat: A Study of Sociopragmatic Understanding in LLMs for 64 Languages [17.055109973224265]
SPARROWは言語間社会プラグマティックな意味(SM)理解に特化して設計された広範囲なベンチマークである。 SPARROWは、6つの主要カテゴリ(例えば、反社会的言語検出、感情認識)にわたる13のタスクタイプをカバーする169のデータセットで構成されている。本研究では,SPARROWにおける多言語事前訓練型言語モデル(mT5など)と命令調整型LLM(BLOOMZ, ChatGPTなど)の性能を,微調整,ゼロショット,少数ショット学習により評価する。
論文参考訳（メタデータ） (2023-10-23T04:22:44Z)
Extrapolating Large Language Models to Non-English by Aligning Languages [109.09051737966178]
既存の大きな言語モデルは、異なる言語間で異なる能力を示す。本稿では,言語間のセマンティックアライメントを構築することで,英語以外の言語に事前学習したLLMを強化する。
論文参考訳（メタデータ） (2023-08-09T13:32:06Z)
Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
論文参考訳（メタデータ） (2023-06-20T08:27:47Z)
Massively Multilingual Shallow Fusion with Large Language Models [62.76735265311028]
複数の言語で浅い融合のための単一多言語言語モデル(LM)を訓練する。 GLaMは、推論中に同様の計算を行う密度の高いLMと比較して、イングランドのロングテールテストのWERを4.4%削減する。多言語浅層融合タスクでは、GLaMは50言語中41言語を改善し、平均相対的なWERの3.85%、最大10%の削減を実現している。
論文参考訳（メタデータ） (2023-02-17T14:46:38Z)
SLING: Sino Linguistic Evaluation of Large Language Models [34.42512869432145]
Sling (Sino linguistics) は、中国語における38Kの最小文対を9つの高水準言語現象に分類する。 Sling 上で 18 個の事前訓練された単言語 (BERT-base-zh など) とマルチ言語 (mT5 や XLM など) の言語モデルをテストする。実験の結果, LMの平均精度は人的性能(69.7%対97.1%)よりはるかに低いが, BERT-base-zhは試験されたLMの最大精度(84.8%)を達成していることがわかった。
論文参考訳（メタデータ） (2022-10-21T02:29:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。