論文の概要: Linguistic Neuron Overlap Patterns to Facilitate Cross-lingual Transfer on Low-resource Languages

• arxiv url: http://arxiv.org/abs/2508.17078v2
• Date: Tue, 23 Sep 2025 14:02:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 16:16:25.746002
• Title: Linguistic Neuron Overlap Patterns to Facilitate Cross-lingual Transfer on Low-resource Languages
• Title（参考訳）: 低音源言語における言語間移動を支援する言語ニューロンオーバーラップパターン
• Authors: Yuemei Xu, Kexin Xu, Jian Zhou, Ling Hu, Lin Gui,
• Abstract要約: ゼロショットの言語間インコンテキスト学習を改善するために,BridgeX-ICLというシンプルで効果的な手法を提案する。 言語固有のニューロンに焦点を当てた既存の研究とは異なり、BridgeX-ICLは、共有ニューロンが言語間性能を向上させるかどうかを探求している。 重なり合うニューロンに基づいて、LLMの内部言語スペクトルを定量化し、最適な橋梁選択を導くためのHSICに基づく計量法を提案する。
• 参考スコア（独自算出の注目度）: 13.053383340899067
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The current Large Language Models (LLMs) face significant challenges in improving their performance on low-resource languages and urgently need data-efficient methods without costly fine-tuning. From the perspective of language-bridge, we propose a simple yet effective method, namely BridgeX-ICL, to improve the zero-shot Cross-lingual In-Context Learning (X-ICL) for low-resource languages. Unlike existing works focusing on language-specific neurons, BridgeX-ICL explores whether sharing neurons can improve cross-lingual performance in LLMs. We construct neuron probe data from the ground-truth MUSE bilingual dictionaries, and define a subset of language overlap neurons accordingly to ensure full activation of these anchored neurons. Subsequently, we propose an HSIC-based metric to quantify LLMs' internal linguistic spectrum based on overlapping neurons, guiding optimal bridge selection. The experiments conducted on 4 cross-lingual tasks and 15 language pairs from 7 diverse families, covering both high-low and moderate-low pairs, validate the effectiveness of BridgeX-ICL and offer empirical insights into the underlying multilingual mechanisms of LLMs. The code is publicly available at https://github.com/xuyuemei/BridgeX-ICL.
• Abstract（参考訳）: 現在のLLM(Large Language Models)は、低リソース言語のパフォーマンスを改善する上で大きな課題に直面しています。 言語ブリッジの観点からは、低リソース言語のためのゼロショット言語間インコンテキスト学習(X-ICL)を改善するため、シンプルで効果的なBridgeX-ICLを提案する。 言語特異的ニューロンに焦点を当てた既存の研究とは異なり、BridgeX-ICLは、共有ニューロンがLLMの言語間性能を改善することができるかどうかを探求している。 我々は,MUSEバイリンガル辞書からのニューロンプローブデータを構築し,言語重複ニューロンのサブセットを定義し,これらのアンカーされたニューロンの完全活性化を確実にする。 次に、重なり合うニューロンに基づいてLLMの内部言語スペクトルを定量化し、最適な橋梁選択を導くためのHSICベースのメトリクスを提案する。 実験は、7つの異なる家系の4つの言語間タスクと15の言語対を用いて行われ、ハイローペアとミディアムローペアの両方をカバーし、BridgeX-ICLの有効性を検証し、LLMの基盤となる多言語メカニズムに関する実証的な洞察を提供する。 コードはhttps://github.com/xuyuemei/BridgeX-ICLで公開されている。

関連論文リスト

• Unveiling the Influence of Amplifying Language-Specific Neurons [11.19692440351977]
  個々の言語と強く相関する言語特異的ニューロンは、それらの不活性化によってモデル行動に影響を与えることが示されている。 本研究は18言語にわたる介入による言語特異的ニューロンの増幅効果について検討する。
  論文  参考訳（メタデータ） (2025-07-30T11:23:30Z)
• From Neurons to Semantics: Evaluating Cross-Linguistic Alignment Capabilities of Large Language Models via Neurons Alignment [8.071522960337298]
  既存のアライメントベンチマークは主に文の埋め込みに焦点を当てている。 以前の研究では、ニューラルモデルが非滑らかな表現空間を誘導する傾向があることが示されている。 類似した情報が重なり合うニューロン領域を活性化する神経科学的な知見に着想を得て,我々は新しいニューロン状態に基づく言語横断アライメントを提案する。
  論文  参考訳（メタデータ） (2025-07-20T10:23:22Z)
• The Emergence of Abstract Thought in Large Language Models Beyond Any Language [95.50197866832772]
  大規模言語モデル(LLM)は様々な言語で効果的に機能する。 予備的研究では、LLMの隠れた活性化は、英語以外のプロンプトに反応してもしばしば英語に類似している。 近年の結果は多言語のパフォーマンスが強く、他の言語での特定のタスクにおける英語のパフォーマンスを超えている。
  論文  参考訳（メタデータ） (2025-06-11T16:00:54Z)
• How does Alignment Enhance LLMs' Multilingual Capabilities? A Language Neurons Perspective [64.79894853375478]
  本稿では,言語ニューロン(言語特異的ニューロンや言語関連ニューロンを含む)と言語非依存ニューロンを検出する,より微細なニューロン識別アルゴリズムを提案する。 異なる種類のニューロンの分布特性に基づいて、多言語推論のためのLCMの内部過程を4つの部分に分割する。 我々は、異なる種類のニューロンに焦点を合わせ、その前後のモデルを体系的に分析する。
  論文  参考訳（メタデータ） (2025-05-27T17:59:52Z)
• Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models [55.14276067678253]
  本稿では,Large Language Models (LLMs) における言語間関係の弱点を効率的に同定するための新しい手法を提案する。 この手法を用いて16言語で6,000以上のバイリンガルペアからなる新しいデータセットを構築し、最先端のモデルにおいても弱点を明らかにする効果を実証した。 さらに,言語的類似性と言語間の弱点との関係について検討し,言語的関連言語が類似した演奏パターンを共有することを明らかにした。
  論文  参考訳（メタデータ） (2025-05-24T12:31:27Z)
• Language-specific Neurons Do Not Facilitate Cross-Lingual Transfer [21.205821852762362]
  言語固有のニューロンを識別する既存の技術は、低リソース言語の言語間タスク性能を向上させるために利用することができる。 このようなニューロン特異的な介入は、下流タスクにおいて言語横断的な改善をもたらすには不十分である。
  論文  参考訳（メタデータ） (2025-03-21T18:08:11Z)
• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [70.3132264719438]
  我々は,タスクや言語間でニューロンの活性化がどのように共有されるかを調べることで,研究ギャップを埋めることを目指している。 我々は、異なる言語にまたがる特定の入力に対する応答に基づいて、ニューロンを4つの異なるカテゴリに分類する。 分析の結果, (i) ニューロン共有のパターンはタスクや例の特徴に大きく影響され, (ii) ニューロン共有は言語類似性に完全には対応しない, (iii) 共有ニューロンは応答の生成において重要な役割を担っている。
  論文  参考訳（メタデータ） (2024-06-13T16:04:11Z)
• Cross-Lingual Transfer Robustness to Lower-Resource Languages on Adversarial Datasets [4.653113033432781]
  多言語言語モデル(MLLM)の言語間伝達能力について検討した。 本研究は,言語間移動とそのNLP応用への応用に関する貴重な知見を提供する。
  論文  参考訳（メタデータ） (2024-03-29T08:47:15Z)
• How do Large Language Models Handle Multilingualism? [81.15060972112563]
  本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。 LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。 中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
  論文  参考訳（メタデータ） (2024-02-29T02:55:26Z)
• Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models [117.20416338476856]
  大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。 LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。 以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
  論文  参考訳（メタデータ） (2024-02-26T09:36:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。