論文の概要: Enhancing Low-Resource Language Reasoning via High-Resource Language Feature Transfer
- arxiv url: http://arxiv.org/abs/2608.30462v1
- Date: Mon, 31 Aug 2026 08:47:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:31.321418
- Title: Enhancing Low-Resource Language Reasoning via High-Resource Language Feature Transfer
- Title（参考訳）: オープンソース言語機能転送による低リソース言語推論の強化
- Abstract要約: 高リソース言語(HRL)は、タスク固有の推論(数学的推論)に役立つ潜在計算をより確実に引き出すことができる。
本稿では,言語間におけるタスク関連スパース機能を識別し,伝達するための機械的介入フレームワークを提案する。
当社のフレームワークは、機能欠如ではなく、メカニズム誘発の失敗として、言語横断的な推論ギャップを再構築しています。
- 参考スコア（独自算出の注目度）: 19.534545214053527
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models exhibit substantial performance variation across languages, even when solving semantically equivalent tasks. Existing analyses often treat this phenomenon as an observational disparity caused by differences in pretraining data, tokenization, or benchmark coverage. We study a complementary hypothesis: high-resource languages (HRLs) may more reliably elicit latent computations useful for task-specific (i.e. mathematical) reasoning, while lower-resource languages (LRLs) may under-activate those computations despite expressing the same task. To test this hypothesis, we introduce a mechanistic intervention framework for identifying and transferring task-relevant sparse latent features across languages. Using sparse autoencoders over residual-stream activations, we isolate features enriched in successful HRL task-specific reasoning while filtering out source-language and generic-generation features. We then construct steering directions from these features and inject them during LRL inference. The resulting interventions test whether the selected features are functionally involved in the observed reasoning gap: suppressing them should impair source-language reasoning, while activating them should partially recover target-language reasoning beyond random and non-task controls. Our framework reframes some cross-lingual reasoning gaps as failures of mechanism elicitation rather than capability absence, and offers a causally testable route to feature-mediated transfer without translation, fine-tuning, or changing the user-facing language.
- Abstract（参考訳）: 大規模言語モデルは、意味論的に等価なタスクを解く場合でも、言語間で大きなパフォーマンス変化を示す。
既存の分析では、この現象を事前訓練データ、トークン化、またはベンチマークカバレッジの違いによって引き起こされる観察上の相違として扱うことが多い。
我々は,高リソース言語 (HRL) がタスク固有性(数学的)推論に有用な潜時計算をより確実に引き出す一方で,低リソース言語 (LRL) は,同じタスクを表現しながらこれらの計算を過小評価する。
この仮説を検証するために、言語間でタスク関連のスパースな特徴を識別し、伝達するための機械的介入フレームワークを導入する。
残ストリームアクティベーションに対するスパースオートエンコーダを用いて、ソース言語およびジェネリックジェネレーション機能をフィルタリングしながら、HRLタスク固有推論に富む機能を分離する。
次に、これらの特徴から操舵方向を構築し、LRL推論中に注入する。
その結果、選択された特徴が観察された推論ギャップに機能的に関与しているかどうかを検証し、それらを抑制することは、ソース言語推論を損なうべきであり、一方、アクティベートするには、ランダムおよび非タスク制御以上のターゲット言語推論を部分的に回復する必要がある。
当社のフレームワークは,機能欠如ではなく,メカニズム導入の失敗として,言語間推論のギャップを再定義し,翻訳や微調整,ユーザ対応言語の変更を伴わずに,機能経由のトランスファーへの因果的にテスト可能な経路を提供する。
関連論文リスト
- Cross-lingual Functional Vectors for Emotion Detection in Large Language Models [2.3567984677073945]
関数ベクトル(FV)は、大規模言語モデルの振る舞いを制御するための有望なメカニズムとして登場した。
多言語多言語感情認識を用いたFVの言語間伝達性について検討する。
論文 参考訳（メタデータ） (2026-08-30T07:08:36Z) - Crosslingual On-Policy Self-Distillation for Multilingual Reasoning [48.68444770923683]
Crosslingual On-Policy Self-Distillation (COPSD)は、モデル自身の高リソース推論動作を低リソース言語に転送する。
17の低リソースアフリカ言語に対する実験では、COPSDはモデルサイズ全体の低リソース数学的推論を一貫して改善している。
論文 参考訳（メタデータ） (2026-05-10T14:06:09Z) - Translation or Recitation? Calibrating Evaluation Scores for Machine Translation of Extremely Low-Resource Languages [39.985923582735936]
FREDの難易度はF(F)、Retrieval Proxy(R)、Pre-training Exposure(E)、Corpus Diversity(D)を含む。
これらの測定結果から、結果のばらつきの大部分は、モデル能力よりも、列車とテストの重複と事前訓練による露光によって説明されていることが分かる。
論文 参考訳（メタデータ） (2026-03-26T09:20:17Z) - Language Matters: How Do Multilingual Input and Reasoning Paths Affect Large Reasoning Models? [59.970391602080205]
多言語トレーニングにも拘わらず、LRMはテスト時に高リソース言語での推論をデフォルトとする傾向にある。
文化的推論は、推論タスクのパフォーマンスを低下させるが、文化的なタスクに恩恵を与える一方、安全性評価は言語固有の振る舞いを示す。
論文 参考訳（メタデータ） (2025-05-23T02:46:18Z) - Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models [56.61984030508691]
言語混乱に関する最初の機械論的解釈可能性研究について述べる。
混乱点(CP)がこの現象の中心であることを示す。
比較分析によって同定された少数の臨界ニューロンを多言語で調整したニューロンで編集すると、混乱が著しく軽減されることがわかった。
論文 参考訳（メタデータ） (2025-05-22T11:29:17Z) - When Less Language is More: Language-Reasoning Disentanglement Makes LLMs Better Multilingual Reasoners [111.50503126693444]
言語固有のアブレーションは多言語推論性能を継続的に向上させることを示す。
トレーニング後のアブレーションと比較して、トレーニング不要のアブレーションは、計算オーバーヘッドを最小限に抑えながら、同等または優れた結果が得られる。
論文 参考訳（メタデータ） (2025-05-21T08:35:05Z) - AdaMCoT: Rethinking Cross-Lingual Factual Reasoning through Adaptive Multilingual Chain-of-Thought [40.16140566668239]
AdaMCOTは多言語の事実推論を強化するフレームワークである。
AdaMCOTは、ターゲット言語応答を生成する前に、中間言語における思考プロセスを動的にルーティングする。
本評価は, 事実推論品質と言語間整合性の両方において, 大幅な改善を示すものである。
論文 参考訳（メタデータ） (2025-01-27T15:48:57Z) - SMILE: Speech Meta In-Context Learning for Low-Resource Language Automatic Speech Recognition [55.2480439325792]
音声メタインコンテキスト学習(SMILE)は、メタラーニングと音声インコンテキスト学習(SICL)を組み合わせた革新的なフレームワークである
SMILEは、トレーニング不要な多言語ASRタスクにおいて、ベースライン手法よりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2024-09-16T16:04:16Z) - Cross-Lingual Transfer Robustness to Lower-Resource Languages on Adversarial Datasets [4.653113033432781]
多言語言語モデル(MLLM)の言語間伝達能力について検討した。
本研究は,言語間移動とそのNLP応用への応用に関する貴重な知見を提供する。
論文 参考訳（メタデータ） (2024-03-29T08:47:15Z) - Analyzing and Reducing the Performance Gap in Cross-Lingual Transfer
with Fine-tuning Slow and Fast [50.19681990847589]
既存の研究では、1つの(ソース)言語で微調整された多言語事前学習言語モデルが、非ソース言語の下流タスクでもうまく機能していることが示されている。
本稿では、微調整プロセスを分析し、パフォーマンスギャップがいつ変化するかを分析し、ネットワークの重みが全体のパフォーマンスに最も影響するかを特定する。
論文 参考訳（メタデータ） (2023-05-19T06:04:21Z) - It's All in the Heads: Using Attention Heads as a Baseline for
Cross-Lingual Transfer in Commonsense Reasoning [4.200736775540874]
我々は,重みを重み付けした線形分類器を特徴として訓練するコモンセンス推論への簡単なアプローチを設計する。
本手法は,近年のコモンセンス推論における教師なし・教師なしの手法と競合する。
パフォーマンスの大部分は、すべての研究対象言語に対する注目の小さなサブセットによって与えられる。
論文 参考訳（メタデータ） (2021-06-22T21:25:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。