論文の概要: Large Reasoning Models Struggle to Transfer Parametric Knowledge Across Scripts

• arxiv url: http://arxiv.org/abs/2603.17070v1
• Date: Tue, 17 Mar 2026 18:57:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-19 18:32:57.362971
• Title: Large Reasoning Models Struggle to Transfer Parametric Knowledge Across Scripts
• Title（参考訳）: スクリプト間のパラメトリック知識伝達のための大規模推論モデル
• Abstract要約: 知識伝達のギャップの認識は,主にスクリプトバリアであることを示す。 2つのモデルにより良い推論を教えることで、クロススクリプトの転送ギャップが減少することを示す。
• 参考スコア（独自算出の注目度）: 25.655508607609615
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In this work, we analyze shortcomings in cross-lingual knowledge transfer in large, modern reasoning LLMs. We demonstrate that the perceived gap in knowledge transfer is primarily a script barrier. First, we conduct an observational data analysis on the performance of thinking models on two datasets with local knowledge from around the world, ECLeKTic and MultiLoKo. Our regression analysis shows that script match - not language or family - is the primary predictor of knowledge transfer failure once model capability and question difficulty are accounted for. We further this finding by providing the LLMs with the key entities of the questions in their source language and find that this disproportionately improves cross-script questions. We then posit that these LLMs could be reasoning better at test-time. To evaluate this, we develop a synthetic generation pipeline to design SFT samples to encourage the model to better reason about transliteration ambiguities when trying to fetch parametric knowledge at inference-time. We show that teaching two models to reason better reduces the cross-script transfer gap. As a result, we conclude that there is potential to improve cross-lingual parametric knowledge transfer during post-training.
• Abstract（参考訳）: 本研究では,LLMにおける言語間知識伝達の問題点を解析する。 知識伝達のギャップの認識は,主にスクリプトバリアであることを示す。 まず,世界中の地域知識を持つ2つのデータセット,ECLeKTicとMultiLoKoの思考モデルの性能に関する観測データ解析を行った。 我々の回帰分析は、言語や家族ではなくスクリプトマッチングが、モデル能力と疑問の難しさが考慮されれば、知識伝達失敗の第一の予測要因であることを示している。 さらに、この発見は、LLMにソースコードにおける質問のキーエンティティを提供することによって、不均等にクロススクリプトな質問を改善することを発見した。 次に、これらのLCMはテスト時により良い推論をする可能性があると仮定する。 これを評価するために,SFTサンプルを設計する合成生成パイプラインを開発した。 2つのモデルにより良い推論を教えることで、クロススクリプトの転送ギャップが減少することを示す。 その結果,学習後における言語間パラメトリックな知識伝達を改善する可能性が示唆された。

関連論文リスト

• Knowledge Localization in Mixture-of-Experts LLMs Using Cross-Lingual Inconsistency [25.655508607609615]
  そこで我々は,言語間不整合をMixix-of-experts (MoE) LLMの解釈可能性のツールとして活用することを提案する。 我々の知識ローカライゼーションフレームワークは、モデルが失敗する言語からの情報を正しくリコールする言語セットのルーティングとは対照的である。 6000人中20人しか失活していないにもかかわらず、このモデルでは40%以上のケースで正しく答えられなくなりました。
  論文  参考訳（メタデータ） (2026-03-17T19:48:44Z)
• LiveCLKTBench: Towards Reliable Evaluation of Cross-Lingual Knowledge Transfer in Multilingual LLMs [67.09110757873142]
  言語間知識伝達の分離と計測を目的とした自動生成パイプラインであるLiveCLKTBenchを提案する。 我々のパイプラインは、実世界のドメインから自己完結した、時間に敏感な知識エンティティを識別する。 これらの有効なエンティティのドキュメントは、複数の言語に翻訳される事実的な質問を生成するために使用される。
  論文  参考訳（メタデータ） (2025-11-03T17:06:49Z)
• Latent Traits and Cross-Task Transfer: Deconstructing Dataset Interactions in LLM Fine-tuning [8.082936847467638]
  本稿では,タスク間相互作用を識別するために,移動学習行列の構築と次元削減を行う分析フレームワークを提案する。 我々は、潜伏能力(例えば、Reasoning、Sentiment Classification、NLU、Arithmetic)を特定するための10のモデルを訓練し、分析し、伝達学習の副作用を発見する。
  論文  参考訳（メタデータ） (2025-09-17T01:45:42Z)
• The Unreasonable Effectiveness of Model Merging for Cross-Lingual Transfer in LLMs [45.08958917457921]
  大規模言語モデル(LLM)は、ハイソース言語以外のタスクで依然として苦戦している。 本研究では,タスク固有のポストトレーニングデータが不足している低リソース言語への言語間移動について検討する。
  論文  参考訳（メタデータ） (2025-05-23T20:28:31Z)
• Adaptation Odyssey in LLMs: Why Does Additional Pretraining Sometimes Fail to Improve? [19.34040322172224]
  テキストドメイン上でモデルをトレーニングすることは、同じドメインのテスト部分において、その難易度を低下させる可能性があることを示す。 我々の発見は、いつモデルを適応するか、いつ基礎的な能力に頼るかを決める上で、私たちを導くでしょう。
  論文  参考訳（メタデータ） (2024-10-08T00:37:16Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• TEaR: Improving LLM-based Machine Translation with Systematic Self-Refinement [26.26493253161022]
  大規模言語モデル(LLM)は機械翻訳(MT)において印象的な結果を得た 我々は,体系的LLMに基づく自己精製翻訳フレームワーク,textbfTEaRを紹介する。
  論文  参考訳（メタデータ） (2024-02-26T07:58:12Z)
• Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from a Parametric Perspective [106.92016199403042]
  パラメトリック・パースペクティブを用いて,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。 感性に基づく手法を用いて、異なる大言語モデル間で知識固有のパラメータを抽出・調整する。 本研究は,パラメトリックな知識伝達の過程に寄与する重要な要因を明らかにする。
  論文  参考訳（メタデータ） (2023-10-17T17:58:34Z)
• Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
  大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。 LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。 モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
  論文  参考訳（メタデータ） (2023-10-02T01:00:50Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Language Model Prior for Low-Resource Neural Machine Translation [85.55729693003829]
  ニューラル翻訳モデル (TM) において, LM を事前に組み込む新しい手法を提案する。 正規化項を追加し、TMの出力分布をLMの下で予測可能とする。 2つの低リソース機械翻訳データセットの結果は、限られたモノリンガルデータであっても明らかな改善を示している。
  論文  参考訳（メタデータ） (2020-04-30T16:29:56Z)
• Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
  機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。 自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。 また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
  論文  参考訳（メタデータ） (2020-04-09T17:54:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。