論文の概要: LiveCLKTBench: Towards Reliable Evaluation of Cross-Lingual Knowledge Transfer in Multilingual LLMs

• arxiv url: http://arxiv.org/abs/2511.14774v1
• Date: Mon, 03 Nov 2025 17:06:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-23 18:31:12.339879
• Title: LiveCLKTBench: Towards Reliable Evaluation of Cross-Lingual Knowledge Transfer in Multilingual LLMs
• Title（参考訳）: LiveCLKTBench:多言語LLMにおける言語間知識伝達の信頼性評価に向けて
• Authors: Pei-Fu Guo, Yun-Da Tsai, Chun-Chia Hsu, Kai-Xin Chen, Ya-An Tsai, Kai-Wei Chang, Nanyun Peng, Mi-Yen Yeh, Shou-De Lin,
• Abstract要約: 言語間知識伝達の分離と計測を目的とした自動生成パイプラインであるLiveCLKTBenchを提案する。 我々のパイプラインは、実世界のドメインから自己完結した、時間に敏感な知識エンティティを識別する。 これらの有効なエンティティのドキュメントは、複数の言語に翻訳される事実的な質問を生成するために使用される。
• 参考スコア（独自算出の注目度）: 67.09110757873142
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evaluating cross-lingual knowledge transfer in large language models is challenging, as correct answers in a target language may arise either from genuine transfer or from prior exposure during pre-training. We present LiveCLKTBench, an automated generation pipeline specifically designed to isolate and measure cross-lingual knowledge transfer. Our pipeline identifies self-contained, time-sensitive knowledge entities from real-world domains, filters them based on temporal occurrence, and verifies them against the model's knowledge. The documents of these valid entities are then used to generate factual questions, which are translated into multiple languages to evaluate transferability across linguistic boundaries. Using LiveCLKTBench, we evaluate several LLMs across five languages and observe that cross-lingual transfer is strongly influenced by linguistic distance and often asymmetric across language directions. While larger models improve transfer, the gains diminish with scale and vary across domains. These findings provide new insights into multilingual transfer and demonstrate the value of LiveCLKTBench as a reliable benchmark for future research.
• Abstract（参考訳）: 大規模言語モデルにおける言語間知識伝達を評価することは困難であり、対象言語における正しい答えは、真の伝達または事前訓練中の事前露出から生じる可能性がある。 言語間知識伝達の分離と測定に特化して設計された自動生成パイプラインであるLiveCLKTBenchを提案する。 我々のパイプラインは、実世界のドメインから自己完結した、時間に敏感な知識エンティティを特定し、時間的発生に基づいてそれらをフィルタリングし、モデルの知識に対して検証する。 これらの有効なエンティティのドキュメントは、事実的な質問を生成するために使用され、複数の言語に翻訳され、言語境界を越えて転送可能性を評価する。 また,LiveCLKTBenchを用いて5言語にまたがる複数のLLMを評価し,言語間移動が言語間距離の影響を強く受け,言語方向の非対称な場合が多いことを観察した。 より大きなモデルでは転送が改善されるが、スケールによって利得は減少し、ドメインによって異なる。 これらの知見は多言語移動の新たな洞察を与え、LiveCLKTBenchが今後の研究の信頼性の高いベンチマークとなることを実証する。

関連論文リスト

• Beyond the Rosetta Stone: Unification Forces in Generalization Dynamics [56.145578792496714]
  大規模言語モデル(LLM)は言語間知識伝達に苦慮している。 我々は,この現象の原因とダイナミクスを,合成多言語データセット上でスクラッチから小さなトランスフォーマーモデルを訓練することによって研究する。
  論文  参考訳（メタデータ） (2025-08-14T18:44:13Z)
• ECLeKTic: a Novel Challenge Set for Evaluation of Cross-Lingual Knowledge Transfer [40.3285891624575]
  本稿では,言語間の知識伝達を評価する多言語クローズドブックQAデータセットであるECLeKTicを提案する。 われわれは12言語でWikipediaの記事の存在と欠落を利用して、ある言語で事前学習されているが、他の言語では利用できない可能性のある情報の断片を検出した。 現在のSOTAモデルは、知識が獲得された言語における質問に対する回答を予測できるとしても、言語間での知識の効果的な共有に苦慮していることを示す。
  論文  参考訳（メタデータ） (2025-02-28T16:59:30Z)
• Language Models' Factuality Depends on the Language of Inquiry [36.466186024957075]
  13言語にまたがる1万の国関連事実のベンチマークを導入する。 本稿では,Factual Recall Score, Knowledge Transferability Score, Cross-Lingual Factual Knowledge Transferability Scoreの3つの新しい指標を提案する。 我々の結果は、今日の最先端のLMの根本的な弱点を明らかにします。
  論文  参考訳（メタデータ） (2025-02-25T08:27:18Z)
• Exploring Cross-lingual Latent Transplantation: Mutual Opportunities and Open Challenges [48.96952594416528]
  現在の大規模言語モデル(LLM)は多言語能力と文化的適応性に不均衡を示すことが多い。 XTransplantフレームワークは、言語間で潜在的なアクティベーションを移植することで、英語と非英語のリソースの相補的な長所を利用することができる。
  論文  参考訳（メタデータ） (2024-12-17T09:05:30Z)
• Cross-Lingual Transfer Robustness to Lower-Resource Languages on Adversarial Datasets [4.653113033432781]
  多言語言語モデル(MLLM)の言語間伝達能力について検討した。 本研究は,言語間移動とそのNLP応用への応用に関する貴重な知見を提供する。
  論文  参考訳（メタデータ） (2024-03-29T08:47:15Z)
• Analyzing the Evaluation of Cross-Lingual Knowledge Transfer in Multilingual Language Models [12.662039551306632]
  その結果,多言語モデルの高性能化は,実際の言語知識の伝達を必要としない要因が主な原因であることが示唆された。 具体的には、特に低リソース言語において、言語間で転送されたものは、主にデータアーチファクトとバイアスです。
  論文  参考訳（メタデータ） (2024-02-03T09:41:52Z)
• Cross-lingual Lifelong Learning [53.06904052325966]
  本稿では,言語間連続学習(CCL)の評価パラダイムを提案する。 マルチリンガルなシーケンシャルな学習を特に難しいものにするための洞察を提供する。 この分析の意味は、異なる言語間連続学習のデシダータを測り、バランスをとる方法のレシピを含む。
  論文  参考訳（メタデータ） (2022-05-23T09:25:43Z)
• From Zero to Hero: On the Limitations of Zero-Shot Cross-Lingual Transfer with Multilingual Transformers [62.637055980148816]
  言語モデリングの目的によって事前訓練された多言語トランスフォーマーは、NLPの事実上のデフォルト転送パラダイムとなっている。 膨大な多言語変換器による言語間変換は,リソースリーンシナリオや遠方言語では著しく効果が低いことを示す。
  論文  参考訳（メタデータ） (2020-05-01T22:04:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。