論文の概要: Tracing Multilingual Knowledge Acquisition Dynamics in Domain Adaptation: A Case Study of English-Japanese Biomedical Adaptation

• arxiv url: http://arxiv.org/abs/2510.12115v1
• Date: Tue, 14 Oct 2025 03:34:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.174977
• Title: Tracing Multilingual Knowledge Acquisition Dynamics in Domain Adaptation: A Case Study of English-Japanese Biomedical Adaptation
• Title（参考訳）: ドメイン適応における多言語知識獲得ダイナミクスの追跡--日英バイオメディカル適応を事例として
• Authors: Xin Zhao, Naoki Yoshinaga, Yuma Tsuta, Akiko Aizawa,
• Abstract要約: 多言語ドメイン適応(ML-DA)は、言語間の新しいドメイン知識を大規模言語モデル(LLM)に学習するために広く用いられている。 本研究では,ML-DA における LLM の学習力学について検討する。 AdaXEvalは、トレーニングに使用される同じバイリンガルドメインコーパスから複数選択QAデータセットを構築する適応評価手法である。
• 参考スコア（独自算出の注目度）: 25.87847731982824
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual domain adaptation (ML-DA) is widely used to learn new domain knowledge across languages into large language models (LLMs). Although many methods have been proposed to improve domain adaptation, the mechanisms of multilingual knowledge acquisition, how domain knowledge is learned within a language and transferred across languages, remain underexplored. This gap leads to suboptimal performance, particularly in low-resource settings. This work examines the learning dynamics of LLMs during ML-DA. Because prior ML-DA studies often train and evaluate on datasets with mismatched knowledge coverage, we propose AdaXEval, an adaptive evaluation method that builds multiple-choice QA datasets from the same bilingual domain corpus used for training, thereby directly studying multilingual knowledge acquisition. Through continual training of LLMs with diverse data recipes, we track how LLMs acquire domain facts and pinpoint the mechanism behind the transformation process from domain training data to knowledge. Our experiments on a 13B English-Japanese bilingual LLM reveal that cross-lingual transfer remains challenging despite a high-quality bilingual corpus. The code has been released.
• Abstract（参考訳）: 多言語ドメイン適応(ML-DA)は、言語全体にわたる新しいドメイン知識を大規模言語モデル(LLM)に学習するために広く用いられている。 ドメイン適応を改善するための多くの手法が提案されているが、多言語知識獲得のメカニズム、ドメイン知識が言語内でどのように学習され、言語間で伝達されるかは、未解明のままである。 このギャップは、特に低リソース設定において、最適以下のパフォーマンスをもたらす。 本研究では,ML-DA における LLM の学習力学について検討する。 ML-DA以前の研究は、しばしば、ミスマッチした知識カバレッジを持つデータセットをトレーニングし、評価するため、トレーニングに使用される同一のバイリンガルドメインコーパスから複数選択QAデータセットを構築する適応評価手法であるAdaXEvalを提案する。 多様なデータレシピによるLLMの継続的なトレーニングを通じて、LLMがドメインの事実を取得する方法を追跡し、ドメインのトレーニングデータから知識への変換プロセスの背後にあるメカニズムを特定します。 ハイクオリティなバイリンガルコーパスにもかかわらず,13Bの英語と日本語のバイリンガルLLMを用いた実験により,クロスリンガルトランスファーは依然として困難であることが判明した。 コードがリリースされた。

関連論文リスト

• LiveCLKTBench: Towards Reliable Evaluation of Cross-Lingual Knowledge Transfer in Multilingual LLMs [67.09110757873142]
  言語間知識伝達の分離と計測を目的とした自動生成パイプラインであるLiveCLKTBenchを提案する。 我々のパイプラインは、実世界のドメインから自己完結した、時間に敏感な知識エンティティを識別する。 これらの有効なエンティティのドキュメントは、複数の言語に翻訳される事実的な質問を生成するために使用される。
  論文  参考訳（メタデータ） (2025-11-03T17:06:49Z)
• The Rise and Down of Babel Tower: Investigating the Evolution Process of Multilingual Code Large Language Model [59.357993924917]
  本研究では,大規模言語モデル(LLM)における事前学習過程における多言語機能の進化について検討する。 本稿では,LLMが新たな言語能力を習得する過程全体を記述したBabel Tower仮説を提案する。 本論文では,多言語コードLLMのための事前学習コーパスを最適化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-12-10T08:28:57Z)
• Multilingual Large Language Models: A Systematic Survey [38.972546467173565]
  本稿では,多言語大言語モデル(MLLM)の最新研究を包括的に調査する。 まず,MLLMのアーキテクチャと事前学習の目的について論じ,多言語機能に寄与する重要なコンポーネントや方法論を強調した。 本稿では,MLLMの言語間知識,推論,人的価値との整合性,安全性,解釈可能性,専門的応用に関する詳細な分類とロードマップを示す。
  論文  参考訳（メタデータ） (2024-11-17T13:21:26Z)
• How Do Multilingual Language Models Remember Facts? [50.13632788453612]
  これまでに同定された英語のリコール機構が多言語文脈に適用可能であることを示す。 我々は、リコール中の言語の役割をローカライズし、エンリッチメントが言語に依存しないことを発見した。 デコーダのみのLLMでは、FVは2つの異なる段階でこれらの2つの情報を構成する。
  論文  参考訳（メタデータ） (2024-10-18T11:39:34Z)
• Adapting Multilingual LLMs to Low-Resource Languages with Knowledge Graphs via Adapters [3.7273829129985305]
  本稿では,言語から多言語大モデル(LLM)へのグラフ知識の統合について検討する。 我々は、感情分析(SA)および名前付きエンティティ認識(NER)における低リソース言語(LRL)の性能向上のために、言語固有のアダプタを使用している。 構造化グラフ知識が,SA および NER における LRL の多言語 LLM の性能に与える影響を評価する。
  論文  参考訳（メタデータ） (2024-07-01T15:56:24Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models [117.20416338476856]
  大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。 LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。 以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
  論文  参考訳（メタデータ） (2024-02-26T09:36:05Z)
• X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models [103.75890012041366]
  言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。 しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。 我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
  論文  参考訳（メタデータ） (2020-10-13T05:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。