論文の概要: Tracing Multilingual Knowledge Acquisition Dynamics in Domain Adaptation: A Case Study of English-Japanese Biomedical Adaptation

• arxiv url: http://arxiv.org/abs/2510.12115v1
• Date: Tue, 14 Oct 2025 03:34:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-15 19:02:32.174977
• Title: Tracing Multilingual Knowledge Acquisition Dynamics in Domain Adaptation: A Case Study of English-Japanese Biomedical Adaptation
• Title（参考訳）: ドメイン適応における多言語知識獲得ダイナミクスの追跡--日英バイオメディカル適応を事例として
• Authors: Xin Zhao, Naoki Yoshinaga, Yuma Tsuta, Akiko Aizawa,
• Abstract要約: 多言語ドメイン適応(ML-DA)は、言語間の新しいドメイン知識を大規模言語モデル(LLM)に学習するために広く用いられている。 本研究では,ML-DA における LLM の学習力学について検討する。 AdaXEvalは、トレーニングに使用される同じバイリンガルドメインコーパスから複数選択QAデータセットを構築する適応評価手法である。
• 参考スコア（独自算出の注目度）: 25.87847731982824
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual domain adaptation (ML-DA) is widely used to learn new domain knowledge across languages into large language models (LLMs). Although many methods have been proposed to improve domain adaptation, the mechanisms of multilingual knowledge acquisition, how domain knowledge is learned within a language and transferred across languages, remain underexplored. This gap leads to suboptimal performance, particularly in low-resource settings. This work examines the learning dynamics of LLMs during ML-DA. Because prior ML-DA studies often train and evaluate on datasets with mismatched knowledge coverage, we propose AdaXEval, an adaptive evaluation method that builds multiple-choice QA datasets from the same bilingual domain corpus used for training, thereby directly studying multilingual knowledge acquisition. Through continual training of LLMs with diverse data recipes, we track how LLMs acquire domain facts and pinpoint the mechanism behind the transformation process from domain training data to knowledge. Our experiments on a 13B English-Japanese bilingual LLM reveal that cross-lingual transfer remains challenging despite a high-quality bilingual corpus. The code has been released.
• Abstract（参考訳）: 多言語ドメイン適応(ML-DA)は、言語全体にわたる新しいドメイン知識を大規模言語モデル(LLM)に学習するために広く用いられている。 ドメイン適応を改善するための多くの手法が提案されているが、多言語知識獲得のメカニズム、ドメイン知識が言語内でどのように学習され、言語間で伝達されるかは、未解明のままである。 このギャップは、特に低リソース設定において、最適以下のパフォーマンスをもたらす。 本研究では,ML-DA における LLM の学習力学について検討する。 ML-DA以前の研究は、しばしば、ミスマッチした知識カバレッジを持つデータセットをトレーニングし、評価するため、トレーニングに使用される同一のバイリンガルドメインコーパスから複数選択QAデータセットを構築する適応評価手法であるAdaXEvalを提案する。 多様なデータレシピによるLLMの継続的なトレーニングを通じて、LLMがドメインの事実を取得する方法を追跡し、ドメインのトレーニングデータから知識への変換プロセスの背後にあるメカニズムを特定します。 ハイクオリティなバイリンガルコーパスにもかかわらず,13Bの英語と日本語のバイリンガルLLMを用いた実験により,クロスリンガルトランスファーは依然として困難であることが判明した。 コードがリリースされた。

関連論文リスト

• The Rise and Down of Babel Tower: Investigating the Evolution Process of Multilingual Code Large Language Model [59.357993924917]
  本研究では,大規模言語モデル(LLM)における事前学習過程における多言語機能の進化について検討する。 本稿では,LLMが新たな言語能力を習得する過程全体を記述したBabel Tower仮説を提案する。 本論文では,多言語コードLLMのための事前学習コーパスを最適化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-12-10T08:28:57Z)
• How Do Multilingual Language Models Remember Facts? [50.13632788453612]
  これまでに同定された英語のリコール機構が多言語文脈に適用可能であることを示す。 我々は、リコール中の言語の役割をローカライズし、エンリッチメントが言語に依存しないことを発見した。 デコーダのみのLLMでは、FVは2つの異なる段階でこれらの2つの情報を構成する。
  論文  参考訳（メタデータ） (2024-10-18T11:39:34Z)
• Adapting Multilingual LLMs to Low-Resource Languages with Knowledge Graphs via Adapters [3.7273829129985305]
  本稿では,言語から多言語大モデル(LLM)へのグラフ知識の統合について検討する。 我々は、感情分析(SA)および名前付きエンティティ認識(NER)における低リソース言語(LRL)の性能向上のために、言語固有のアダプタを使用している。 構造化グラフ知識が,SA および NER における LRL の多言語 LLM の性能に与える影響を評価する。
  論文  参考訳（メタデータ） (2024-07-01T15:56:24Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。