論文の概要: XPERT: Expert Knowledge Transfer for Effective Training of Language Models

• arxiv url: http://arxiv.org/abs/2605.08842v1
• Date: Sat, 09 May 2026 09:53:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.92619
• Title: XPERT: Expert Knowledge Transfer for Effective Training of Language Models
• Title（参考訳）: XPERT:言語モデルの効果的な訓練のためのエキスパート知識伝達
• Abstract要約: Mixture-of-Experts (MoE)言語モデルは、知識を明示的にルーティングされたエキスパートモジュールにまとめる。 専門家のサブセットが、さまざまな知識ドメインで一貫して活性化されていることが分かりました。 我々はエキスパートの知識を抽出し、統合し、再利用するフレームワークであるXPERTを提案する。
• 参考スコア（独自算出の注目度）: 33.508312430754906
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) language models organize knowledge into explicitly routed expert modules, making expert-level representations traceable and analyzable. By analyzing expert activation patterns in MoE large language models (LLMs), we find that a subset of experts is consistently activated across diverse knowledge domains. These common experts encode cross-domain, generalizable knowledge that is closely related to model generalization, naturally raising the question of how such identifiable expert knowledge can be practically reused. Motivated by this observation, we propose XPERT, a framework that extracts, consolidates, and reuses expert knowledge from pre-trained MoE LLMs to support more effective training of language models across different model scales. XPERT identifies cross-domain experts via inference-only analysis, refines their representations through tensor decomposition, and adapts the extracted knowledge to reuse in downstream models. Experiments on language understanding and dialogue generation benchmarks show that models benefiting from reused expert knowledge achieve consistently stronger performance and faster convergence compared to strong baselines. These results highlight MoE LLMs as structured and reusable knowledge sources, and demonstrate the value of expert-level knowledge reuse for improving model training.
• Abstract（参考訳）: Mixture-of-Experts (MoE)言語モデルは、知識を明示的にルーティングされたエキスパートモジュールにまとめ、専門家レベルの表現をトレース可能で分析可能にする。 MoE大言語モデル(LLM)のエキスパートアクティベーションパターンを分析することで、専門家のサブセットがさまざまな知識領域で一貫して活性化されていることが分かる。 これらの共通専門家は、モデル一般化と密接に関連するクロスドメイン、一般化可能な知識をエンコードし、そのような特定可能な専門家知識を実際どのように再利用できるかという疑問を自然に提起する。 そこで本研究では,学習済みのMOE LLMからエキスパート知識を抽出,統合,再利用するフレームワークであるXPERTを提案する。 XPERTは推論のみの分析を通じてドメイン間の専門家を特定し、テンソル分解によって表現を洗練し、抽出した知識を下流モデルで再利用する。 言語理解と対話生成ベンチマークの実験により、再利用されたエキスパート知識の恩恵を受けるモデルは、強いベースラインに比べて一貫してパフォーマンスとより高速な収束を達成することが示された。 これらの結果は、構造化された再利用可能な知識源としてMoE LLMを強調し、モデルトレーニングを改善するためのエキスパートレベルの知識再利用の価値を実証する。

関連論文リスト

• Expert Divergence Learning for MoE-based Language Models [21.857507958048696]
  本稿では,専門家間の機能的専門化を明確に促進する,新しい事前学習戦略であるExpert Divergence Learningを紹介する。 本手法は,事前学習コーパスに固有のドメインラベルを活用するラベル駆動補助損失を組み込む。 我々は,最大150億パラメータのMoEモデルをスクラッチから事前学習することで,我々のアプローチを検証する。
  論文  参考訳（メタデータ） (2026-02-10T06:58:38Z)
• Probing the Knowledge Boundary: An Interactive Agentic Framework for Deep Knowledge Extraction [29.717986496967978]
  本稿では,大規模言語モデルの知識を体系的に抽出し,定量化する対話型エージェントフレームワークを提案する。 本手法は,異なる粒度で知識を探索する4つの適応探索ポリシーを含む。 我々は、より大きなモデルが常により多くの知識を抽出する明確な知識スケーリング法を観察する。
  論文  参考訳（メタデータ） (2026-02-01T01:43:44Z)
• The Rise of Parameter Specialization for Knowledge Storage in Large Language Models [50.91855620712756]
  言語モデルが高度化するにつれて、それらのパラメータは特殊化を増大させることを示す。 この特殊な知識分布が,これらのモデルにおける知識利用効率の向上に寄与することを実験的に検証した。
  論文  参考訳（メタデータ） (2025-05-22T20:15:01Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• Translating Expert Intuition into Quantifiable Features: Encode Investigator Domain Knowledge via LLM for Enhanced Predictive Analytics [2.330270848695646]
  本稿では,調査対象から得られた洞察を定量的かつ実用的な特徴に体系的に変換することで,ギャップを埋める大規模言語モデルの可能性を探る。 我々は、LLMの自然言語理解機能を活用して、これらの赤いフラグを既存の予測モデルに容易に統合可能な構造化機能セットにエンコードするフレームワークを提案する。 その結果、リスク評価と意思決定精度が大幅に向上し、高度な機械学習技術と人間の経験的知識を融合させることの価値が強調された。
  論文  参考訳（メタデータ） (2024-05-11T13:23:43Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)
• UNTER: A Unified Knowledge Interface for Enhancing Pre-trained Language Models [100.4659557650775]
  構造化知識と非構造化知識の両方を活用する統一的な視点を提供するために、統一知識インターフェイスUNTERを提案する。 どちらの形態の知識も注入され、UNTERは一連の知識駆動NLPタスクの継続的な改善を得る。
  論文  参考訳（メタデータ） (2023-05-02T17:33:28Z)
• LM-CORE: Language Models with Contextually Relevant External Knowledge [13.451001884972033]
  モデルパラメータに大量の知識を格納することは、絶え間なく増加する知識とリソースの要求を考えると、準最適である、と我々は主張する。 LM-CORE - これを実現するための一般的なフレームワークで、外部の知識ソースから言語モデルのトレーニングをテキストデカップリングすることができる。 実験結果から, LM-COREは知識探索タスクにおいて, 最先端の知識強化言語モデルよりも大きく, 堅牢な性能を実現していることがわかった。
  論文  参考訳（メタデータ） (2022-08-12T18:59:37Z)
• Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
  本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。 このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。 特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
  論文  参考訳（メタデータ） (2021-10-15T21:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。