論文の概要: Understanding and Leveraging the Expert Specialization of Context Faithfulness in Mixture-of-Experts LLMs

• arxiv url: http://arxiv.org/abs/2508.19594v1
• Date: Wed, 27 Aug 2025 06:07:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-28 19:07:41.511827
• Title: Understanding and Leveraging the Expert Specialization of Context Faithfulness in Mixture-of-Experts LLMs
• Title（参考訳）: 実験用LLMにおける文脈忠実性の専門化の理解と活用
• Authors: Jun Bai, Minghao Tong, Yang Liu, Zixia Jia, Zilong Zheng,
• Abstract要約: 本研究は,特定の専門家が文脈利用に特化しているかどうかを考察する。 我々は,コンテキストファインフルエキスパート(CEFT)を選択的に微調整する軽量な最適化手法として,コンテキストファインフルエキスパート(CEFT)を紹介した。
• 参考スコア（独自算出の注目度）: 33.32130125757288
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Context faithfulness is essential for reliable reasoning in context-dependent scenarios. However, large language models often struggle to ground their outputs in the provided context, resulting in irrelevant responses. Inspired by the emergent expert specialization observed in mixture-of-experts architectures, this work investigates whether certain experts exhibit specialization in context utilization, offering a potential pathway toward targeted optimization for improved context faithfulness. To explore this, we propose Router Lens, a method that accurately identifies context-faithful experts. Our analysis reveals that these experts progressively amplify attention to relevant contextual information, thereby enhancing context grounding. Building on this insight, we introduce Context-faithful Expert Fine-Tuning (CEFT), a lightweight optimization approach that selectively fine-tunes context-faithful experts. Experiments across a wide range of benchmarks and models demonstrate that CEFT matches or surpasses the performance of full fine-tuning while being significantly more efficient.
• Abstract（参考訳）: コンテキスト依存のシナリオにおける信頼できる推論には、コンテキスト忠実性が不可欠である。 しかし、大きな言語モデルは、提供された文脈でアウトプットを基礎づけるのに苦労することが多く、その結果、無関係な応答をもたらす。 本研究は, 専門知識混在型アーキテクチャにおける創発的専門家専門化に触発され, 特定の専門家が文脈利用に特化を示すかどうかを調査し, 改善された文脈忠実性のための目標最適化に向けた潜在的経路を提供する。 そこで本研究では,文脈に忠実な専門家を正確に識別するルータレンズを提案する。 分析の結果,これらの専門家は関係する文脈情報への注意を徐々に増幅し,文脈基盤の強化を図っていることが明らかとなった。 この知見に基づいて、我々は、文脈に忠実なエキスパートを選択的に微調整する軽量な最適化アプローチであるCEFT(Context-faithful Expert Fine-Tuning)を導入する。 幅広いベンチマークやモデルでの実験では、CEFTは完全な微調整のパフォーマンスに匹敵するが、より効率的である。

関連論文リスト

• Mixture of Length and Pruning Experts for Knowledge Graphs Reasoning [9.894106590443714]
  パス探索をパーソナライズする実験用混合フレームワークである textbfMoKGR を提案する。 MoKGRは、トランスダクティブとインダクティブの両方で優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-07-28T03:30:28Z)
• Cooperation of Experts: Fusing Heterogeneous Information with Large Margin [11.522412489437702]
  CoE(Cooperation of Experts)フレームワークは、マルチタイプ情報を統一された異種多重ネットワークにエンコードする。 このフレームワークでは、専用のエンコーダがドメイン固有の専門家として機能し、それぞれが特定の意味空間における異なる関係パターンの学習に特化している。
  論文  参考訳（メタデータ） (2025-05-27T08:04:32Z)
• Unveiling Hidden Collaboration within Mixture-of-Experts in Large Language Models [5.211806751260724]
  本稿では,専門家間の協調パターンを明らかにする階層型スパース辞書学習法を提案する。 また、コントリビューション・アウェア・エキスパート・プルーニング(CAEP)アルゴリズムを導入し、低コントリビューション・エキスパートを効果的に育成する。
  論文  参考訳（メタデータ） (2025-04-16T04:06:15Z)
• Convergence Rates for Softmax Gating Mixture of Experts [78.3687645289918]
  機械学習モデルの効率性とスケーラビリティを向上するための効果的なフレームワークとして、Mixture of Expert (MoE)が登場した。 MoEの成功の中心は、適応的なソフトマックスゲーティングメカニズムであり、各専門家の入力に対する関連性を決定する責任を負い、それぞれの重みを動的に専門家に割り当てる。 標準ソフトマックスゲーティングまたはその変種を備えたMoEの下で,パラメータ推定と専門家推定の収束解析を行い,密度とスパースゲーティングと階層ソフトマックスゲーティングを含む。
  論文  参考訳（メタデータ） (2025-03-05T06:11:24Z)
• Context-DPO: Aligning Language Models for Context-Faithfulness [80.62221491884353]
  本研究では,大規模言語モデルの文脈信頼度を高めるためのアライメント手法を提案する。 ConFiQAから提供されたコンテキストの質問に対する忠実で頑健な応答を活用することで、Context-DPOは直接の選好最適化を通じてLLMを調整します。 大規模な実験により、私たちのContext-DPOは、一般的なオープンソースモデルで35%から280%の改善を達成し、コンテキスト忠実性を大幅に改善します。
  論文  参考訳（メタデータ） (2024-12-18T04:08:18Z)
• Acquiring Diverse Skills using Curriculum Reinforcement Learning with Mixture of Experts [58.220879689376744]
  強化学習(Reinforcement Learning, RL)は, 優れた政策獲得のための強力なアプローチである。 多様なスキルを学習するための textbfDiverse textbfSkill textbfLearning (Di-SkilL) を提案する。 本稿では,Di-SkilLが多種多様なパフォーマンススキルを学習できるロボットシミュレーションタスクについて述べる。
  論文  参考訳（メタデータ） (2024-03-11T17:49:18Z)
• PromptAgent: Strategic Planning with Language Models Enables Expert-level Prompt Optimization [60.00631098364391]
  PromptAgentは、エキスパートレベルのプロンプトを、専門家による手工芸品と同等の品質で作成する最適化手法である。 PromptAgentは人間のような試行錯誤の探索にインスパイアされ、専門家レベルの正確な洞察と詳細な指示を誘導する。 PromptAgentを3つの実践領域にまたがる12のタスクに適用する。
  論文  参考訳（メタデータ） (2023-10-25T07:47:01Z)
• Learning to Specialize: Joint Gating-Expert Training for Adaptive MoEs in Decentralized Settings [41.98633628526484]
  Mixture-of-Experts (MoEs)は、コンポーネントのサブセットを動的に活性化することでスケーラビリティを実現する。 推論コストとデータヘテロジニティにより、ゲーティング関数と専門家の協調トレーニングがドメイン固有の専門知識を割り当てる方法について検討する。
  論文  参考訳（メタデータ） (2023-06-14T15:47:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。