論文の概要: Routing Distilled Knowledge via Mixture of LoRA Experts for Large Language Model based Bundle Generation

• arxiv url: http://arxiv.org/abs/2508.17250v1
• Date: Sun, 24 Aug 2025 08:19:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.425782
• Title: Routing Distilled Knowledge via Mixture of LoRA Experts for Large Language Model based Bundle Generation
• Title（参考訳）: 大規模言語モデルに基づくバンドル生成のためのLoRAエキスパートの混合による蒸留知識のルーティング
• Authors: Kaidong Feng, Zhu Sun, Hui Fang, Jie Yang, Wenyuan Liu, Yew-Soon Ong,
• Abstract要約: RouteDKは、蒸留された知識をLoRA専門家の混合を通してルーティングするためのフレームワークである。 まず,教師のLLMから2つの相補型でバンドル生成の知識を抽出する。 次に、基礎となるLoRA専門家と一緒に、知識の種類ごとに知識固有のLoRA専門家を訓練します。
• 参考スコア（独自算出の注目度）: 39.36438486578735
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have shown potential in automatic bundle generation but suffer from prohibitive computational costs. Although knowledge distillation offers a pathway to more efficient student models, our preliminary study reveals that naively integrating diverse types of distilled knowledge from teacher LLMs into student LLMs leads to knowledge conflict, negatively impacting the performance of bundle generation. To address this, we propose RouteDK, a framework for routing distilled knowledge through a mixture of LoRA expert architecture. Specifically, we first distill knowledge from the teacher LLM for bundle generation in two complementary types: high-level knowledge (generalizable rules) and fine-grained knowledge (session-specific reasoning). We then train knowledge-specific LoRA experts for each type of knowledge together with a base LoRA expert. For effective integration, we propose a dynamic fusion module, featuring an input-aware router, where the router balances expert contributions by dynamically determining optimal weights based on input, thereby effectively mitigating knowledge conflicts. To further improve inference reliability, we design an inference-time enhancement module to reduce variance and mitigate suboptimal reasoning. Experiments on three public datasets show that our RouteDK achieves accuracy comparable to or even better than the teacher LLM, while maintaining strong computational efficiency. In addition, it outperforms state-of-the-art approaches for bundle generation.
• Abstract（参考訳）: 大規模言語モデル (LLM) は自動バンドル生成の可能性を示しているが、計算コストの制限に悩まされている。 知識蒸留は、より効率的な学生モデルへの道筋を提供するが、予備的な研究では、教師のLLMから学生のLLMに様々な種類の蒸留知識を統合することによって、知識の衝突が生じ、バンドル生成の性能に悪影響を及ぼすことが明らかとなった。 そこで我々は,LoRAエキスパートアーキテクチャの混合による蒸留知識のルーティングフレームワークであるRouteDKを提案する。 具体的には,まず,高レベルな知識(一般化可能な規則)ときめ細かい知識(セッション固有の推論)の2つの相補的なタイプのバンドル生成について,教師のLLMから知識を抽出する。 次に、基礎となるLoRA専門家と一緒に、知識の種類ごとに知識固有のLoRA専門家を訓練します。 提案手法は,入力を意識したルータを特徴とする動的融合モジュールで,入力に基づいて最適な重み付けを動的に決定することで,専門家のコントリビューションのバランスを保ち,知識衝突を効果的に軽減する。 推論信頼性をさらに向上するため、分散を低減し、最適部分推論を緩和する推論時間拡張モジュールを設計する。 3つの公開データセットの実験により、我々のRouteDKは、強力な計算効率を維持しながら、教師のLLMに匹敵する精度を達成していることが示された。 さらに、バンドル生成における最先端のアプローチよりも優れています。

関連論文リスト

• Does Knowledge Distillation Matter for Large Language Model based Bundle Generation? [13.491190612749534]
  知識蒸留は有望な解決策であり、大きな教師モデルからコンパクトな学生モデルに専門知識を移す。 本研究では,バンドル生成のための知識蒸留手法を体系的に検討し,性能を保ちながら計算要求を最小限に抑えることを目的とした。 i) 知識(パターン,ルール,深い思考)を段階的に抽出し, (ii) 異なる戦略を通じて様々な量の蒸留知識を抽出し, (iii) ドメイン固有適応のための補完的なLCM適応技術と効率の向上を活用できる包括的KDフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-24T03:18:16Z)
• LoRASculpt: Sculpting LoRA for Harmonizing General and Specialized Knowledge in Multimodal Large Language Models [61.96237184081951]
  Low-Rank Adaptation (LoRA)はマルチモーダル大規模言語モデル(MLLM)における専門知識の獲得に広く利用されている。 LoRAは、視覚的インストラクションチューニング中にかなり有害な冗長性を導入し、一般的な知識の忘れを悪化させ、下流のタスク性能を低下させる。 有害な冗長パラメータを排除し,一般知識と専門知識の調和を図るため,LoRASculptを提案する。
  論文  参考訳（メタデータ） (2025-03-21T04:31:09Z)
• How Much Knowledge Can You Pack into a LoRA Adapter without Harming LLM? [55.33467849079774]
  ローランク適応(ローランク適応、LoRA)は、大規模言語モデルの更新やドメイン固有適応のための一般的かつ効率的な訓練手法である。 これまでに学習した知識を損なうことなく, LoRA を用いて LLM に新たな事実を組み込む方法について検討した。
  論文  参考訳（メタデータ） (2025-02-20T12:31:03Z)
• Resolving Editing-Unlearning Conflicts: A Knowledge Codebook Framework for Large Language Model Updating [61.70705744491162]
  大きな言語モデル(LLM)は、人間の知識を符号化することで自然言語処理に優れる。 LLMの更新には、不要な知識を取り除くための学習と、新しい情報を統合するための編集という、2つの重要なタスクが同時に行われる。 知識コードブックに基づく LLM 更新のためのコンフリクトフリーフレームワーク Loka を提案する。
  論文  参考訳（メタデータ） (2025-01-31T20:48:46Z)
• CartesianMoE: Boosting Knowledge Sharing among Experts via Cartesian Product Routing in Mixture-of-Experts [36.385301311200905]
  Mixture-of-Experts(MoE)モデルは、トレーニングや推論コストを大幅に高めることなく、モデルのサイズを拡大可能にする。 MoEモデルは、専門家間の知識共有に関する課題に直面し、そのパフォーマンスをルーティング精度に何らかの敏感にする。 本稿では,より効果的な知識共有を実現するCartesianMoEを提案する。
  論文  参考訳（メタデータ） (2024-10-21T14:55:59Z)
• GIVE: Structured Reasoning of Large Language Models with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを融合して、最小の外部入力で正確な推論を改善する新しい推論手法である。 GIVE は LLM エージェントをガイドして,最も関連する専門家データ (observe) を選択し,クエリ固有の発散思考 (reflect) に従事し,その情報を合成して最終的な出力 (speak) を生成する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• Efficient and Deployable Knowledge Infusion for Open-World Recommendations via Large Language Models [53.547190001324665]
  大規模言語モデル(LLM)からユーザとアイテムに関する2種類の外部知識を取得するためのREKIを提案する。 個別の知識抽出と個別の知識抽出を,異なるシナリオのスケールに合わせて開発し,オフラインのリソース消費を効果的に削減する。 実験によると、REKIは最先端のベースラインより優れており、多くの推奨アルゴリズムやタスクと互換性がある。
  論文  参考訳（メタデータ） (2024-08-20T03:45:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。