論文の概要: Skill Weaving: Efficient LLM Improvement via Modular Skillpacks

• arxiv url: http://arxiv.org/abs/2605.22205v1
• Date: Thu, 21 May 2026 09:12:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-22 16:35:42.182559
• Title: Skill Weaving: Efficient LLM Improvement via Modular Skillpacks
• Title（参考訳）: スキルウィービング: モジュールスキルパックによる効率的なLCM改善
• Authors: Zhuo Li, Guodong Du, Zesheng Shi, Weiyang Guo, Weijun Yao, Yuan Zhou, Jiabo Zhang, Jing Li,
• Abstract要約: SkillWeaveは、大規模な言語モデルのためのモジュラー改善フレームワークです。 SkillWeaveは、汎用モデルの完全な機能を、モデルの内部知識を再編成し洗練するスキルパックに分割する。 効率的なデプロイメントのために、SkillWeaveはSkillZipを統合して、スキルパックをコンパクトで推論対応のフォーマットに圧縮する。
• 参考スコア（独自算出の注目度）: 11.199248165291822
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models increasingly require specialization across diverse domains, yet existing approaches struggle to balance multi-domain capacities with strict memory and inference constraints. In this work, we introduce SkillWeave, a modular improvement framework that enables LLMs to specialize under fixed memory budgets. SkillWeave partitions full capabilities of a general-purpose model into skillpacks -- lightweight, domain-specific delta modules -- that reorganize and refine the model's internal knowledge. For efficient deployment, SkillWeave integrates SkillZip to compress skillpacks into compact and inference-ready format, enabling strong multi-domain performance with low-latency execution. On multi-task and agentic benchmarks, a 9B SkillWeave model outperforms several baselines and even surpasses a 32B monolithic LLM, while achieving up to 4x speedup.
• Abstract（参考訳）: 大規模な言語モデルでは、さまざまなドメインにまたがる特殊化がますます必要になるが、既存のアプローチでは、複数のドメインの能力と厳格なメモリと推論の制約のバランスをとるのに苦労している。 本研究では,固定メモリ予算下でのLLMの特殊化を実現するモジュール型改善フレームワークであるSkillWeaveを紹介する。 SkillWeaveは、汎用モデルのフル機能 -- 軽量でドメイン固有のデルタモジュール -- に分割することで、モデルの内部知識を再編成し、洗練します。 効率的なデプロイメントのために、SkillWeaveはSkillZipを統合して、スキルパックをコンパクトで推論可能なフォーマットに圧縮し、低レイテンシ実行で強力なマルチドメインパフォーマンスを実現する。 マルチタスクおよびエージェントベンチマークでは、9B SkillWeaveモデルがいくつかのベースラインを上回り、32BモノリシックなLCMを超え、最大4倍のスピードアップを実現している。

関連論文リスト

• MILE: Mixture of Incremental LoRA Experts for Continual Semantic Segmentation across Domains and Modalities [19.243037567371875]
  連続的なセマンティックセグメンテーションは、以前に学んだタスクのパフォーマンスを犠牲にすることなく、新しいドメインやモダリティに適応するモデルを必要とする。 MILEは、ドメインとモダリティをまたいだ連続的なセグメンテーションのための、モジュール的でパラメータ効率のよいフレームワークである。
  論文  参考訳（メタデータ） (2026-05-05T09:27:31Z)
• MOA: Multi-Objective Alignment for Role-Playing Agents [68.67837397211903]
  汎用RPAのための多次元きめ細かなルーリック最適化を実現するための強化学習フレームワークMOAを提案する。 モデルアウトプットの多様性と品質の問題に対処するために、我々は、非政治ガイダンスによる思考強化されたロールアウトも導入している。 このことは、ロール知識、ペルソナスタイル、多様なシナリオ、複雑なマルチターン会話の要求を同時に満たすことができるRPAの構築におけるMOAの大きな可能性を示しています。
  論文  参考訳（メタデータ） (2025-12-10T15:35:11Z)
• Training Matryoshka Mixture-of-Experts for Elastic Inference-Time Expert Utilization [60.309915093470416]
  Matryoshka MoE(M-MoE)は、エキスパートアンサンブルに直接粗い構造を注入するトレーニングフレームワークである。 私たちの作業は、大規模MOEモデルのより実用的で適応可能なデプロイメントの道を開くものです。
  論文  参考訳（メタデータ） (2025-09-30T16:56:44Z)
• OmniBridge: Unified Multimodal Understanding, Generation, and Retrieval via Latent Space Alignment [79.98946571424607]
  我々は,統一アーキテクチャ内での視覚言語理解,生成,検索をサポートする統一フレームワークであるOmniBridgeを提案する。 タスク干渉の課題に対処するために,2段階の非結合型トレーニング戦略を提案する。 実験によると、OmniBridgeは3つのタスクすべてで、競争力や最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-09-23T13:57:55Z)
• AmoebaLLM: Constructing Any-Shape Large Language Models for Efficient and Instant Deployment [13.977849745488339]
  AmoebaLLMは任意の形状の大規模言語モデルの即時導出を可能にする新しいフレームワークである。 AmoebaLLMは、様々なプラットフォームやアプリケーションに適した迅速なデプロイメントを著しく促進する。
  論文  参考訳（メタデータ） (2024-11-15T22:02:28Z)
• Scalable Multi-Domain Adaptation of Language Models using Modular Experts [10.393155077703653]
  MoDEは、モジュール化されたドメインの専門家による一般的なPLMを強化する、エキスパートの混成アーキテクチャである。 MoDEは完全なパラメータの微調整に匹敵する目標性能を達成し、保持性能は1.65%向上した。
  論文  参考訳（メタデータ） (2024-10-14T06:02:56Z)
• MoExtend: Tuning New Experts for Modality and Task Extension [61.29100693866109]
  MoExtendは、Mixture-of-Experts (MoE)モデルのモダリティ適応と拡張を効率化する効果的なフレームワークである。 MoExtendは、新しいエキスパートをトレーニング済みのMoEモデルにシームレスに統合し、トレーニング済みのモデルをチューニングすることなく、新しい知識を提供する。
  論文  参考訳（メタデータ） (2024-08-07T02:28:37Z)
• Uni-MoE: Scaling Unified Multimodal LLMs with Mixture of Experts [54.529880848937104]
  そこで我々は,MoEアーキテクチャをUni-MoEと呼ぶ一貫したMLLMを開発し,様々なモダリティを扱えるようにした。 具体的には、統一マルチモーダル表現のためのコネクタを持つモダリティ特化エンコーダを特徴とする。 マルチモーダルデータセットの包括的集合を用いた命令調整Uni-MoEの評価を行った。
  論文  参考訳（メタデータ） (2024-05-18T12:16:01Z)
• LLM Augmented LLMs: Expanding Capabilities through Composition [56.40953749310957]
  CALM -- 言語モデルの拡張のための構成 -- は、モデル間の相互アテンションを導入して、表現を構成し、新しい機能を有効にする。 低リソース言語で訓練されたより小さなモデルでPaLM2-Sを増強すると、英語への翻訳のようなタスクで最大13%の改善が達成される。 PaLM2-Sがコード固有モデルで拡張されると、コード生成や説明タスクのベースモデルよりも40%向上する。
  論文  参考訳（メタデータ） (2024-01-04T18:53:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。