論文の概要: GenKnowSub: Improving Modularity and Reusability of LLMs through General Knowledge Subtraction

• arxiv url: http://arxiv.org/abs/2505.10939v1
• Date: Fri, 16 May 2025 07:23:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:14.27028
• Title: GenKnowSub: Improving Modularity and Reusability of LLMs through General Knowledge Subtraction
• Title（参考訳）: GenKnowSub:一般知識サブトラクションによるLCMのモジュール性と再利用性の向上
• Authors: Mohammadtaha Bagherifard, Sahar Rajabi, Ali Edalat, Yadollah Yaghoobzadeh,
• Abstract要約: 本稿では,一般的な知識とタスク固有の適応の絡み合いを解消するモジュラーフレームワークを提案する。 各タスク固有モジュールからこの一般知識成分を抽出することにより、タスク関連情報にのみ焦点をあてた残余モジュールを得る。 Phi-3モデルと標準Arrowをベースラインとして研究した結果,一般知識を用いて一貫した性能向上が得られることがわかった。
• 参考スコア（独自算出の注目度）: 5.2078428584067815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models often struggle with zero-shot generalization, and several modular approaches have been proposed to address this challenge. Yet, we hypothesize that a key limitation remains: the entanglement of general knowledge and task-specific adaptations. To overcome this, we propose a modular framework that disentangles these components by constructing a library of task-specific LoRA modules alongside a general-domain LoRA. By subtracting this general knowledge component from each task-specific module, we obtain residual modules that focus more exclusively on task-relevant information, a method we call general knowledge subtraction (GenKnowSub). Leveraging the refined task-specific modules and the Arrow routing algorithm \citep{ostapenko2024towards}, we dynamically select and combine modules for new inputs without additional training. Our studies on the Phi-3 model and standard Arrow as baselines reveal that using general knowledge LoRAs derived from diverse languages, including English, French, and German, yields consistent performance gains in both monolingual and cross-lingual settings across a wide set of benchmarks. Further experiments on Phi-2 demonstrate how GenKnowSub generalizes to weaker LLMs. The complete code and data are available at https://github.com/saharsamr/Modular-LLM.
• Abstract（参考訳）: 大規模言語モデルはゼロショットの一般化に苦しむことが多く、この問題に対処するためにいくつかのモジュラーアプローチが提案されている。 しかし、我々は、一般的な知識の絡み合いとタスク固有の適応という、重要な制限が残っていると仮定する。 これを解決するために,汎用ドメイン LoRA とともにタスク固有の LoRA モジュールのライブラリを構築することで,これらのコンポーネントをアンタングル化するモジュラーフレームワークを提案する。 この一般知識成分を各タスク固有モジュールから抽出することにより、タスク関連情報にのみ焦点をあてる残余モジュール(GenKnowSub)を得る。 改良されたタスク固有モジュールとArrowルーティングアルゴリズムを応用して,新たな入力に対するモジュールを動的に選択・結合する。 ベースラインとしてのPhi-3モデルと標準Arrowに関する研究により、英語、フランス語、ドイツ語など多種多様な言語から派生した一般知識を用いて、幅広いベンチマークでモノリンガルとクロスランガルの両方で一貫した性能向上が得られることが明らかになった。 Phi-2 に関するさらなる実験は、GenKnowSub がより弱い LLM に一般化することを示す。 完全なコードとデータはhttps://github.com/saharsamr/Modular-LLM.comで入手できる。

関連論文リスト

• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Agent Lumos: Unified and Modular Training for Open-Source Language Agents [89.78556964988852]
  LUMOSは、オープンソースのLLMベースのエージェントをトレーニングするための最初のフレームワークの1つです。 LUMOSは、高レベルなサブゴール生成を学習する計画モジュールを備えた、学習可能で統一されたモジュラーアーキテクチャを備えている。 我々は、多様な地道理理性から導かれた大規模で統一的で高品質なトレーニングアノテーションを収集する。
  論文  参考訳（メタデータ） (2023-11-09T00:30:13Z)
• CodeChain: Towards Modular Code Generation Through Chain of Self-revisions with Representative Sub-modules [51.82044734879657]
  我々は,自己修正の連鎖を通じてモジュール化されたコード生成を誘発する,新しい推論フレームワークであるCodeChainを提案する。 CodeChainは、生成したソリューションのモジュール性と正確性の両方を大幅に向上させ、APPSで35%、CodeContestsで76%の相対パス@1の改善を実現しています。
  論文  参考訳（メタデータ） (2023-10-13T10:17:48Z)
• Knowledge Card: Filling LLMs' Knowledge Gaps with Plug-in Specialized Language Models [46.079902719883414]
  我々は,新しい事実と関連する知識を汎用言語モデルにプラグインするモジュール型フレームワークであるKnowledge Cardを提案する。 まず、特定のドメインやソースからコーパスで訓練された特殊な言語モデルであるナレッジカードを紹介します。 次に,知識カードが生成した文書中の情報を動的に選択・保持する3つのコンテンツセレクタを提案する。
  論文  参考訳（メタデータ） (2023-05-17T05:25:27Z)
• Continual Learning via Local Module Composition [11.380264053565082]
  ローカルモジュール合成 (LMC) は、モジュール型連続学習のアプローチである。 LMCは各モジュールに、モジュールの入力に対する関連性を推定するローカルな構造コンポーネントを提供する。
  論文  参考訳（メタデータ） (2021-11-15T13:34:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。