論文の概要: LoKI: Low-damage Knowledge Implanting of Large Language Models

• arxiv url: http://arxiv.org/abs/2505.22120v1
• Date: Wed, 28 May 2025 08:47:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.510298
• Title: LoKI: Low-damage Knowledge Implanting of Large Language Models
• Title（参考訳）: LoKI: 大規模言語モデルの低ダメージ知識注入
• Authors: Runyu Wang, Peng Ping, Zhengyu Guo, Xiaoye Zhang, Quan Shi, Liting Zhou, Tianbo Ji,
• Abstract要約: 微調整は特定のタスクに対して事前訓練されたモデルに適応するが、破滅的忘れ(CF)のリスクを引き起こす textbfLow-damage textbfKnowledge textbfImplanting (textbfLoKI)を提案する。 2つの実世界のシナリオにおいて、LoKIは、完全な微調整とLoRAベースのメソッドに匹敵する、あるいはそれ以上のタスク固有のパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 2.4960414918961855
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning adapts pretrained models for specific tasks but poses the risk of catastrophic forgetting (CF), where critical knowledge from pre-training is overwritten. Current Parameter-Efficient Fine-Tuning (PEFT) methods for Large Language Models (LLMs), while efficient, often sacrifice general capabilities. To address the issue of CF in a general-purpose PEFT framework, we propose \textbf{Lo}w-damage \textbf{K}nowledge \textbf{I}mplanting (\textbf{LoKI}), a PEFT technique that is based on a mechanistic understanding of how knowledge is stored in transformer architectures. In two real-world scenarios, LoKI demonstrates task-specific performance that is comparable to or even surpasses that of full fine-tuning and LoRA-based methods across various model types, while significantly better preserving general capabilities. Our work connects mechanistic insights into LLM knowledge storage with practical fine-tuning objectives, achieving state-of-the-art trade-offs between task specialization and the preservation of general capabilities. Our implementation is publicly available as ready-to-use code\footnote{https://github.com/Nexround/LoKI}.
• Abstract（参考訳）: 微調整は、特定のタスクに対して事前訓練されたモデルに適応するが、事前訓練からの重要な知識が上書きされる破滅的な忘れ(CF)のリスクを生じさせる。 LLM(Large Language Models)に対する現在のパラメータ効率の良い細調整(PEFT)手法は効率的だが、一般的な機能を犠牲にすることが多い。 汎用PEFTフレームワークにおけるCFの課題に対処するため,トランスフォーマーアーキテクチャにおける知識の格納方法の機械的理解に基づくPEFT手法である \textbf{Lo}w-damage \textbf{K}nowledge \textbf{I}mplanting (\textbf{LoKI})を提案する。 実世界の2つのシナリオにおいて、LoKIは、さまざまなモデルタイプにわたる完全な微調整とLoRAベースのメソッドに匹敵する、あるいはそれ以上のタスク固有のパフォーマンスを示す。 本研究は,LLMの知識記憶に関する力学的な知見を実践的な微調整の目的と結びつけ,タスクの専門化と一般的な能力の保存の最先端のトレードオフを実現する。 私たちの実装は、利用可能なcode\footnote{https://github.com/Nexround/LoKI}として公開されています。

関連論文リスト

• Quantifying Memory Utilization with Effective State-Size [73.52115209375343]
  「我々は、テキスト・メモリ利用の尺度を策定する。」 この計量は、textitinput-invariant および textitinput-variant linear operator を持つシステムの基本的なクラスに適合する。
  論文  参考訳（メタデータ） (2025-04-28T08:12:30Z)
• Training Plug-n-Play Knowledge Modules with Deep Context Distillation [52.94830874557649]
  本稿では,文書レベルの知識モジュール(KM)をトレーニングすることで,知識をモジュール化する手法を提案する。 KMはパラメータ効率のよいLoRAモジュールとして実装された軽量コンポーネントで、新しいドキュメントに関する情報を格納するように訓練されている。 提案手法は,2つのデータセットにまたがって,標準的な次世代予測および事前指導訓練技術より優れる。
  論文  参考訳（メタデータ） (2025-03-11T01:07:57Z)
• How to Alleviate Catastrophic Forgetting in LLMs Finetuning? Hierarchical Layer-Wise and Element-Wise Regularization [15.434072331989878]
  大きな言語モデル(LLM)は、強力な汎用言語能力を示す。 これらのモデルをドメイン固有のタスクで微調整すると、大惨な忘れがちになり、そこではモデルが事前訓練中に得られた重要な知識を上書きまたは失う。 本研究では,微調整時の一般知識の保存に不可欠なモデルパラメータの要素的重要性を計算するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-23T13:54:53Z)
• KaSA: Knowledge-Aware Singular-Value Adaptation of Large Language Models [11.07333593086842]
  知識認識型特異値適応(KaSA) 本稿では,知識認識特異値を用いた特異値分解(SVD)を利用したPEFT手法である知識認識特異値適応(KaSA)を導入し,その課題との関連性に基づいて,知識を動的に活性化する。 実験の結果、KaSAは16のベンチマークと4つの合成データセットでFFTと14のPEFTベースラインを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-12-08T21:26:22Z)
• Fortify Your Foundations: Practical Privacy and Security for Foundation Model Deployments In The Cloud [17.961272750854885]
  ファンデーションモデル(FM)は自然言語処理などのタスクにおいて例外的なパフォーマンスを示す。 FMは、しばしば、プライベートデータに依存するRetrieval-Augmented Generation (RAG)システムに微調整または統合される。 本研究では,FM脅威モデルについて検討し,その安全性を確保するための様々なアプローチの実用性と包括性について考察する。
  論文  参考訳（メタデータ） (2024-10-08T11:33:09Z)
• KIF: Knowledge Identification and Fusion for Language Model Continual Learning [41.28933724210434]
  言語モデルのための新しいフレームワーク、Knowledge Identification and Fusion (KIF)を紹介する。 KIFはパラメータ依存に基づいてモデルを'スキルユニット'に分離し、より正確な制御を可能にする。 新たな課題に対するスキルユニットの重要性の分布を確認するために,新しいグループ単位の知識識別技術を採用している。 その結果、KIFは、事前知識の保持と、新しいタスクの卓越とを最適なバランスで達成する。
  論文  参考訳（メタデータ） (2024-08-09T17:44:45Z)
• LEARN: Knowledge Adaptation from Large Language Model to Recommendation for Practical Industrial Application [54.984348122105516]
  Llm-driven knowlEdge Adaptive RecommeNdation (LEARN)フレームワークは、オープンワールドの知識と協調的な知識をシナジする。 オープンワールドの知識と協調的な知識を相乗化するLlm-driven knowlEdge Adaptive RecommeNdation (LEARN) フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-07T04:00:30Z)
• Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models [90.14693869269519]
  MoE LLMはより少ないパラメータで高いパフォーマンスを実現することができるが、パラメータサイズが大きいためデプロイは困難である。 本稿では主に,プラグ・アンド・プレイ・エキスパートレベルのスペーシフィケーション技術を導入することで,MoE LLMの展開効率を向上させることを目的としている。
  論文  参考訳（メタデータ） (2024-02-22T18:56:07Z)
• Parameter-Efficient Sparsity Crafting from Dense to Mixture-of-Experts for Instruction Tuning on General Tasks [5.536630285985836]
  パラメータ効率のスペシャリティクラフト (PESC) を導入する。 PESCは、Mix-of-experts (MoE)アーキテクチャを使って、密集したモデルをスパースモデルに加工する。 我々の最良スパースモデルは他のスパースモデルよりも優れ、GP3.5に比べて優れた一般性を示す。
  論文  参考訳（メタデータ） (2024-01-05T09:58:09Z)
• LoRAMoE: Alleviate World Knowledge Forgetting in Large Language Models via MoE-Style Plugin [85.16356890023582]
  ルータネットワークを用いてローランクアダプタ(LoRA)を複数導入し,それらを統合する新しいフレームワークであるLoRAMoEを提案する。 バックボーンモデルを凍結し、LoRAの一部をダウンストリームタスクの解決に世界の知識を活用することに集中させます。 実験の結果、命令データが増加するにつれて、LoRAMoEは下流タスクの処理能力を大幅に改善できることがわかった。
  論文  参考訳（メタデータ） (2023-12-15T17:45:06Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。