論文の概要: LoKI: Low-damage Knowledge Implanting of Large Language Models

• arxiv url: http://arxiv.org/abs/2505.22120v1
• Date: Wed, 28 May 2025 08:47:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.510298
• Title: LoKI: Low-damage Knowledge Implanting of Large Language Models
• Title（参考訳）: LoKI: 大規模言語モデルの低ダメージ知識注入
• Authors: Runyu Wang, Peng Ping, Zhengyu Guo, Xiaoye Zhang, Quan Shi, Liting Zhou, Tianbo Ji,
• Abstract要約: 微調整は特定のタスクに対して事前訓練されたモデルに適応するが、破滅的忘れ(CF)のリスクを引き起こす textbfLow-damage textbfKnowledge textbfImplanting (textbfLoKI)を提案する。 2つの実世界のシナリオにおいて、LoKIは、完全な微調整とLoRAベースのメソッドに匹敵する、あるいはそれ以上のタスク固有のパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 2.4960414918961855
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning adapts pretrained models for specific tasks but poses the risk of catastrophic forgetting (CF), where critical knowledge from pre-training is overwritten. Current Parameter-Efficient Fine-Tuning (PEFT) methods for Large Language Models (LLMs), while efficient, often sacrifice general capabilities. To address the issue of CF in a general-purpose PEFT framework, we propose \textbf{Lo}w-damage \textbf{K}nowledge \textbf{I}mplanting (\textbf{LoKI}), a PEFT technique that is based on a mechanistic understanding of how knowledge is stored in transformer architectures. In two real-world scenarios, LoKI demonstrates task-specific performance that is comparable to or even surpasses that of full fine-tuning and LoRA-based methods across various model types, while significantly better preserving general capabilities. Our work connects mechanistic insights into LLM knowledge storage with practical fine-tuning objectives, achieving state-of-the-art trade-offs between task specialization and the preservation of general capabilities. Our implementation is publicly available as ready-to-use code\footnote{https://github.com/Nexround/LoKI}.
• Abstract（参考訳）: 微調整は、特定のタスクに対して事前訓練されたモデルに適応するが、事前訓練からの重要な知識が上書きされる破滅的な忘れ(CF)のリスクを生じさせる。 LLM(Large Language Models)に対する現在のパラメータ効率の良い細調整(PEFT)手法は効率的だが、一般的な機能を犠牲にすることが多い。 汎用PEFTフレームワークにおけるCFの課題に対処するため,トランスフォーマーアーキテクチャにおける知識の格納方法の機械的理解に基づくPEFT手法である \textbf{Lo}w-damage \textbf{K}nowledge \textbf{I}mplanting (\textbf{LoKI})を提案する。 実世界の2つのシナリオにおいて、LoKIは、さまざまなモデルタイプにわたる完全な微調整とLoRAベースのメソッドに匹敵する、あるいはそれ以上のタスク固有のパフォーマンスを示す。 本研究は,LLMの知識記憶に関する力学的な知見を実践的な微調整の目的と結びつけ,タスクの専門化と一般的な能力の保存の最先端のトレードオフを実現する。 私たちの実装は、利用可能なcode\footnote{https://github.com/Nexround/LoKI}として公開されています。

関連論文リスト

• Quantifying Memory Utilization with Effective State-Size [73.52115209375343]
  「我々は、テキスト・メモリ利用の尺度を策定する。」 この計量は、textitinput-invariant および textitinput-variant linear operator を持つシステムの基本的なクラスに適合する。
  論文  参考訳（メタデータ） (2025-04-28T08:12:30Z)
• Training Plug-n-Play Knowledge Modules with Deep Context Distillation [52.94830874557649]
  本稿では,文書レベルの知識モジュール(KM)をトレーニングすることで,知識をモジュール化する手法を提案する。 KMはパラメータ効率のよいLoRAモジュールとして実装された軽量コンポーネントで、新しいドキュメントに関する情報を格納するように訓練されている。 提案手法は,2つのデータセットにまたがって,標準的な次世代予測および事前指導訓練技術より優れる。
  論文  参考訳（メタデータ） (2025-03-11T01:07:57Z)
• Fortify Your Foundations: Practical Privacy and Security for Foundation Model Deployments In The Cloud [17.961272750854885]
  ファンデーションモデル(FM)は自然言語処理などのタスクにおいて例外的なパフォーマンスを示す。 FMは、しばしば、プライベートデータに依存するRetrieval-Augmented Generation (RAG)システムに微調整または統合される。 本研究では,FM脅威モデルについて検討し,その安全性を確保するための様々なアプローチの実用性と包括性について考察する。
  論文  参考訳（メタデータ） (2024-10-08T11:33:09Z)
• KIF: Knowledge Identification and Fusion for Language Model Continual Learning [41.28933724210434]
  言語モデルのための新しいフレームワーク、Knowledge Identification and Fusion (KIF)を紹介する。 KIFはパラメータ依存に基づいてモデルを'スキルユニット'に分離し、より正確な制御を可能にする。 新たな課題に対するスキルユニットの重要性の分布を確認するために,新しいグループ単位の知識識別技術を採用している。 その結果、KIFは、事前知識の保持と、新しいタスクの卓越とを最適なバランスで達成する。
  論文  参考訳（メタデータ） (2024-08-09T17:44:45Z)
• LoRAMoE: Alleviate World Knowledge Forgetting in Large Language Models via MoE-Style Plugin [85.16356890023582]
  ルータネットワークを用いてローランクアダプタ(LoRA)を複数導入し,それらを統合する新しいフレームワークであるLoRAMoEを提案する。 バックボーンモデルを凍結し、LoRAの一部をダウンストリームタスクの解決に世界の知識を活用することに集中させます。 実験の結果、命令データが増加するにつれて、LoRAMoEは下流タスクの処理能力を大幅に改善できることがわかった。
  論文  参考訳（メタデータ） (2023-12-15T17:45:06Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。