論文の概要: Analyzing the Effects of Supervised Fine-Tuning on Model Knowledge from Token and Parameter Levels

• arxiv url: http://arxiv.org/abs/2509.16596v1
• Date: Sat, 20 Sep 2025 09:40:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:15.878529
• Title: Analyzing the Effects of Supervised Fine-Tuning on Model Knowledge from Token and Parameter Levels
• Title（参考訳）: モデル知識に対する教師付きファインチューニングの効果の分析 : トークンとパラメータのレベルから
• Authors: Junjie Ye, Yuming Yang, Yang Nan, Shuo Li, Qi Zhang, Tao Gui, Xuanjing Huang, Peng Wang, Zhongchao Shi, Jianping Fan,
• Abstract要約: 大規模言語モデル(LLM)は、事前訓練中にかなりの世界の知識を得る。 教師付き微調整(SFT)のようなポストトレーニング技術はこの知識変化の振る舞いを形作る。 LLaMA-2 と LLaMA-3 の 5 つの LLM を対象としたクローズドブック質問応答 (CBQA) の性能評価を行った。
• 参考スコア（独自算出の注目度）: 72.3670919950349
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) acquire substantial world knowledge during pre-training, which is further shaped by post-training techniques such as supervised fine-tuning (SFT). However, the impact of SFT on a model's knowledge remains underexplored, limiting our ability to control knowledge change behavior in fine-tuned models. To address this gap, we evaluate closed-book question answering (CBQA) performance across five LLMs from the LLaMA-2 and LLaMA-3 families. Surprisingly, models fine-tuned on 1,920 samples perform up to 14% worse than those fine-tuned on only 240 samples. Furthermore, varying the level of knowledge mastery in the fine-tuning data leads to performance fluctuations of over 12%. To investigate these effects, we analyze model behavior at both the token and parameter levels. Our analysis reveals that up to 90% of parameter updates during SFT do not contribute to knowledge enhancement. Restoring these updates can improve performance on the CBQA task, depending on the characteristics of the fine-tuning data. These insights offer practical guidance for developing fine-tuning strategies that more effectively strengthen model knowledge.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、事前訓練中にかなりの世界知識を獲得し、教師付き微調整(SFT)のようなポストトレーニング技術によってさらに形作られる。 しかし、SFTがモデル知識に与える影響は未解明のままであり、微調整モデルにおける知識変化の挙動を制御する能力を制限することができる。 このギャップに対処するため,LLaMA-2 と LLaMA-3 の 5 つの LLM のクローズドブック質問応答 (CBQA) 性能を評価した。 驚くべきことに、1,920個のサンプルを微調整したモデルでは、240個のサンプルのみを微調整したモデルよりも14%も悪化している。 さらに、微調整データにおける知識熟達度の変化は、12%以上のパフォーマンス変動をもたらす。 これらの効果を調べるために,トークンレベルとパラメータレベルのモデル挙動を解析する。 分析の結果,SFTにおけるパラメータ更新の最大90%は知識向上に寄与しないことがわかった。 これらの更新を復元することで、微調整データの特徴によってCBQAタスクのパフォーマンスが向上する。 これらの洞察は、モデル知識をより効果的に強化する微調整戦略を開発するための実践的なガイダンスを提供する。

関連論文リスト

• Massive Supervised Fine-tuning Experiments Reveal How Data, Layer, and Training Factors Shape LLM Alignment Quality [10.74213785908381]
  Supervised Fine-tuning (SFT) は、大きな言語モデルを人間の指示や値に合わせるための重要なステップである。 コード生成、数学的推論、汎用ドメインタスクなど、さまざまなデータセットに基づいて、幅広いベースモデルをトレーニングしました。 我々は、これらの1000以上のSFTモデルとベンチマーク結果をリリースし、さらなる研究を加速する。
  論文  参考訳（メタデータ） (2025-06-17T16:13:15Z)
• CustomKD: Customizing Large Vision Foundation for Edge Model Improvement via Knowledge Distillation [57.91828170220308]
  本稿では,大規模視覚基盤モデル(LVFM)を効果的に活用し,エッジモデルの性能を向上させる知識蒸留手法であるCustomKDを提案する。 我々のシンプルで効果的なCustomKDは、LVFMに固有のよく一般化された特徴を、モデルの違いを減らすために、与えられた学生モデルにカスタマイズする。
  論文  参考訳（メタデータ） (2025-03-23T23:53:08Z)
• Dissecting Fine-Tuning Unlearning in Large Language Models [12.749301272512222]
  微調整に基づく未学習法は、大規模言語モデルにおいて有害で機密性の高い、あるいは著作権のある情報を防ぐために一般的である。 しかし、これらの手法の真の有効性は明らかでない。 本研究では,アクティベーションパッチやリカバリ実験を通じて,微調整に基づくアンラーニングの限界を掘り下げる。
  論文  参考訳（メタデータ） (2024-10-09T06:58:09Z)
• Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models [51.20499954955646]
  大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。 微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。 本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:35:16Z)
• Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration [74.09687562334682]
  Debias and Denoise Attribution (DDA) と呼ばれる新しいトレーニングデータ属性法を導入する。 提案手法は既存のアプローチよりも優れており,平均91.64%のAUCを実現している。 DDAは、様々なソースとLLaMA2、QWEN2、Mistralのような異なるスケールのモデルに対して、強力な汎用性とスケーラビリティを示す。
  論文  参考訳（メタデータ） (2024-10-02T07:14:26Z)
• Injecting New Knowledge into Large Language Models via Supervised Fine-Tuning [13.371405067535814]
  本稿では,Large Language Models(LLMs)における知識注入手法としてのスーパーバイザードファインタニング(SFT)の有効性について検討する。 さまざまなデータセット生成戦略 – トークンベースとファクトベースのスケーリング – を比較して,モデルが新たな情報を学ぶためのトレーニングデータを生成します。 その結果、ドメイン外知識に関連するQ&Aタスクのパフォーマンスが大幅に向上した。
  論文  参考訳（メタデータ） (2024-03-30T01:56:07Z)
• Overcoming Generic Knowledge Loss with Selective Parameter Update [48.240683797965005]
  基礎モデルを継続的に更新する新しい手法を提案する。 すべてのパラメータを均等に更新する代わりに、学習しているタスクに関連するパラメータのスパースセットにアップデートをローカライズします。 提案手法は,学習済みのタスクの精度を最大7%向上すると同時に,学習前知識を0.9%減少させることなく,代表制御セットの精度を低下させる。
  論文  参考訳（メタデータ） (2023-08-23T22:55:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。