論文の概要: Unveiling Over-Memorization in Finetuning LLMs for Reasoning Tasks

• arxiv url: http://arxiv.org/abs/2508.04117v2
• Date: Sun, 28 Sep 2025 03:13:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:18.756165
• Title: Unveiling Over-Memorization in Finetuning LLMs for Reasoning Tasks
• Title（参考訳）: 追従作業のための微視的LLMにおける過度記憶の解き方
• Authors: Zhiwen Ruan, Yun Chen, Yutao Hou, Peng Li, Yang Liu, Guanhua Chen,
• Abstract要約: 事前訓練された大言語モデル (LLM) はラベル付きデータで微調整され、人間の値に適合する。 本研究では,LLMファインタニングの学習ダイナミクスを推論タスクで研究し,その過記憶現象を明らかにする。 この効果を緩和するために,チェックポイントマージやメモリ化対応リウェイトといった手法を提案する。
• 参考スコア（独自算出の注目度）: 10.807620342718309
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The pretrained large language models (LLMs) are finetuned with labeled data for better instruction following ability and alignment with human values. In this paper, we study the learning dynamics of LLM finetuning on reasoning tasks and reveal the uncovered over-memorization phenomenon during a specific stage of LLM finetuning. At this stage, the LLMs have excessively memorized training data and exhibit high test perplexity while maintaining good test accuracy. We explore the conditions that contribute to over-memorization and discover that this issue is prevalent across various tasks, models, and fine-tuning methods, with prolonged training and large learning rates exacerbating the problem. Although models with over-memorization demonstrate comparable test accuracy to normal models, they suffer from reduced robustness, poor out-of-distribution generalization, and decreased generation diversity. In light of our findings on over-memorization, we offer recommendations for checkpoint selection and propose techniques such as checkpoint merging and memorization-aware reweighting to mitigate this effect.
• Abstract（参考訳）: 事前訓練された大言語モデル (LLM) はラベル付きデータで微調整され、より優れた命令従性および人間の値との整合性を実現する。 本稿では, LLMファインタニングの学習ダイナミクスを推論タスクで研究し, LLMファインタニングの特定の段階での過記憶現象を明らかにする。 この段階では、LLMは過剰なトレーニングデータを記憶し、良好なテスト精度を維持しながら高いテストパープレキシティを示す。 記憶過剰に寄与する条件を探索し、この問題が様々なタスク、モデル、微調整方法にまたがっていることを発見し、長いトレーニングと大きな学習率により問題を悪化させる。 記憶過剰なモデルでは、通常のモデルと同等のテスト精度を示すが、頑健さの低下、分布外一般化の低下、生成の多様性の低下に悩まされている。 過記憶化に関する知見を踏まえて,チェックポイントの選択を推奨するとともに,チェックポイントのマージや記憶の重み付けなどの手法を提案し,その効果を緩和する。

関連論文リスト

• Test-Time Learning for Large Language Models [33.11605667376906]
  大規模言語モデル(LLM)のためのテスト時間学習(TTL)パラダイムを提案する。 LLMはテスト中にラベルなしのテストデータのみを使用してターゲットドメインに動的に適応する。 TLMはドメイン知識適応における元のLLMと比較して少なくとも20%性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-05-27T02:18:59Z)
• Learn from Downstream and Be Yourself in Multimodal Large Language Model Fine-Tuning [104.27224674122313]
  微調整MLLMは、特定の下流タスクのパフォーマンスを改善するための一般的なプラクティスとなっている。 一般化と特殊化のトレードオフのバランスをとるために,事前学習と微調整の両方におけるパラメータの重要度を測定することを提案する。
  論文  参考訳（メタデータ） (2024-11-17T01:16:37Z)
• Dynamic Uncertainty Ranking: Enhancing Retrieval-Augmented In-Context Learning for Long-Tail Knowledge in LLMs [50.29035873837]
  大規模言語モデル(LLM)は、事前訓練中に多様なドメインから膨大な量の知識を学習することができる。 専門ドメインからの長い尾の知識は、しばしば不足し、表現されていないため、モデルの記憶にはほとんど現れない。 ICLの強化学習に基づく動的不確実性ランキング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-31T03:42:17Z)
• Get Confused Cautiously: Textual Sequence Memorization Erasure with Selective Entropy Maximization [17.20276556057748]
  大規模言語モデル(LLM)は、トレーニングセットの冗長性からいくつかのテキストシーケンスを暗記し、引用することが発見されている。 このTSM(Textual Sequence Memorization)現象は、特定の記憶されたテキストを生成するのを防ぐために、LCM出力の調整を要求される。 TSM消去のための既存の方法は、モデルユーティリティを実質的に損なうことなく、大量の記憶されたサンプルを忘れることができない。
  論文  参考訳（メタデータ） (2024-08-09T10:26:11Z)
• CoMMIT: Coordinated Instruction Tuning for Multimodal Large Language Models [68.64605538559312]
  本稿では,MLLM命令のチューニングを理論的・経験的両面から解析する。 そこで本研究では,学習バランスを定量的に評価する尺度を提案する。 さらに,MLLMの生成分布の更新を促進する補助的損失正規化手法を提案する。
  論文  参考訳（メタデータ） (2024-07-29T23:18:55Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Investigating Automatic Scoring and Feedback using Large Language Models [46.1232919707345]
  本稿では,PEFTに基づく量子化モデルの有効性について検討する。 その結果, 微調整LDMによる評価は精度が高く, 平均的に3%未満の誤差が得られた。
  論文  参考訳（メタデータ） (2024-05-01T16:13:54Z)
• Temporal Scaling Law for Large Language Models [57.83580734589091]
  本稿では,LLMの試験損失が,トレーニングステップのスケールアップとともにどのように進展するかを考察する,時間スケーリング法の概念を提案する。 テスト損失全体を粗い粒度でモデル化するのとは対照的に、私たちはそれを分解して、各トークン位置のきめ細かいテスト損失に飛び込みます。 動的双曲法則におけるパラメータの時間的パターンを研究することにより、より正確な時間的スケーリング法則を導出する。
  論文  参考訳（メタデータ） (2024-04-27T05:49:11Z)
• Rethinking Learning Rate Tuning in the Era of Large Language Models [11.87985768634266]
  大規模言語モデル(LLM)は、人間のような優れた予測性能を達成するために、近年のディープラーニングの成功を表している。 ファインチューニングを活用して、様々な現実世界のアプリケーションにLLMを適用するための主要な戦略となっている。 既存の学習率ポリシは、主に従来のディープニューラルネットワーク(DNN)のトレーニング用に設計されている。
  論文  参考訳（メタデータ） (2023-09-16T03:37:00Z)
• An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning [70.48605869773814]
  カタストロフィック・ナッシング(英: Catastrophic forgetting、CF)は、機械学習において、モデルが以前に学習した情報を忘れたときに発生する現象である。 本研究では,大規模言語モデルにおける連続的調律時の忘れ現象を実験的に評価する。
  論文  参考訳（メタデータ） (2023-08-17T02:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。