論文の概要: Estimating and Orthogonalizing Unknown Pre-training Gradients for Continual Fine-tuning of Large Language Models

• arxiv url: http://arxiv.org/abs/2609.30935v1
• Date: Fri, 25 Sep 2026 07:52:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.280621
• Title: Estimating and Orthogonalizing Unknown Pre-training Gradients for Continual Fine-tuning of Large Language Models
• Title（参考訳）: 大規模言語モデルの連続的微調整のための未知の事前学習勾配の推定と直交化
• Abstract要約: 大規模言語モデル(LLM)が現実の環境に動的に適応するためには、継続的な微調整が不可欠である。 既存の手法は、LLMs固有の汎用知識の事前学習に失敗する。 連続LLMファインチューニングのための未知の事前学習勾配を推定・オルソゴナライズする新しいフレームワークであるEoupCTを提案する。
• 参考スコア（独自算出の注目度）: 61.00463960117119
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual fine-tuning is essential for large language models (LLMs) to dynamically adapt to real-world environments, yet it inevitably suffers from catastrophic forgetting, particularly the performance degradation of previous tasks and LLMs' general-purpose knowledge. Although existing methods, such as orthogonal gradient projection, mitigate the forgetting across various fine-tuning tasks, they fundamentally fail to preserve pre-training LLMs' inherent general-purpose knowledge because the original data and gradients of off-the-shelf pre-training LLMs required by these methods are strictly unknown and highly diverse. To bridge this critical gap, we propose EoupCT, a novel framework designed to Estimate and Orthogonalize Unknown Pre-training gradients for Continual LLM fine-Tuning. Specifically, EoupCT estimates pre-training gradients by dynamically generating pseudo data that is most susceptible to forgetting for new tasks through a learnable soft prompt equipped with Gumbel-Softmax relaxation. Furthermore, we formulate a multi-objective optimization problem and introduce a first-order efficient Pareto optimizer that jointly optimizes LLM parameters and the soft prompt, rigorously enforcing orthogonality between new task updates and the estimated pre-training gradients. Extensive experiments across multiple LLMs demonstrate that EoupCT effectively preserves both task-specific proficiency and inherent general-purpose knowledge, successfully mitigating the catastrophic forgetting.
• Abstract（参考訳）: 大規模言語モデル(LLM)が現実の環境に動的に適応するためには、連続的な微調整が不可欠である。 直交勾配投影のような既存の手法は、様々な微調整タスクにおける忘れを緩和するが、これらの手法が必要とする既成の既成のLLMの本来のデータと勾配は、厳密には未知であり、非常に多様であるため、基本的には、LLMs固有の汎用知識の保存に失敗する。 この重要なギャップを埋めるため、連続LLM微調整のための未知の事前学習勾配を推定・オルソゴナライズする新しいフレームワークであるEoupCTを提案する。 特に、EoupCTは、Gumbel-Softmax緩和を備えた学習可能なソフトプロンプトを通じて、新しいタスクを忘れやすい疑似データを動的に生成することにより、事前学習勾配を推定する。 さらに、多目的最適化問題を定式化し、LLMパラメータとソフトプロンプトを協調的に最適化し、新しいタスク更新と推定事前学習勾配との直交性を厳格に強制する一階効率のパレートオプティマイザを導入する。 複数のLSMにわたる広範囲な実験により、EoupCTはタスク固有の熟練度と固有の汎用知識の両方を効果的に保存し、破滅的な忘れを和らげることに成功した。

関連論文リスト

• Delve into the Applicability of Advanced Optimizers for Multi-Task Learning [70.80216936064654]
  MTL(Multi-Task Learning)は、機械学習の問題であり、過去10年間に広範囲に開発されてきた。 APT(Advanced oPizers)は,高度とMTLの強度のバランスをとるために設計された,シンプルな適応運動量機構を備えたフレームワークである。
  論文  参考訳（メタデータ） (2026-04-10T04:15:31Z)
• Learn More, Forget Less: A Gradient-Aware Data Selection Approach for LLM [51.21051698747157]
  大規模言語モデル(LLM)の教師付き微調整のための自己適応型勾配対応データ選択手法(GrADS)を提案する。 具体的には、勾配の大きさと統計的分布を利用した自己指導型基準を設計し、モデルの学習プロセスに最も寄与する例を優先する。 GrADSは、医学、法学、金融など様々な分野にまたがる様々なLLMの広範な実験を通じて、大幅な効率性と費用対効果を示してきた。
  論文  参考訳（メタデータ） (2025-11-07T08:34:50Z)
• Data Efficient Adaptation in Large Language Models via Continuous Low-Rank Fine-Tuning [34.343514432589586]
  本稿では,ローランド適応(LoRA)と連続的な微調整戦略を統合する新しいフレームワークであるtextbfを提案する。 15の多様なデータセットの実験は、DEALがベースラインメソッドを一貫して上回っていることを示している。 これらの結果は,大規模言語モデルにおける継続的適応に向けた我々のアプローチの可能性を示している。
  論文  参考訳（メタデータ） (2025-09-23T12:55:57Z)
• Sculpting Subspaces: Constrained Full Fine-Tuning in LLMs for Continual Learning [19.27175827358111]
  大規模言語モデル(LLM)における継続的な学習は破滅的な忘れがちである。 適応特異値分解(SVD)を利用した連続的完全微調整手法を提案する。 我々は,Encoder-decoder (T5-Large) モデルとdecoder-only (LLaMA-2 7B) モデルの両方を用いて,標準連続学習ベンチマークを広範囲に評価した。
  論文  参考訳（メタデータ） (2025-04-09T17:59:42Z)
• Learn from Downstream and Be Yourself in Multimodal Large Language Model Fine-Tuning [104.27224674122313]
  微調整MLLMは、特定の下流タスクのパフォーマンスを改善するための一般的なプラクティスとなっている。 一般化と特殊化のトレードオフのバランスをとるために,事前学習と微調整の両方におけるパラメータの重要度を測定することを提案する。
  論文  参考訳（メタデータ） (2024-11-17T01:16:37Z)
• Get Confused Cautiously: Textual Sequence Memorization Erasure with Selective Entropy Maximization [17.20276556057748]
  大規模言語モデル(LLM)は、トレーニングセットの冗長性からいくつかのテキストシーケンスを暗記し、引用することが発見されている。 このTSM(Textual Sequence Memorization)現象は、特定の記憶されたテキストを生成するのを防ぐために、LCM出力の調整を要求される。 TSM消去のための既存の方法は、モデルユーティリティを実質的に損なうことなく、大量の記憶されたサンプルを忘れることができない。
  論文  参考訳（メタデータ） (2024-08-09T10:26:11Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。