論文の概要: Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models

• arxiv url: http://arxiv.org/abs/2410.05802v1
• Date: Tue, 8 Oct 2024 08:35:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 12:39:56.772500
• Title: Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models
• Title（参考訳）: グラデーショナルラーニング:大規模言語モデルにおける知識の部分的習得による微調整の最適化
• Authors: Bozhou Li, Hao Liang, Yang Li, Fangcheng Fu, Hongzhi Yin, Conghui He, Wentao Zhang,
• Abstract要約: 大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。 微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。 本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
• 参考スコア（独自算出の注目度）: 51.20499954955646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: During the pretraining phase, large language models (LLMs) acquire vast amounts of knowledge from extensive text corpora. Nevertheless, in later stages such as fine-tuning and inference, the model may encounter knowledge not covered in the initial training, which can lead to hallucinations and degraded performance. This issue has a profound impact on the model's capabilities, as it will inevitably face out-of-scope knowledge after pretraining. Furthermore, fine-tuning is often required to adapt LLMs to domain-specific tasks. However, this phenomenon limits the model's ability to learn and integrate new information during fine-tuning. The effectiveness of fine-tuning largely depends on the type of knowledge involved. Existing research suggests that fine-tuning the model on partially mastered knowledge-for instance, question-answer pairs where the model has a chance of providing correct responses under non-greedy decoding-can enable the model to acquire new knowledge while mitigating hallucination. Notably, this approach can still lead to the forgetting of fully mastered knowledge, constraining the fine-tuning dataset to a narrower range and limiting the model's overall potential for improvement. Given the model's intrinsic reasoning abilities and the interconnectedness of different knowledge areas, it is likely that as the model's capacity to utilize existing knowledge improves during fine-tuning, previously unmastered knowledge may become more understandable. To explore this hypothesis, we conducted experiments and, based on the results, proposed a two-stage fine-tuning strategy. This approach not only improves the model's overall test accuracy and knowledge retention but also preserves its accuracy on previously mastered content. When fine-tuning on the WikiQA dataset, our method increases the amount of knowledge acquired by the model in this stage by 24%.
• Abstract（参考訳）: 事前学習期間中、大規模言語モデル(LLM)は広範なテキストコーパスから膨大な量の知識を取得する。 それでも、微調整や推論のような後の段階では、モデルは初期訓練でカバーされていない知識に遭遇し、幻覚や性能低下につながる可能性がある。 この問題は、事前トレーニング後に必然的にスコープ外の知識に直面するため、モデルの能力に大きな影響を与えます。 さらに、LLMをドメイン固有のタスクに適応させるためには、微調整が必要とされることが多い。 しかし、この現象は、微調整中に新しい情報を学習し統合する能力を制限する。 微調整の有効性は、主に関連する知識の種類に依存する。 既存の研究では、部分的にマスターされた知識に基づいてモデルを微調整し、例えば、非グリーディデコードの下で正しい応答を提供することができる質問と回答のペアは、幻覚を緩和しながら新しい知識を得ることを可能にすることを示唆している。 特に、このアプローチは、完全にマスターされた知識を忘れて、微調整データセットをより狭い範囲に制限し、モデル全体の改善の可能性を制限することにつながる可能性がある。 モデルの本質的な推論能力と異なる知識領域の相互接続性を考えると、既存の知識を活用する能力が微調整中に向上するにつれて、以前は未習得の知識がより理解しやすくなる可能性がある。 この仮説を探索するため,実験を行い,その結果に基づいて2段階の微調整戦略を提案した。 このアプローチは、モデル全体のテスト精度と知識保持を向上するだけでなく、以前にマスターされたコンテンツの正確性も維持する。 WikiQAデータセットを微調整すると、この段階で得られた知識の量は24%増加する。

関連論文リスト

• UNLEARN Efficient Removal of Knowledge in Large Language Models [1.9797215742507548]
  本稿では,UNLEARNと呼ばれる新しい手法を提案する。 このアプローチは、LLMの他の知識に悪影響を及ぼすことなく、知識の除去を識別し、特にターゲットとするサブスペース法に基づいている。 その結果、対象とする知識の96%は、元のモデルの2.5%の範囲内で、他の知識のパフォーマンスを維持しながら、忘れられることを示した。
  論文  参考訳（メタデータ） (2024-08-08T00:53:31Z)
• Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations? [33.702498916775426]
  既存の知識を活用するための微調整モデルの能力に及ぼす新しい知識の影響について検討する。 大規模な言語モデルは、微調整によって新しい事実知識を取得するのに苦労していることを実証する。 新たな知識のサンプルが最終的に学習されるにつれて、モデルが幻覚化する傾向がリニアに増加する。
  論文  参考訳（メタデータ） (2024-05-09T17:00:22Z)
• Forgetting before Learning: Utilizing Parametric Arithmetic for Knowledge Updating in Large Language Models [53.52344131257681]
  本稿では,F-Learningと呼ばれるファインチューニングのための新しいパラダイムを提案する。これはパラメトリック算術を用いて,古い知識の忘れと新しい知識の学習を容易にする。 2つの公開データセットによる実験結果から、提案したFラーニングは、完全な微調整とLoRA微調整の両方の知識更新性能を向上させることが明らかに示されている。
  論文  参考訳（メタデータ） (2023-11-14T09:12:40Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• Preserving Commonsense Knowledge from Pre-trained Language Models via Causal Inference [20.5696436171006]
  現存する研究の多くは破滅的な忘れ物であり、訓練済みの知識を無差別に保持している。 我々は因果グラフに微調整を行い、破滅的な忘れ物が事前訓練されたデータから欠落した因果関係にあることを発見した。 実験では,6つのコモンセンスQAデータセットに対して,最先端の微調整手法より優れていた。
  論文  参考訳（メタデータ） (2023-06-19T09:06:44Z)
• Adaptively Integrated Knowledge Distillation and Prediction Uncertainty for Continual Learning [71.43841235954453]
  現在のディープラーニングモデルは、新しい知識を継続的に学習するときに、古い知識を破滅的に忘れることに悩まされることが多い。 この問題を軽減する既存の戦略は、古い知識(安定性)の維持と新しい知識(塑性)の学習のトレードオフを解消することが多い。
  論文  参考訳（メタデータ） (2023-01-18T05:36:06Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。