論文の概要: Interpretable Catastrophic Forgetting of Large Language Model Fine-tuning via Instruction Vector

• arxiv url: http://arxiv.org/abs/2406.12227v2
• Date: Mon, 24 Jun 2024 09:29:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-25 23:54:21.224508
• Title: Interpretable Catastrophic Forgetting of Large Language Model Fine-tuning via Instruction Vector
• Title（参考訳）: インストラクションベクトルによる大規模言語モデルの微調整の解釈可能なカタストロフィック・フォーミング
• Authors: Gangwei Jiang, Caigao Jiang, Zhaoyi Li, Siqiao Xue, Jun Zhou, Linqi Song, Defu Lian, Ying Wei,
• Abstract要約: 微調整された大きな言語モデルは、一般的な能力を失う可能性がある。 本稿では,そのような忘れ物の背後にある本質的なメカニズムについて考察する。 我々は,原図の保存を目的としたIV誘導学習を開発し,破滅的な忘れを緩和する。
• 参考スコア（独自算出の注目度）: 39.827685159198296
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning large language models (LLMs) can cause them to lose their general capabilities. However, the intrinsic mechanisms behind such forgetting remain unexplored. In this paper, we begin by examining this phenomenon by focusing on knowledge understanding and instruction following, with the latter identified as the main contributor to forgetting during fine-tuning. Consequently, we propose the Instruction Vector (IV) framework to capture model representations highly related to specific instruction-following capabilities, thereby making it possible to understand model-intrinsic forgetting. Through the analysis of IV dynamics pre and post-training, we suggest that fine-tuning mostly adds specialized reasoning patterns instead of erasing previous skills, which may appear as forgetting. Building on this insight, we develop IV-guided training, which aims to preserve original computation graph, thereby mitigating catastrophic forgetting. Empirical tests on three benchmarks confirm the efficacy of this new approach, supporting the relationship between IVs and forgetting. Our code will be made available soon.
• Abstract（参考訳）: 微調整された大きな言語モデル(LLM)は、それらの一般的な能力を失う可能性がある。 しかし、そのような忘れ物の背後にある本質的なメカニズムは未解明のままである。 本稿では,この現象を,知識の理解と指導に焦点をあてて検討することから始める。 そこで本研究では,特定の命令追従能力に高い関連性を持つモデル表現を抽出し,モデル固有の忘れの理解を可能にするインストラクションベクトル(IV)フレームワークを提案する。 予備学習と後学習のIVダイナミクスの分析を通じて, ファインタニングは, 忘れているように見える以前のスキルを消去する代わりに, 専門的な推論パターンを主に追加することを提案する。 この知見に基づいて、元の計算グラフの保存を目的としたIV誘導学習を開発し、破滅的な忘れを緩和する。 3つのベンチマークの実証テストにより、この新しいアプローチの有効性が確認され、IVと忘れることの関係が支持された。 私たちのコードはまもなく利用可能になります。

関連論文リスト

• Improve Vision Language Model Chain-of-thought Reasoning [86.83335752119741]
  視覚言語モデル(VLM)におけるチェーン・オブ・シント(CoT)推論は、解釈可能性と信頼性を向上させるために不可欠である。 我々は,より詳細な回答を必要とする推論タスクに対して,短時間でVLMを訓練することはよくないことを示す。
  論文  参考訳（メタデータ） (2024-10-21T17:00:06Z)
• A Three-Phases SFT Hybrid Model Integrated Strong Prior Module and Data Overlap Estimation in the Eduation Context [0.0]
  教師付き微調整モデルとして,エンド・ツー・エンドの3相モデルを提案する。 本モデルは,学習知識の構造的分解と漸進的指導によるアウトプットを実現する。 当社のモデルは,オープンソースモデルと比較して,コード能力の最先端性も達成している。
  論文  参考訳（メタデータ） (2024-03-13T05:38:39Z)
• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• Uncertainty-Aware Unlikelihood Learning Improves Generative Aspect Sentiment Quad Prediction [52.05304897163256]
  トークンレベルの生成を制御するテンプレートに依存しない手法を提案する。 具体的には、事前訓練された言語モデルのビルトイン不確実性を理解するために、モンテカルロのドロップアウトを導入する。 さらに,不確実性を認識した誤りトークンを抑制するために,差分学習を提案する。
  論文  参考訳（メタデータ） (2023-06-01T07:49:06Z)
• Generic Temporal Reasoning with Differential Analysis and Explanation [61.96034987217583]
  時間差分解析でギャップを埋めるTODAYという新しいタスクを導入する。 TODAYは、システムがインクリメンタルな変化の効果を正しく理解できるかどうかを評価する。 共同学習においてTODAYの指導スタイルと説明アノテーションが有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-20T17:40:03Z)
• A Survey of Knowledge Enhanced Pre-trained Models [28.160826399552462]
  知識注入を伴う事前学習言語モデルを知識強化事前学習言語モデル(KEPLM)と呼ぶ。 これらのモデルは深い理解と論理的推論を示し、解釈可能性を導入する。
  論文  参考訳（メタデータ） (2021-10-01T08:51:58Z)
• Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
  文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。 そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-09T10:10:29Z)
• Layer-wise Analysis of a Self-supervised Speech Representation Model [26.727775920272205]
  自己教師付き学習アプローチは、音声表現モデルの事前学習に成功している。 事前訓練された表現そのものに符号化された情報のタイプや範囲についてはあまり研究されていない。
  論文  参考訳（メタデータ） (2021-07-10T02:13:25Z)
• On the comparability of Pre-trained Language Models [0.0]
  教師なし表現学習の最近の進歩は、NLPにおける伝達学習の概念を確立することに成功している。 より精巧なアーキテクチャは、コンテキスト情報をよりよく活用しています。 より大規模なコーパスは、自己教師型で大規模言語モデルを事前訓練するためのリソースとして使用される。 並列コンピューティングとクラウドコンピューティングの進歩により、これらのモデルを、以前確立されたモデルよりも短い時間で、同じまたは短い時間で、拡張能力でトレーニングすることが可能になった。
  論文  参考訳（メタデータ） (2020-01-03T10:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。