論文の概要: Understanding Catastrophic Forgetting in Language Models via Implicit
Inference
- arxiv url: http://arxiv.org/abs/2309.10105v1
- Date: Mon, 18 Sep 2023 19:28:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-20 17:50:03.952373
- Title: Understanding Catastrophic Forgetting in Language Models via Implicit
Inference
- Title(参考訳): インシシット推論による言語モデルにおける破滅的予測の理解
- Authors: Suhas Kotha, Jacob Mitchell Springer, Aditi Raghunathan
- Abstract要約: 細調整データ分散におけるタスクの性能向上は、他のタスクにおけるモデル能力の抑制を犠牲にしていることを示す。
我々は、事前訓練された能力を回復できるかどうかを確認するために、共役プロンプティングを提案する。
- 参考スコア(独自算出の注目度): 13.589810236569495
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fine-tuning (via methods such as instruction-tuning or reinforcement learning
from human feedback) is a crucial step in training language models to robustly
carry out tasks of interest. However, we lack a systematic understanding of the
effects of fine-tuning, particularly on tasks outside the narrow fine-tuning
distribution. In a simplified scenario, we demonstrate that improving
performance on tasks within the fine-tuning data distribution comes at the
expense of suppressing model capabilities on other tasks. This degradation is
especially pronounced for tasks "closest" to the fine-tuning distribution. We
hypothesize that language models implicitly infer the task of the prompt
corresponds, and the fine-tuning process predominantly skews this task
inference towards tasks in the fine-tuning distribution. To test this
hypothesis, we propose Conjugate Prompting to see if we can recover pretrained
capabilities. Conjugate prompting artificially makes the task look farther from
the fine-tuning distribution while requiring the same capability. We find that
conjugate prompting systematically recovers some of the pretraining
capabilities on our synthetic setup. We then apply conjugate prompting to
real-world LLMs using the observation that fine-tuning distributions are
typically heavily skewed towards English. We find that simply translating the
prompts to different languages can cause the fine-tuned models to respond like
their pretrained counterparts instead. This allows us to recover the in-context
learning abilities lost via instruction tuning, and more concerningly, to
recover harmful content generation suppressed by safety fine-tuning in chatbots
like ChatGPT.
- Abstract(参考訳): 微調整(指示のチューニングや人間のフィードバックからの強化学習など)は、言語モデルのトレーニングにおいて重要なステップであり、関心のあるタスクを堅牢に実行する。
しかし,細調整の影響,特に細調整分布の狭いタスクに対する系統的な理解が欠如している。
単純化されたシナリオでは、微調整データ分散におけるタスクの性能向上は、他のタスクのモデル能力の抑制に費やされる。
この劣化は、微調整分布に「最も近い」タスクで特に発音される。
我々は、言語モデルが暗黙的にプロンプトのタスクを推測すると仮定し、微調整プロセスは、主にこのタスク推論を微調整分布のタスクへと歪めている。
この仮説をテストするために,事前訓練した能力を回復できるかどうかを確認するための共役式を提案する。
共役プロンプトは、同じ能力を必要としながら、タスクを微調整分布から遠ざからせる。
共役は, 合成装置上での事前学習能力を系統的に回復させる。
次に、直交分布が典型的には英語に強く歪んでいるという観察を用いて、実世界のLLMに共役プロンプトを適用する。
単にプロンプトを異なる言語に翻訳するだけで、微調整されたモデルが事前に訓練されたモデルのように応答する可能性がある。
これにより,ChatGPTのようなチャットボットの安全性向上によって抑制された有害なコンテンツ生成を,インストラクションチューニングによって失われるコンテキスト内学習能力を回復することができる。
関連論文リスト
- Instruction Position Matters in Sequence Generation with Large Language
Models [67.87516654892343]
大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。
入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
論文 参考訳(メタデータ) (2023-08-23T12:36:57Z) - Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。
ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。
そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
論文 参考訳(メタデータ) (2023-03-23T12:28:25Z) - Task-Specific Skill Localization in Fine-tuned Language Models [36.53572616441048]
本稿では,この問題に対するスキルローカライゼーションという用語を紹介する。
単純な最適化は、非常に小さなパラメータのサブセットを特定するために使われる。
この小さなサブセットの微調整された値を事前訓練されたモデルに移植することで、微調整されたモデルとほぼ同等のパフォーマンスが得られる。
論文 参考訳(メタデータ) (2023-02-13T18:55:52Z) - An Explanation of In-context Learning as Implicit Bayesian Inference [117.19809377740188]
In-context Learning の出現における事前学習分布の役割について検討した。
本研究では,潜在概念のベイズ的推論を通じて,文脈内学習が暗黙的に起こることを証明した。
我々は,事前学習損失が同じであっても,スケーリングモデルのサイズがコンテキスト内精度を向上させることを実証的に見出した。
論文 参考訳(メタデータ) (2021-11-03T09:12:33Z) - NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task
Models [54.184609286094044]
補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。
提案手法は,従来の微調整モデルと比較して平均55%改善した。
論文 参考訳(メタデータ) (2021-08-29T06:58:28Z) - Masked Language Modeling and the Distributional Hypothesis: Order Word
Matters Pre-training for Little [74.49773960145681]
マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。
本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。
以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
論文 参考訳(メタデータ) (2021-04-14T06:30:36Z) - Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models
via Continual Learning [74.25168207651376]
訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。
ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。
提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
論文 参考訳(メタデータ) (2020-04-29T14:07:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。