論文の概要: Understanding Catastrophic Forgetting in Language Models via Implicit Inference

• arxiv url: http://arxiv.org/abs/2309.10105v1
• Date: Mon, 18 Sep 2023 19:28:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-20 17:50:03.952373
• Title: Understanding Catastrophic Forgetting in Language Models via Implicit Inference
• Title（参考訳）: インシシット推論による言語モデルにおける破滅的予測の理解
• Authors: Suhas Kotha, Jacob Mitchell Springer, Aditi Raghunathan
• Abstract要約: 細調整データ分散におけるタスクの性能向上は、他のタスクにおけるモデル能力の抑制を犠牲にしていることを示す。 我々は、事前訓練された能力を回復できるかどうかを確認するために、共役プロンプティングを提案する。
• 参考スコア（独自算出の注目度）: 13.589810236569495
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning (via methods such as instruction-tuning or reinforcement learning from human feedback) is a crucial step in training language models to robustly carry out tasks of interest. However, we lack a systematic understanding of the effects of fine-tuning, particularly on tasks outside the narrow fine-tuning distribution. In a simplified scenario, we demonstrate that improving performance on tasks within the fine-tuning data distribution comes at the expense of suppressing model capabilities on other tasks. This degradation is especially pronounced for tasks "closest" to the fine-tuning distribution. We hypothesize that language models implicitly infer the task of the prompt corresponds, and the fine-tuning process predominantly skews this task inference towards tasks in the fine-tuning distribution. To test this hypothesis, we propose Conjugate Prompting to see if we can recover pretrained capabilities. Conjugate prompting artificially makes the task look farther from the fine-tuning distribution while requiring the same capability. We find that conjugate prompting systematically recovers some of the pretraining capabilities on our synthetic setup. We then apply conjugate prompting to real-world LLMs using the observation that fine-tuning distributions are typically heavily skewed towards English. We find that simply translating the prompts to different languages can cause the fine-tuned models to respond like their pretrained counterparts instead. This allows us to recover the in-context learning abilities lost via instruction tuning, and more concerningly, to recover harmful content generation suppressed by safety fine-tuning in chatbots like ChatGPT.
• Abstract（参考訳）: 微調整(指示のチューニングや人間のフィードバックからの強化学習など)は、言語モデルのトレーニングにおいて重要なステップであり、関心のあるタスクを堅牢に実行する。 しかし,細調整の影響,特に細調整分布の狭いタスクに対する系統的な理解が欠如している。 単純化されたシナリオでは、微調整データ分散におけるタスクの性能向上は、他のタスクのモデル能力の抑制に費やされる。 この劣化は、微調整分布に「最も近い」タスクで特に発音される。 我々は、言語モデルが暗黙的にプロンプトのタスクを推測すると仮定し、微調整プロセスは、主にこのタスク推論を微調整分布のタスクへと歪めている。 この仮説をテストするために,事前訓練した能力を回復できるかどうかを確認するための共役式を提案する。 共役プロンプトは、同じ能力を必要としながら、タスクを微調整分布から遠ざからせる。 共役は, 合成装置上での事前学習能力を系統的に回復させる。 次に、直交分布が典型的には英語に強く歪んでいるという観察を用いて、実世界のLLMに共役プロンプトを適用する。 単にプロンプトを異なる言語に翻訳するだけで、微調整されたモデルが事前に訓練されたモデルのように応答する可能性がある。 これにより,ChatGPTのようなチャットボットの安全性向上によって抑制された有害なコンテンツ生成を,インストラクションチューニングによって失われるコンテキスト内学習能力を回復することができる。

関連論文リスト

• On the loss of context-awareness in general instruction fine-tuning [101.03941308894191]
  命令応答対における教師付き微調整(SFT)のようなポストトレーニング手法は、事前トレーニング中に学習した既存の能力を損なう可能性がある。 そこで本研究では,ユーザプロンプトに配慮したポストホックアテンション・ステアリングと,コンテキスト依存度指標を用いた条件付きインストラクションの微調整という,インストラクションモデルにおけるコンテキスト認識の損失を軽減する2つの方法を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
  プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。 タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
  論文  参考訳（メタデータ） (2023-07-04T02:47:42Z)
• Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning [41.15017636192417]
  CP-Tuning(CP-Tuning)は、言語モデルのための最初のエンドツーエンドのPrompt Tuningフレームワークである。 完全にトレーニング可能なプロンプトパラメータを持つタスク不変の連続プロンプトエンコーディング技術と統合されている。 IRシステムや異なるPLMで使用される様々な言語理解タスクの実験は、CP-Tuningが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-04-01T02:24:24Z)
• An Explanation of In-context Learning as Implicit Bayesian Inference [117.19809377740188]
  In-context Learning の出現における事前学習分布の役割について検討した。 本研究では,潜在概念のベイズ的推論を通じて,文脈内学習が暗黙的に起こることを証明した。 我々は,事前学習損失が同じであっても,スケーリングモデルのサイズがコンテキスト内精度を向上させることを実証的に見出した。
  論文  参考訳（メタデータ） (2021-11-03T09:12:33Z)
• RuleBert: Teaching Soft Rules to Pre-trained Language Models [21.69870624809201]
  そこで我々は, PLM が与えられた仮説の確率で予測を返すべき, 事実とソフトルールを前提とした分類タスクを導入する。 本研究では, PLM がタスクの正確な確率の予測方法を学習できるように改良された損失関数を提案する。 評価結果から,学習時に見つからない論理的ルールであっても,得られた微調整モデルは非常に高い性能が得られることが示された。
  論文  参考訳（メタデータ） (2021-09-24T16:19:25Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• GPT Understands, Too [42.701765107498346]
  本稿では,個別のプロンプトと組み合わせたトレーニング可能な連続プロンプト埋め込みを用いた新しいP-Tuning法を提案する。 P-Tuningは一般的に、完全に教師された設定と少数の設定の両方の下で、凍結された言語モデルとチューニングされた言語モデルの両方に有効である。
  論文  参考訳（メタデータ） (2021-03-18T17:13:50Z)
• Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning [74.25168207651376]
  訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。 ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。 提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2020-04-29T14:07:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。