論文の概要: On the loss of context-awareness in general instruction fine-tuning

• arxiv url: http://arxiv.org/abs/2411.02688v2
• Date: Tue, 24 Dec 2024 07:47:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:53:27.889141
• Title: On the loss of context-awareness in general instruction fine-tuning
• Title（参考訳）: 一般教示微調整における文脈認識の喪失について
• Authors: Yihan Wang, Andrew Bai, Nanyun Peng, Cho-Jui Hsieh,
• Abstract要約: 事前訓練された大規模言語モデル(LLM)は、指示に従うために教師付き微調整のような訓練後の方法を必要とする。 SFT後におけるコンテキスト認識の喪失について検討し、コンテキスト認識をユーザが提供するコンテキストから情報を取り出し、理解する能力として定義する。
• 参考スコア（独自算出の注目度）: 101.03941308894191
• License:
• Abstract: Pre-trained Large Language Models (LLMs) require post-training methods such as supervised fine-tuning (SFT) on instruction-response pairs to enable instruction following. However, this process can potentially harm existing capabilities learned during pre-training. In this paper, we investigate the loss of context awareness after SFT, where context awareness is defined as the ability to extract and understand information from user-provided context and respond accordingly. We are the first to identify and show that the loss of context awareness, as reflected by the performance drop in the Needle-in-a-Haystack test, occurs in instruction fine-tuned LLMs when the chat template is applied to input prompts. We identify that the performance decline is partially caused by an attention bias toward different roles learned during conversational instruction fine-tuning. We validate our hypothesis by visualizing changes in attention allocation after the chat template is applied and manually steering the attention heads. Based on these observations, we propose a metric to select context-dependent examples from general instruction fine-tuning datasets. We then apply conditional instruction fine-tuning with a context-dependency indicator, enabling the model to learn context awareness from these selected examples. Empirical experiments on four context-dependent downstream tasks and three pre-trained LLMs of different sizes show that our method effectively mitigates the loss of context awareness without compromising general instruction-following capabilities. Given our findings, we strongly advocate for careful benchmarking of context awareness after instruction fine-tuning.
• Abstract（参考訳）: 事前訓練されたLarge Language Models (LLM) は命令-応答ペアの教師付き微調整(SFT)のような後処理の手法を必要とする。 しかし、このプロセスは事前トレーニング中に学んだ既存の能力を傷つける可能性がある。 本稿では,SFT後におけるコンテキスト認識の喪失について検討する。そこでは,コンテキスト認識をユーザが提供するコンテキストから情報を取り出して理解し,それに応じて応答する能力として定義する。 Needle-in-a-Haystackテストのパフォーマンス低下に反映された文脈認識の喪失は、チャットテンプレートが入力プロンプトに適用されたときに、命令微調整 LLM に発生することを最初に確認し、示す。 性能低下は,会話指導の微調整中に学習した異なる役割に対する注意バイアスによって部分的に生じる。 我々は,チャットテンプレート適用後のアテンションアロケーションの変化を可視化し,アテンションヘッドを手動で操作することで,私たちの仮説を検証する。 これらの観測結果に基づき、一般的な命令微調整データセットから文脈依存の例を選択するための指標を提案する。 次に、文脈依存度インジケータによる条件付き命令の微調整を適用し、選択した例から文脈認識を学習できるようにする。 4つの文脈依存型ダウンストリームタスクと3つの学習済みLDMに関する実証実験により,一般的な指示追従能力を損なうことなく,文脈認識の喪失を効果的に軽減できることが示唆された。 本研究は,授業の微調整後の文脈認識の慎重なベンチマークを強く推奨するものである。

関連論文リスト

• Context-Parametric Inversion: Why Instruction Finetuning May Not Actually Improve Context Reliance [68.56701216210617]
  In-principleでは、モデルが命令の微調整後にユーザコンテキストに適応することを期待する。 インストラクションチューニング中、知識の衝突によるコンテキスト依存は、当初期待通りに増大するが、徐々に減少する。
  論文  参考訳（メタデータ） (2024-10-14T17:57:09Z)
• Con-ReCall: Detecting Pre-training Data in LLMs via Contrastive Decoding [118.75567341513897]
  既存のメソッドは通常、ターゲットテキストを分離して分析するか、非メンバーコンテキストでのみ分析する。 Con-ReCallは、メンバと非メンバのコンテキストによって誘導される非対称な分布シフトを利用する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-09-05T09:10:38Z)
• Demonstrations Are All You Need: Advancing Offensive Content Paraphrasing using In-Context Learning [10.897468059705238]
  監督されたパラフレーズは、意味と意図を維持するために大量のラベル付きデータに大きく依存している。 本稿では,大規模言語モデル(LLM)を用いたICL(In-Context Learning)を探索し,実践者を支援することを目的とする。 本研究は, 実演数と順序, 即時指導の排除, 測定毒性の低下など, 重要な要因に焦点を当てた。
  論文  参考訳（メタデータ） (2023-10-16T16:18:55Z)
• Understanding Catastrophic Forgetting in Language Models via Implicit Inference [12.09165658395643]
  微調整データ配信におけるタスクの性能向上は、他のタスクの能力の犠牲となることを実証する。 そこで本研究では,タスクを細調整分布から人工的に遠ざかるコンジュゲート・プロンプティングを提案する。
  論文  参考訳（メタデータ） (2023-09-18T19:28:48Z)
• On the Role of Attention in Prompt-tuning [90.97555030446563]
  本研究では,一層アテンションアーキテクチャのプロンプトチューニングについて検討し,文脈混合モデルについて検討する。 ソフトマックス・プロンプト・アテンションは, ソフトマックス・自己アテンションやリニア・プロンプト・アテンションよりも明らかに表現力が高いことを示す。 また、実際のデータセットに関する理論的洞察を検証し、モデルが文脈関連情報にどのように対応できるかを示す実験も提供する。
  論文  参考訳（メタデータ） (2023-06-06T06:23:38Z)
• In-Context Probing: Toward Building Robust Classifiers via Probing Large Language Models [5.5089506884366735]
  本稿では, In-Context Probing (ICP) という代替手法を提案する。 インコンテキスト学習と同様に、入力の表現を命令で文脈化するが、出力予測を復号する代わりに、ラベルを予測するために文脈化表現を探索する。 我々はICPがファインタニングよりも優れていることを示し、より小さなモデルの上に分類器を構築するのに特に有用であることを示した。
  論文  参考訳（メタデータ） (2023-05-23T15:43:04Z)
• Context-faithful Prompting for Large Language Models [51.194410884263135]
  大言語モデル(LLM)は世界事実に関するパラメトリック知識を符号化する。 パラメトリック知識への依存は、文脈的手がかりを見落とし、文脈に敏感なNLPタスクにおいて誤った予測をもたらす可能性がある。 我々は, LLMの文脈的忠実度を, 知識の衝突と, 棄権による予測の2つの側面で評価し, 向上する。
  論文  参考訳（メタデータ） (2023-03-20T17:54:58Z)
• Supporting Vision-Language Model Inference with Confounder-pruning Knowledge Prompt [71.77504700496004]
  視覚言語モデルは、オープンセットの視覚概念を扱うために、画像とテキストのペアを共通の空間に整列させることで事前訓練される。 事前訓練されたモデルの転送可能性を高めるため、最近の研究では、固定または学習可能なプロンプトが採用されている。 しかし、どのようにして、どのプロンプトが推論性能を改善するのかは、まだ不明である。
  論文  参考訳（メタデータ） (2022-05-23T07:51:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。