Fugu-MT 論文翻訳(概要): Answer When Needed, Forget When Not: Language Models Pretend to Forget via In-Context Knowledge Unlearning

論文の概要: Answer When Needed, Forget When Not: Language Models Pretend to Forget via In-Context Knowledge Unlearning

arxiv url: http://arxiv.org/abs/2410.00382v1
Date: Tue, 1 Oct 2024 04:13:25 GMT
ステータス: 処理完了
システム内更新日: 2024-11-05 05:56:31.275138
Title: Answer When Needed, Forget When Not: Language Models Pretend to Forget via In-Context Knowledge Unlearning
Title（参考訳）: 必要なとき、必要でないときを忘れる: 文脈内知識の学習を通して予測する言語モデル
Authors: Shota Takashiro, Takeshi Kojima, Andrew Gambardella, Qi Cao, Yusuke Iwasawa, Yutaka Matsuo,
Abstract要約: 大規模言語モデル(LLM)は様々な領域にまたがって適用される。文脈内知識アンラーニング」という新しい手法を提案する。本手法は,事前学習したLLMを微調整し,文脈内における目標知識の学習を迅速に行えるようにする。
参考スコア（独自算出の注目度）: 26.861562920084264
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: As large language models (LLMs) are applied across diverse domains, the ability to selectively unlearn specific information has become increasingly essential. For instance, LLMs are expected to provide confidential information to authorized internal users, such as employees or trusted partners, while withholding it from external users, including the general public and unauthorized entities. In response to this challenge, we propose a novel method termed ``in-context knowledge unlearning'', which enables the model to selectively forget information in test-time based on the context of the query. Our method fine-tunes pre-trained LLMs to enable prompt unlearning of target knowledge within the context, while preserving other knowledge. Experiments on the TOFU and AGE datasets using Llama2-7B/13B and Mistral-7B models show our method achieves up to 95% forgetting accuracy while retaining 80% of unrelated knowledge, significantly outperforming baselines in both in-domain and out-of-domain scenarios. Further investigation into the model's internal behavior revealed that while fine-tuned LLMs generate correct predictions in the middle layers and maintain them up to the final layer, they make the decision to forget at the last layer, i.e., ``LLMs pretend to forget''. Our findings offer valuable insights into enhancing the robustness of unlearning mechanisms in LLMs, setting a foundation for future research in the field.
Abstract（参考訳）: 大規模言語モデル(LLM)が多種多様なドメインに適用されるにつれて、特定の情報を選択的に学習する能力はますます重要になっている。例えば、LLMは、従業員や信頼できるパートナーなどの認証された内部ユーザに対して機密情報を提供すると同時に、一般の公益法人や無認可法人を含む外部ユーザからの保護を受けることが期待されている。この課題に対応するために,<in-context knowledge unlearning' と呼ばれる新しい手法を提案する。本手法は,事前学習したLLMを微調整し,他の知識を保ちながら,コンテキスト内における対象知識の学習を迅速に行えるようにする。 Llama2-7B/13BモデルとMistral-7Bモデルを用いたTOFUとAGEデータセットの実験では,無関係な知識の80%を維持しながら,95%の精度で精度を保ち,ドメイン内シナリオとドメイン外シナリオのベースラインを著しく上回る結果を得た。モデルの内部動作に関するさらなる調査では、微調整のLLMが中間層で正しい予測を生成し、それらを最終層まで維持する一方で、最後の層で忘れる決定をする、すなわち「LLMは忘れるふりをする」ことが判明した。本研究は,LLMにおけるアンラーニングメカニズムの堅牢性向上に関する貴重な知見を提供し,今後の研究の基盤となるものと考えられる。

関連論文リスト

Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
論文参考訳（メタデータ） (2024-07-07T12:19:37Z)
To Forget or Not? Towards Practical Knowledge Unlearning for Large Language Models [39.39428450239399]
大規模な言語モデル(LLM)は、個人プライバシー情報や著作権資料などの機密データを必然的に保持する。知識未学習の最近の進歩は、特定の知識を消去するためにLLMパラメータを更新する。未学習プロセスが必然的に本質的な知識を消去するかどうかを評価するために KnowUnDo を導入する。
論文参考訳（メタデータ） (2024-07-02T03:34:16Z)
SNAP: Unlearning Selective Knowledge in Large Language Models with Negative Instructions [37.172662930947446]
命令追従型大規模言語モデル(LLM)は、個人または著作権のある情報を故意に開示する。 SNAPは,情報を選択的に学習するための革新的なフレームワークである。我々は,NLPベンチマークにおけるフレームワークの評価を行い,提案手法が元のLLM能力を維持していることを示す。
論文参考訳（メタデータ） (2024-06-18T06:54:05Z)
LLMs' Reading Comprehension Is Affected by Parametric Knowledge and Struggles with Hypothetical Statements [59.71218039095155]
言語モデルの自然言語理解(NLU)能力を評価するための主要な手段として、読解理解(RC)があげられる。文脈がモデルの内部知識と一致している場合、モデルの回答がコンテキスト理解に由来するのか、あるいは内部情報から生じるのかを識別することは困難である。この問題に対処するために、架空の事実や実体に基づいて、想像上のデータにRCを使うことを提案する。
論文参考訳（メタデータ） (2024-04-09T13:08:56Z)
Learn When (not) to Trust Language Models: A Privacy-Centric Adaptive Model-Aware Approach [23.34505448257966]
Retrieval-augmented large language model (LLMs) は、様々なNLPタスクにおいて非常に有能である。 LLMの事前学習データを解析することにより,データ認識による検索をいつ行うかを決定する方法が提案されている。これらのデータ認識手法は、特に機密データや広範な事前学習データへのアクセスを必要とする場合に、プライバシー上のリスクとメモリ制限をもたらす。我々は、トークンの埋め込みがモデルの本質的な知識を捉えることができると仮定し、事前学習データへのアクセスに関連するプライバシーリスクを伴わずに、検索の必要性を判断するためのより安全で簡単な方法を提供する。
論文参考訳（メタデータ） (2024-04-04T15:21:22Z)
Rethinking Machine Unlearning for Large Language Models [85.92660644100582]
大規模言語モデル(LLM)の領域における機械学習の研究このイニシアチブは、望ましくないデータの影響(機密情報や違法情報など)と関連するモデル機能を排除することを目的としている。
論文参考訳（メタデータ） (2024-02-13T20:51:58Z)
Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文参考訳（メタデータ） (2023-12-26T07:24:46Z)
RECALL: A Benchmark for LLMs Robustness against External Counterfactual Knowledge [69.79676144482792]
本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
論文参考訳（メタデータ） (2023-11-14T13:24:19Z)
Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文参考訳（メタデータ） (2023-05-15T15:47:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。