論文の概要: Large Scale Knowledge Washing

• arxiv url: http://arxiv.org/abs/2405.16720v2
• Date: Tue, 28 May 2024 15:48:12 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 10:59:04.128105
• Title: Large Scale Knowledge Washing
• Title（参考訳）: 大規模知識洗浄
• Authors: Yu Wang, Ruihan Wu, Zexue He, Xiusi Chen, Julian McAuley,
• Abstract要約: 大規模な言語モデルは、世界の知識を記憶する素晴らしい能力を示している。 本稿では,大規模な知識洗浄の問題を紹介し,膨大な事実知識の学習に焦点をあてる。
• 参考スコア（独自算出の注目度）: 24.533316191149677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models show impressive abilities in memorizing world knowledge, which leads to concerns regarding memorization of private information, toxic or sensitive knowledge, and copyrighted content. We introduce the problem of Large Scale Knowledge Washing, focusing on unlearning an extensive amount of factual knowledge. Previous unlearning methods usually define the reverse loss and update the model via backpropagation, which may affect the model's fluency and reasoning ability or even destroy the model due to extensive training with the reverse loss. Existing works introduce additional data from downstream tasks to prevent the model from losing capabilities, which requires downstream task awareness. Controlling the tradeoff of unlearning and maintaining existing capabilities is also challenging. To this end, we propose LAW (Large Scale Washing) to update the MLP layers in decoder-only large language models to perform knowledge washing, as inspired by model editing methods and based on the hypothesis that knowledge and reasoning are disentanglable. We derive a new objective with the knowledge to be unlearned to update the weights of certain MLP layers. Experimental results demonstrate the effectiveness of LAW in forgetting target knowledge while maintaining reasoning ability. The code will be open-sourced at https://github.com/wangyu-ustc/LargeScaleWashing.
• Abstract（参考訳）: 大規模な言語モデルは、世界知識を記憶する上で印象的な能力を示しており、これは、個人の情報の記憶、有毒または敏感な知識、著作権のあるコンテンツの記憶に関する懸念につながっている。 本稿では,大規模な知識洗浄の問題を紹介し,膨大な事実知識の学習に焦点をあてる。 従来のアンラーニング手法は通常、逆損失を定義し、バックプロパゲーションによってモデルを更新するが、これはモデルの流れや推論能力に影響を与える可能性がある。 既存の作業では、ダウンストリームタスクの認識を必要とする機能を失うことを防ぐために、ダウンストリームタスクから追加のデータが導入されている。 未学習のトレードオフをコントロールし、既存の能力を維持することも難しい。 この目的のために,モデル編集手法にインスピレーションを得て,知識と推論が無関係であるという仮説に基づいて,デコーダのみの大規模言語モデルにおけるMLP層を更新するLAW(Large Scale Washing)を提案する。 我々は、特定のMLP層の重みを更新するために、未学習の知識で新しい目的を導出する。 実験の結果,推論能力を維持しつつ,目標知識を忘れることにおけるLAWの有効性が示された。 コードはhttps://github.com/wangyu-ustc/LargeScaleWashing.comでオープンソース化される。

関連論文リスト

• Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models [51.20499954955646]
  大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。 微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。 本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:35:16Z)
• To Forget or Not? Towards Practical Knowledge Unlearning for Large Language Models [39.39428450239399]
  大規模な言語モデル(LLM)は、個人プライバシー情報や著作権資料などの機密データを必然的に保持する。 知識未学習の最近の進歩は、特定の知識を消去するためにLLMパラメータを更新する。 未学習プロセスが必然的に本質的な知識を消去するかどうかを評価するために KnowUnDo を導入する。
  論文  参考訳（メタデータ） (2024-07-02T03:34:16Z)
• UnUnlearning: Unlearning is not sufficient for content regulation in advanced generative AI [50.61495097098296]
  大規模言語モデル(LLM)におけるアンラーニングのパラダイムを再考する。 未学習の概念を導入し、未学習の知識を文脈内で再導入する。 我々は、不寛容な知識に対するコンテンツフィルタリングが不可欠であり、正確な未学習スキームでさえ、効果的なコンテンツ規制には不十分であると主張している。
  論文  参考訳（メタデータ） (2024-06-27T10:24:35Z)
• Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations? [33.702498916775426]
  既存の知識を活用するための微調整モデルの能力に及ぼす新しい知識の影響について検討する。 大規模な言語モデルは、微調整によって新しい事実知識を取得するのに苦労していることを実証する。 新たな知識のサンプルが最終的に学習されるにつれて、モデルが幻覚化する傾向がリニアに増加する。
  論文  参考訳（メタデータ） (2024-05-09T17:00:22Z)
• DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models [79.01926242857613]
  大型言語モデル(LLM)は幻覚を起こす傾向があり、事前訓練中に見られる事実から逸脱した内容を生成する。 事前学習したLLMによる幻覚を低減するための簡単な復号法を提案する。 コントラスティング・レイヤ(DoLa)アプローチによるこのデコーディングは,事実知識をよりよく提示し,誤った事実の生成を減らすことができる。
  論文  参考訳（メタデータ） (2023-09-07T17:45:31Z)
• The Effect of Masking Strategies on Knowledge Retention by Language Models [9.130890741447422]
  本稿では,事前学習タスクが言語モデルによって捉え,忘れられた知識量に与える影響を理解することを目的とする。 我々は,実際の質問に答える能力を測定することによって,モデルの知識保持を検証した。 我々の研究結果は、あるタスクを実行する能力と同様に、そのタスクでトレーニングされた知識は、あるモデルが別のタスクを実行するように訓練されたときに忘れられることを示した。
  論文  参考訳（メタデータ） (2023-06-12T15:35:23Z)
• Decouple knowledge from parameters for plug-and-play language modeling [77.5601135412186]
  差別化可能なプラグインメモリ(DPM)を備えた事前学習モデルPlugLMを導入する。 鍵となる直感は、編集可能でスケーラブルなキーバリューメモリで、知識ストレージをモデルパラメータから切り離すことである。 PlugLMは4つのドメインで平均3.95のF1改善を実現している。
  論文  参考訳（メタデータ） (2023-05-19T10:01:55Z)
• The Web Can Be Your Oyster for Improving Large Language Models [98.72358969495835]
  大規模言語モデル(LLM)は、大量の世界の知識を符号化する。 我々はLLMを検索エンジンを用いて大規模ウェブで拡張することを検討する。 ウェブ上に拡張されたLLM UNIWEBを提案する。これは16の知識集約的なタスクに対して、統一されたテキスト・テキスト・フォーマットで訓練される。
  論文  参考訳（メタデータ） (2023-05-18T14:20:32Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。