論文の概要: How new data permeates LLM knowledge and how to dilute it

• arxiv url: http://arxiv.org/abs/2504.09522v1
• Date: Sun, 13 Apr 2025 11:25:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:55:20.147529
• Title: How new data permeates LLM knowledge and how to dilute it
• Title（参考訳）: 新しいデータがLLMの知識を浸透させる方法とそれを希薄化する方法
• Authors: Chen Sun, Renat Aksitov, Andrey Zhmoginov, Nolan Andrew Miller, Max Vladymyrov, Ulrich Rueckert, Been Kim, Mark Sandler,
• Abstract要約: 大規模言語モデルは、勾配ベースの更新の蓄積を通じて学び、継続的に学習する。 新たな事実を学習することで、モデルは無関係な文脈でその知識を不適切に適用することができる。 学習前のキーワードのトークン確率を計測することにより,新しい情報学習後のプライミングの度合いを予測することができることを示す。
• 参考スコア（独自算出の注目度）: 19.96863816288517
• License:
• Abstract: Large language models learn and continually learn through the accumulation of gradient-based updates, but how individual pieces of new information affect existing knowledge, leading to both beneficial generalization and problematic hallucination, remains poorly understood. We demonstrate that when learning new information, LLMs exhibit a "priming" effect: learning a new fact can cause the model to inappropriately apply that knowledge in unrelated contexts. To systematically study this phenomenon, we introduce "Outlandish," a carefully curated dataset of 1320 diverse text samples designed to probe how new knowledge permeates through an LLM's existing knowledge base. Using this dataset, we show that the degree of priming after learning new information can be predicted by measuring the token probability of key words before learning. This relationship holds robustly across different model architectures (PALM-2, Gemma, Llama), sizes, and training stages. Finally, we develop two novel techniques to modulate how new knowledge affects existing model behavior: (1) a ``stepping-stone'' text augmentation strategy and (2) an ``ignore-k'' update pruning method. These approaches reduce undesirable priming effects by 50-95\% while preserving the model's ability to learn new information. Our findings provide both empirical insights into how LLMs learn and practical tools for improving the specificity of knowledge insertion in language models. Further materials: https://sunchipsster1.github.io/projects/outlandish/
• Abstract（参考訳）: 大規模言語モデルは、勾配に基づく更新の蓄積を通じて学び、継続的に学習するが、新しい情報の個々の部分が既存の知識にどのように影響するかは、有益な一般化と問題のある幻覚の両方をもたらすが、未だに理解されていない。 新たな事実を学習することで、モデルは無関係な文脈でその知識を不適切に適用することができる。 この現象を体系的に研究するために,我々は,LLMの既存の知識ベースを通じて新たな知識がどのように浸透するかを調査するために,1320種類のテキストサンプルを慎重にキュレートしたデータセットであるOutlandishを紹介した。 このデータセットを用いて、学習前のキーワードのトークン確率を測定することにより、新しい情報学習後のプライミングの度合いを予測することができることを示す。 この関係は、異なるモデルアーキテクチャ(PALM-2, Gemma, Llama)、サイズ、トレーニングステージに強く関係している。 最後に,新しい知識が既存のモデル行動にどのように影響するかを,(1)「ステッピングストーン」テキスト拡張戦略,(2)「グニニョールク」更新プルーニング手法の2つの新しい手法を開発した。 これらのアプローチは、新しい情報を学習するモデルの能力を維持しながら、望ましくないプライミング効果を50～95%削減する。 本研究は,LLMの学習方法に関する実証的な知見と,言語モデルにおける知識挿入の特異性を改善するための実践的ツールを提供する。 さらなる資料:https://sunchipsster1.github.io/projects/outlandish/

関連論文リスト

• Refine Knowledge of Large Language Models via Adaptive Contrastive Learning [54.61213933999464]
  方法の主流は、大規模言語モデルの知識表現を最適化することで幻覚を減らすことである。 知識を精錬するモデルのプロセスは、人間の学習方法から大きな恩恵を受けることができると私たちは信じています。 人間の学習過程を模倣することで,適応的コントラスト学習戦略を設計する。
  論文  参考訳（メタデータ） (2025-02-11T02:19:13Z)
• Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models [51.20499954955646]
  大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。 微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。 本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:35:16Z)
• Novel-WD: Exploring acquisition of Novel World Knowledge in LLMs Using Prefix-Tuning [2.8972337324168014]
  本研究では, PLMが学習し, 学習前コーパスで発生しない新たな世界知識事実を記憶する方法について検討する。 我々はまず,最近のウィキデータ更新から抽出された新しい事実を含む文からなる新しいデータセットであるNove-WDを提案する。 このデータセットをコミュニティに無償で提供し、その後、最新情報を備えた類似データセットの新バージョンを構築する手順をリリースします。
  論文  参考訳（メタデータ） (2024-08-30T07:54:50Z)
• Does Fine-Tuning LLMs on New Knowledge Encourage Hallucinations? [33.702498916775426]
  既存の知識を活用するための微調整モデルの能力に及ぼす新しい知識の影響について検討する。 大規模な言語モデルは、微調整によって新しい事実知識を取得するのに苦労していることを実証する。 新たな知識のサンプルが最終的に学習されるにつれて、モデルが幻覚化する傾向がリニアに増加する。
  論文  参考訳（メタデータ） (2024-05-09T17:00:22Z)
• Robust and Scalable Model Editing for Large Language Models [75.95623066605259]
  LLM編集のスケーラビリティと堅牢性を向上させるため,EREN(Reading Notesによる編集モデル)を提案する。 既存の技術とは異なり、複数の編集から知識を統合することができ、構文的に類似しているが意味的に無関係な入力に正しく反応する。
  論文  参考訳（メタデータ） (2024-03-26T06:57:23Z)
• Forgetting before Learning: Utilizing Parametric Arithmetic for Knowledge Updating in Large Language Models [53.52344131257681]
  本稿では,F-Learningと呼ばれるファインチューニングのための新しいパラダイムを提案する。これはパラメトリック算術を用いて,古い知識の忘れと新しい知識の学習を容易にする。 2つの公開データセットによる実験結果から、提案したFラーニングは、完全な微調整とLoRA微調整の両方の知識更新性能を向上させることが明らかに示されている。
  論文  参考訳（メタデータ） (2023-11-14T09:12:40Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。