論文の概要: Learning-Time Encoding Shapes Unlearning in LLMs

• arxiv url: http://arxiv.org/abs/2506.15076v1
• Date: Wed, 18 Jun 2025 02:42:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-19 19:35:51.527177
• Title: Learning-Time Encoding Shapes Unlearning in LLMs
• Title（参考訳）: LLMにおける学習時間符号化形状の非学習
• Authors: Ruihan Wu, Konstantin Garov, Kamalika Chaudhuri,
• Abstract要約: 知識エンコーディングにおける学習時間選択が、未学習の事実知識の有効性に与える影響について検討する。 この結果から,学習時の知識符号化は,信頼性の高いポストホック・アンラーニングを実現する上で重要な役割を担っている可能性が示唆された。
• 参考スコア（独自算出の注目度）: 25.48677069802298
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As large language models (LLMs) are increasingly deployed in the real world, the ability to ``unlearn'', or remove specific pieces of knowledge post hoc, has become essential for a variety of reasons ranging from privacy regulations to correcting outdated or harmful content. Prior work has proposed unlearning benchmarks and algorithms, and has typically assumed that the training process and the target model are fixed. In this work, we empirically investigate how learning-time choices in knowledge encoding impact the effectiveness of unlearning factual knowledge. Our experiments reveal two key findings: (1) learning with paraphrased descriptions improves unlearning performance and (2) unlearning individual piece of knowledge from a chunk of text is challenging. Our results suggest that learning-time knowledge encoding may play a central role in enabling reliable post-hoc unlearning.
• Abstract（参考訳）: 大規模言語モデル(LLM)が現実世界にますます展開されるにつれて、プライバシー規制から時代遅れや有害なコンテンツの修正に至るまで、さまざまな理由から、‘unlearn’や‘hoc’後の特定の知識を除去する能力が不可欠になっている。 以前の作業では、未学習のベンチマークとアルゴリズムが提案されており、トレーニングプロセスとターゲットモデルが固定されていると一般的に想定されていた。 本研究では,知識エンコーディングにおける学習時間選択が,非学習的事実知識の有効性にどのように影響するかを実証的に検討する。 実験の結果,(1)言い換え記述による学習は学習性能を向上し,(2)テキストの断片から個々の知識を学習することは困難であることがわかった。 この結果から,学習時の知識符号化は,信頼性の高いポストホック・アンラーニングを実現する上で重要な役割を担っている可能性が示唆された。

関連論文リスト

• Effective LLM Knowledge Learning via Model Generalization [73.16975077770765]
  大規模言語モデル(LLM)は、広範囲な世界知識を含む膨大なドキュメントに基づいて訓練されている。 自己回帰的な事前学習を通じて知識がどのように獲得されるかは、まだよく理解されていない。 本稿では,LLM知識学習の理解と改善に焦点をあてる。
  論文  参考訳（メタデータ） (2025-03-05T17:56:20Z)
• Unlearning through Knowledge Overwriting: Reversible Federated Unlearning via Selective Sparse Adapter [35.65566527544619]
  フェデレーション学習は、プライバシ保護のためのコラボレーティブモデルトレーニングにおいて有望なパラダイムである。 本稿では,各レイヤの知識に対する感受性を分析することによって,まず重要なレイヤを識別するFUSEDを提案する。 アダプタは元のパラメータを変更することなくトレーニングされ、未学習の知識を残りの知識で上書きする。
  論文  参考訳（メタデータ） (2025-02-28T04:35:26Z)
• Resolving Editing-Unlearning Conflicts: A Knowledge Codebook Framework for Large Language Model Updating [61.70705744491162]
  大きな言語モデル(LLM)は、人間の知識を符号化することで自然言語処理に優れる。 LLMの更新には、不要な知識を取り除くための学習と、新しい情報を統合するための編集という、2つの重要なタスクが同時に行われる。 知識コードブックに基づく LLM 更新のためのコンフリクトフリーフレームワーク Loka を提案する。
  論文  参考訳（メタデータ） (2025-01-31T20:48:46Z)
• To Forget or Not? Towards Practical Knowledge Unlearning for Large Language Models [39.39428450239399]
  大規模な言語モデル(LLM)は、個人プライバシー情報や著作権資料などの機密データを必然的に保持する。 知識未学習の最近の進歩は、特定の知識を消去するためにLLMパラメータを更新する。 未学習プロセスが必然的に本質的な知識を消去するかどうかを評価するために KnowUnDo を導入する。
  論文  参考訳（メタデータ） (2024-07-02T03:34:16Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
  Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。 実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-08-19T09:17:19Z)
• The Web Can Be Your Oyster for Improving Large Language Models [98.72358969495835]
  大規模言語モデル(LLM)は、大量の世界の知識を符号化する。 我々はLLMを検索エンジンを用いて大規模ウェブで拡張することを検討する。 ウェブ上に拡張されたLLM UNIWEBを提案する。これは16の知識集約的なタスクに対して、統一されたテキスト・テキスト・フォーマットで訓練される。
  論文  参考訳（メタデータ） (2023-05-18T14:20:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。