論文の概要: CoLU: Confidence-Weighted Layerwise Unlearning for Large Language Models

• arxiv url: http://arxiv.org/abs/2610.22721v1
• Date: Thu, 15 Oct 2026 22:51:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.692342
• Title: CoLU: Confidence-Weighted Layerwise Unlearning for Large Language Models
• Title（参考訳）: CoLU: 大規模言語モデルのための信頼度の高い階層的アンラーニング
• Abstract要約: 大規模言語モデル(LLM)アンラーニングは、スクラッチから再トレーニングすることなく、他の言語を保存しながら特定の情報を忘れることを目的としている。 NPO、SimNPO、SatImpなどのSoTAメソッドは、モデル全体の微調整を忘れ、維持する。 信頼度重み付けされた新しい忘れ忘れと正規化の両立を図った信頼度重み付きレイヤーワイド・アンラーニング(CoLU)を提案する。
• 参考スコア（独自算出の注目度）: 16.163952701527627
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language model (LLM) unlearning aims to forget certain information while preserving others, without retraining from scratch. SoTA methods such as NPO, SimNPO, and SatImp balance forgetting and retain through whole model fine-tuning, while FOM-UL explores selective layer updates. Prior works show that suppressing target information can damage retained knowledge. This trade-off can vary across layers even under the same unlearning loss. In this work, we propose Confidence-Weighted Layerwise Unlearning (CoLU), which combines a novel confidence-weighted forgetting and retain regularization while updating a single selected transformer layer, rather than the whole model for unlearning. To reduce CoLU compute cost, we further propose Brief Layer Screening (BLS), which uses a newly defined normalized forgetting-retention (NFR) score to first rank layers through a brief unlearning trials using a subset of forgetting dataset and fewer epochs. BLS pre-selects top-k ranked layer candidates, which will then be fully profiled using full data analysis. BLS is proven to reduce the runtime of CoLU by 60.2-79.7% with almost the same performance. On TOFU dataset, CoLU improves both forgetting and retention over NPO, SatImp, and GA-based FOM-UL in all six TOFU settings, and over SimNPO in five of the six settings. On MUSE Books and News datasets, CoLU achieves the highest retained KnowMem and the PrivLeak closest to zero among the compared SOTA unlearning methods. CoLU presents a new record performance in both unlearning and retain in most settings up to date. Moreover, across the measured settings, average CoLU GPU memory usage is 77.4% to 79.5% lower than full-model unlearning.
• Abstract（参考訳）: 大規模言語モデル(LLM)アンラーニングは、スクラッチから再トレーニングすることなく、他の言語を保存しながら特定の情報を忘れることを目的としている。 NPO、SimNPO、SatImpといったSoTAメソッドはモデル全体の微調整を忘れ、維持するが、FOM-ULは選択的なレイヤ更新を探索する。 先行研究は、標的情報の抑制は、保持された知識を損なう可能性があることを示した。 このトレードオフは、同じ未学習の損失の下でも、レイヤによって異なります。 本研究では, 信頼度重み付け型階層学習(CoLU)を提案する。この手法は, 信頼度重み付けされた新しい忘れ込みを組み合わせ, 正規化を維持しつつ, 未学習のモデル全体ではなく, 単一のトランスフォーマ層を更新する。 さらに,CoLU計算コストを削減するために,新たに定義された正規化記憶保持(NFR)スコアを,記憶データセットのサブセットとエポックの少ない短いアンラーニングトライアルを通じて第1位層に設定したブリーフ層スクリーニング(BLS)を提案する。 BLSはトップランクの層候補を事前に選択し、完全なデータ分析によって完全にプロファイルされる。 BLSは、ほぼ同じ性能で、CoLUのランタイムを60.2-79.7%削減することが証明されている。 TOFUデータセットでは、NPO、SatImp、GAベースのFOM-ULを6つのTOFU設定すべてで、SimNPOを6つの設定のうち5つで、忘れと保持の両方を改善している。 MUSE BooksとNewsデータセットでは、比較したSOTAアンラーニング手法の中で、CoLUは最高に保持されているKnowMemとPrivLeakを0に最も近い精度で達成している。 CoLUは、アンラーニングと保持の両方において、最新のほとんどの設定で新しいレコードパフォーマンスを提供する。 さらに、測定された設定の中で、平均的なCoLU GPUメモリ使用量は、フルモデルアンラーニングよりも77.4%から79.5%低い。

関連論文リスト

• From Code to Prediction: Fine-Tuning LLMs for Neural Network Performance Classification in NNGPT [48.83701310501069]
  NNGPTフレームワークに組み込まれた分類タスクを提案する。 微調整されたLLMは、与えられたニューラルネットワークアーキテクチャの2つの画像分類データセットのうちどれがより高い精度を達成するかを予測する。 その結果、LLMはニューラルネットワークコードからデータセット間の適合性を予測するために微調整可能であることが判明した。
  論文  参考訳（メタデータ） (2026-05-05T12:30:19Z)
• Traversal Learning: A Lossless And Efficient Distributed Learning Framework [0.0]
  トラバースラーニング(TL)は、人気のある分散学習(DL)パラダイムで発生する品質低下の問題に対処するために設計された新しいアプローチである。 TLは、モデルがフォワード伝搬(FP)中にノードを横切るユニークな戦略を採用し、オーケストレータ上で後方伝搬(BP)を行う。 評価の結果,TL は古典的な CL アプローチと同程度であることがわかった。
  論文  参考訳（メタデータ） (2025-04-10T05:48:57Z)
• MMLU-CF: A Contamination-free Multi-task Language Understanding Benchmark [57.999567012489706]
  我々は,MMLU-CFと呼ばれる汚染のない,より困難なベンチマークを提案する。 このベンチマークは、意図しないデータ漏洩と悪意のないデータ漏洩の両方を回避することで、LLMの世界の知識に対する理解を再評価する。 GPT-4o は 5 ショットスコア73.4% と 0 ショットスコア71.9% しか達成できない。
  論文  参考訳（メタデータ） (2024-12-19T18:58:04Z)
• Entropy Law: The Story Behind Data Compression and LLM Performance [115.70395740286422]
  モデル性能はトレーニングデータの圧縮比と負の相関関係にあり,トレーニング損失が小さくなるのが普通である。 エントロピー法則の知見に基づいて, 極めて効率的で普遍的なデータ選択法を提案する。 また,モデルトレーニング開始時の潜在的な性能リスクを検出するエントロピー法則の興味深い応用を提案する。
  論文  参考訳（メタデータ） (2024-07-09T08:14:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。