論文の概要: Per-parameter Task Arithmetic for Unlearning in Large Language Models

• arxiv url: http://arxiv.org/abs/2601.22030v1
• Date: Thu, 29 Jan 2026 17:35:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:50.048443
• Title: Per-parameter Task Arithmetic for Unlearning in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける未学習のためのパラメータごとのタスク算術
• Authors: Chengyi Cai, Zesheng Ye, Jiangchao Yao, Jianzhong Qi, Bo Han, Xiaolu Zhang, Feng Liu, Jun Zhou,
• Abstract要約: 大規模言語モデル(LLM)の未学習では、プライベート情報を削除する必要がある。 特定のタスクベクトル(TV)を減算したタスク算術
• 参考スコア（独自算出の注目度）: 63.240204423180955
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In large language model (LLM) unlearning, private information is required to be removed. Task arithmetic unlearns by subtracting a specific task vector (TV)--defined as the parameter difference between a privacy-information-tuned model and the original model. While efficient, it can cause over-forgetting by disrupting parameters essential for retaining other information. Motivated by the observation that each parameter exhibits different importance for forgetting versus retention, we propose a per-parameter task arithmetic (PerTA) mechanism to rescale the TV, allowing per-parameter adjustment. These weights quantify the relative importance of each parameter for forgetting versus retention, estimated via gradients (i.e., PerTA-grad) or the diagonal Fisher information approximation (i.e., PerTA-fisher). Moreover, we discuss the effectiveness of PerTA, extend it to a more general form, and provide further analysis. Extensive experiments demonstrate that PerTA consistently improves upon standard TV, and in many cases surpasses widely used training-based unlearning methods in both forgetting effectiveness and overall model utility. By retaining the efficiency of task arithmetic while mitigating over-forgetting, PerTA offers a principled and practical framework for LLM unlearning.
• Abstract（参考訳）: 大規模言語モデル(LLM)の未学習では、プライベート情報を削除する必要がある。 タスク算術は、プライバシ情報調整モデルと元のモデルとのパラメータ差として定義された特定のタスクベクトル(TV)を減算することで展開される。 効率的ではあるが、他の情報を保持するのに必要なパラメータを乱すことで、過剰な鍛造を引き起こす可能性がある。 本研究は,各パラメータが留置時と留置時とに異なる重要性を示すことを示す観察により,テレビを再スケールするパラメータごとのタスク算術(PerTA)機構を提案し,パラメータごとの調整を可能にする。 これらの重みは、勾配(PerTA-grad)や対角的なフィッシャー情報近似(PerTA-fisher)を通じて推定される、各パラメータの保持と保持の相対的な重要性を定量化する。 さらに、PerTAの有効性を議論し、より一般的な形式に拡張し、さらなる分析を行う。 広汎な実験により、PerTAは標準テレビで一貫して改善され、多くの場合、有効性を忘れることと全体モデルの有用性の両方において、広く使われているトレーニングベースのアンラーニング手法を超えることが示されている。 過剰な鍛造を緩和しながらタスク演算の効率を維持することで、PerTAはLLMアンラーニングのための原則的で実践的なフレームワークを提供する。

関連論文リスト

• Learning to Weight Parameters for Training Data Attribution [62.830878652285406]
  本稿では,アノテートラベルを必要とせず,パラメータ重み付けをデータから直接明示的に学習する手法を提案する。 提案手法は,画像分類,言語モデリング,拡散など多種多様なタスクに対する帰属精度を向上し,主題やスタイルといった概念に対する微粒な帰属を可能にする。
  論文  参考訳（メタデータ） (2025-06-06T00:32:04Z)
• Unified Parameter-Efficient Unlearning for LLMs [25.195126838721492]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらし、様々なタスクに対する高度な理解と推論を可能にする。 これは、モデルが不注意に機密情報や望ましくない情報を保持および拡散する可能性があるため、重要なプライバシーとセキュリティ上の懸念を提起する。 本稿では,非学習タスクを体系的に分類し,影響関数を用いた高精度な調整を行う,新しいインスタンス単位のアンラーニングフレームワークLLMEraserを紹介する。
  論文  参考訳（メタデータ） (2024-11-30T07:21:02Z)
• Beyond Task Vectors: Selective Task Arithmetic Based on Importance Metrics [0.0]
  本稿では,タスク固有パラメータ融合によるマルチタスク性能向上を目的としたトレーニングフリーフレームワークであるtextbfunderlineSelective textbfunderlineTask textbfunderlineArithmetic underlinetextbf(STA)を紹介する。 実験により,STAはベンチマーク間で優れたマルチタスク性能を実現し,タスクを忘れる際の優れた性能を示した。
  論文  参考訳（メタデータ） (2024-11-25T06:59:16Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Evaluating Parameter-Efficient Transfer Learning Approaches on SURE Benchmark for Speech Understanding [40.27182770995891]
  ファインチューニングは、事前訓練されたモデルからのトランスファー学習のデフォルトアルゴリズムとして広く使われている。 本稿では,様々な音声処理タスクに対するパラメータ効率学習のための音声不確定評価(SURE)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-03-02T08:57:33Z)
• Scalable Weight Reparametrization for Efficient Transfer Learning [10.265713480189486]
  効率的な転送学習は、より大きなデータセットでトレーニングされたトレーニング済みのモデルを使用して、下流タスクのためにそれを再利用する。 以前の作業ではパラメータやタスク固有のモジュールが更新され、特に小さなモデルでは計算量が増加した。 本稿では,事前学習したモデルの再パラメータ化の場所を決定するためのポリシネットワークの学習を提案する。
  論文  参考訳（メタデータ） (2023-02-26T23:19:11Z)
• Towards a Unified View on Visual Parameter-Efficient Transfer Learning [96.99924127527002]
  本稿では,視覚PETL(visual-PETL)と呼ばれる統一的な視点を持つフレームワークを提案し,トレードオフに影響を与えるさまざまな側面について検討する。 提案したV-PETLフレームワークから派生したSwin-BAPATは、最先端のAdaptFormer-Swinよりも大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-10-03T09:54:39Z)
• Parameter-Efficient Sparsity for Large Language Models Fine-Tuning [63.321205487234074]
  私たちはaを提案します。 Sparse- efficient Sparse Training (PST) は、スパース・アウェア・トレーニング中にトレーニング可能なパラメータの数を減少させる手法である。 多様なネットワーク(BERT、RoBERTa、GPT-2)を用いた実験では、PSTは従来のスパーシリティ法よりも同等以上の性能を示した。
  論文  参考訳（メタデータ） (2022-05-23T02:43:45Z)
• Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning [81.3514358542452]
  ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。 パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。 本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。