論文の概要: MPSelectTune: Prompt-type Selection for Fine-tuning improves Concept Unlearning in LLMs
- arxiv url: http://arxiv.org/abs/2607.03932v1
- Date: Sat, 04 Jul 2026 15:52:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.765902
- Title: MPSelectTune: Prompt-type Selection for Fine-tuning improves Concept Unlearning in LLMs
- Title(参考訳): MPSelectTune: ファインチューニングのためのプロンプト型選択はLLMにおける概念学習を改善する
- Abstract要約: 性的あるいは有害な概念(例えば、性別や生物兵器)は、そのようなプロンプトの多くに対して安全でない、または非倫理的な反応をもたらす。
概念予測のための「最悪のプロンプト型」を用いた微調整により、平均的未学習性能が向上することを示す。
提案手法であるMPSelectTuneは,新しいマルチタスク・ロスを用いた微調整の後,高い精度・プロンプト型の概念精度を最小化する2段階の手法である。
- 参考スコア(独自算出の注目度): 5.054661352089593
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLMs can be conveniently adapted to a diverse set of tasks, e.g, prediction, question-answering tasks, etc, using appropriate prompts with few-shot examples. Biased or harmful concepts, e.g. gender or bio-weapons, present in pre-trained LLMs can lead to unsafe or unethical responses for many such prompts. Removing such undesirable concepts robustly across different prompt types remains a challenging problem, since existing unlearning methods typically ignore the impact of prompt variation. In this paper, we explore a novel adversarial approach to use a joint prompt for the main task and concept task prediction. We show that fine-tuning using the ``worst prompt type'' for concept prediction (with the highest concept accuracy) improves the average unlearning performance over a fine-tuning method that uses a combination of all prompt types. Our proposed method, MPSelectTune, is a two-stage approach that minimizes the concept accuracy of the highest accuracy-prompt type, after fine-tuning using a novel multi-task loss using multiple prompt types. Experimental results on four benchmarks show $2 - 15\%$ main task accuracy improvements over recent baselines and while reducing the worst-case concept accuracy by up to $17\%$ compared to recent baselines.
- Abstract(参考訳): LLMは、例の少ない適切なプロンプトを使用して、予測、質問応答タスクなど、さまざまなタスクに便利に適応することができる。
事前訓練されたLSMに存在する、生物学的または有害な概念、例えば性別や生物兵器は、そのような多くのプロンプトに対して、安全でないまたは非倫理的な反応を引き起こす。
このような望ましくない概念を異なるプロンプトタイプで堅牢に取り除くことは、既存のアンラーニング手法が通常、プロンプト変動の影響を無視しているため、難しい問題である。
本稿では,主課題と概念的課題予測に共同プロンプトを使用するための,新たな対角的アプローチについて検討する。
概念予測に ‘worst prompt type' を用いるファインチューニングは,すべてのプロンプト型の組み合わせを用いたファインチューニング手法よりも,平均的なアンラーニング性能を向上させることを示す。
提案手法であるMPSelectTuneは,複数のプロンプト型を用いた新しいマルチタスク損失を用いた微調整の後,高い精度・プロンプト型の概念精度を最小化する2段階の手法である。
4つのベンチマークでの実験結果によると、最近のベースラインよりも2~15\%のメインタスク精度が向上し、最悪のケースの概念精度が最近のベースラインと比較して最大17\%の精度で低下した。
関連論文リスト
- $p1$: Better Prompt Optimization with Fewer Prompts [49.20082664169319]
システムプロンプト間の分散が大きくなるとプロンプト最適化が成功するが,システムプロンプト間の分散がシステムプロンプトの分散を支配するとフェールすることを示す。
本稿では,ユーザプロンプトのサブセットを選択するシンプルなユーザプロンプトフィルタリング手法である$p1$を提案する。
論文 参考訳(メタデータ) (2026-04-09T22:31:15Z) - CAPrompt: Cyclic Prompt Aggregation for Pre-Trained Model Based Class Incremental Learning [12.249938312431993]
本稿では,タスクID予測への依存性を排除するために,新しいCAPromptアグリゲーション法を提案する。
凹凸条件下では、集約プロンプトは単一のタスク固有のプロンプトを選択するよりも低いエラーを達成する。
提案したCAPromptは最先端手法を2%-3%上回る性能を示した。
論文 参考訳(メタデータ) (2024-12-12T04:34:28Z) - Vector Quantization Prompting for Continual Learning [23.26682439914273]
連続学習は、1つのモデルを一連のタスクでトレーニングする際に破滅的な忘れを克服する必要がある。
最近のトップパフォーマンスアプローチは、学習可能なパラメータのセットを使ってタスク知識をエンコードするプロンプトベースの手法である。
本稿では,ベクトル量子化を離散的なプロンプトのエンドツーエンドトレーニングに組み込む,プロンプトに基づく連続学習手法であるVQ-Promptを提案する。
論文 参考訳(メタデータ) (2024-10-27T13:43:53Z) - Efficient Prompt Tuning by Multi-Space Projection and Prompt Fusion [9.668242919588199]
プロンプトチューニングは、大規模パラメータを再訓練することなく、事前訓練された言語モデルを微調整する有望な方法である。
既存の方法は精度と効率のバランスをとるのが難しい。
より長い(厳密な)ソフトプロンプトは、一般的には、より(より悪い)正確さをもたらすが、より(少ない)トレーニング時間に費やされる。
マルチスペースプロジェクションとプロンプト融合による効率的なプロンプトチューニング法(EPT)を提案する。
論文 参考訳(メタデータ) (2024-05-19T06:43:12Z) - OVOR: OnePrompt with Virtual Outlier Regularization for Rehearsal-Free Class-Incremental Learning [9.164352588061075]
分類器の判定境界を狭めるために,仮想外れ値に基づく正規化手法を提案する。
単純化されたプロンプトベースの手法は、プロンプトプールを備えた従来の最先端(SOTA)手法に匹敵する結果が得られる。
論文 参考訳(メタデータ) (2024-02-06T16:31:11Z) - Self-regulating Prompts: Foundational Model Adaptation without
Forgetting [112.66832145320434]
本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。
PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
論文 参考訳(メタデータ) (2023-07-13T17:59:35Z) - Multitask Prompt Tuning Enables Parameter-Efficient Transfer Learning [43.639430661322585]
マルチタスク・プロンプト・チューニング(MPT)を提案する。
MPTは複数のタスク固有のソースプロンプトから知識を抽出することで単一の転送可能なプロンプトを学習する。
次に、この共有プロンプトに対する乗算的低ランク更新を学習し、各下流ターゲットタスクに効率よく適応する。
論文 参考訳(メタデータ) (2023-03-06T03:25:59Z) - TEMPERA: Test-Time Prompting via Reinforcement Learning [57.48657629588436]
強化学習(TEMPERA)を用いたテスト時間プロンプト編集を提案する。
従来のプロンプト生成手法とは対照的に、TEMPERAは事前知識を効率的に活用することができる。
本手法は従来の微調整法と比較して試料効率の平均改善率を5.33倍に向上させる。
論文 参考訳(メタデータ) (2022-11-21T22:38:20Z) - LASP: Text-to-Text Optimization for Language-Aware Soft Prompting of
Vision & Language Models [67.19124099815645]
ベースクラスオーバーフィットを軽減するために,Language-Aware Soft Prompting (LASP) 学習手法を提案する。
LASPは本質的に、トレーニング中に仮想クラス、すなわちビジュアルサンプルが使用できないクラス名を含むことができる。
LASPは、手作りのプロンプトとCLIPによる11のテストデータセットのうち8つの新しいクラスの精度が初めて一致し、上回っている。
論文 参考訳(メタデータ) (2022-10-03T17:56:35Z) - Interactive and Visual Prompt Engineering for Ad-hoc Task Adaptation
with Large Language Models [116.25562358482962]
最先端のニューラルネットワークモデルは、教師付きトレーニングを必要とせずに、アドホックな言語タスクを解決するために使用することができる。
PromptIDEを使えば、ユーザはプロンプトのバリエーションを試すことができ、プロンプトのパフォーマンスを視覚化し、反復的にプロンプトを最適化できる。
論文 参考訳(メタデータ) (2022-08-16T17:17:53Z) - RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。
RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。
少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-05-25T07:50:31Z) - Calibrate Before Use: Improving Few-Shot Performance of Language Models [68.17016463756474]
GPT-3は、いくつかのトレーニング例を含む自然言語プロンプトを提供すると、多数のタスクを実行できます。
この種の少数ショット学習は不安定である。
プロンプト形式、トレーニング例、およびトレーニング例の順序の選択は、精度をほぼチャンスから最先端のものに変化させる可能性があります。
論文 参考訳(メタデータ) (2021-02-19T00:23:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。