論文の概要: Alternate Preference Optimization for Unlearning Factual Knowledge in Large Language Models

• arxiv url: http://arxiv.org/abs/2409.13474v2
• Date: Mon, 16 Dec 2024 07:06:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:52:28.946746
• Title: Alternate Preference Optimization for Unlearning Factual Knowledge in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける非学習ファクチュアル知識の代替選好最適化
• Authors: Anmol Mekala, Vineeth Dorna, Shreya Dubey, Abhishek Lalwani, David Koleczek, Mukund Rungta, Sadid Hasan, Elita Lobo,
• Abstract要約: 機械学習は、特定のトレーニングデータの影響をモデルから効率的に排除することを目的としている。 既存の未学習手法は, 無視集合に関連する応答を抑制するために, 負のフィードバックのみに頼っている。 本稿では,AltPO(Alternate Preference Optimization)と呼ばれる新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 2.0962367975513496
• License:
• Abstract: Machine unlearning aims to efficiently eliminate the influence of specific training data, known as the forget set, from the model. However, existing unlearning methods for Large Language Models (LLMs) face a critical challenge: they rely solely on negative feedback to suppress responses related to the forget set, which often results in nonsensical or inconsistent outputs, diminishing model utility and posing potential privacy risks. To address this limitation, we propose a novel approach called Alternate Preference Optimization (AltPO), which combines negative feedback with in-domain positive feedback on the forget set. Additionally, we introduce new evaluation metrics to assess the quality of responses related to the forget set. Extensive experiments show that our approach not only enables effective unlearning but also avoids undesirable model behaviors while maintaining overall model performance. Our implementation can be found at https://github.com/molereddy/AlternatePreference-Optimization
• Abstract（参考訳）: 機械学習は、特定のトレーニングデータの影響をモデルから効率的に排除することを目的としている。 しかし、既存のLarge Language Models (LLMs) の未学習メソッドは、無視セットに関連する応答を抑えるために、負のフィードバックのみに頼っているため、しばしば非感覚的あるいは一貫性のないアウトプットが発生し、モデルの有用性を低下させ、潜在的なプライバシーリスクを生じさせる、という重大な課題に直面している。 この制限に対処するため、我々はAltPO(Alternate Preference Optimization)と呼ばれる新しい手法を提案する。 また,新たな評価指標を導入し,その評価基準の妥当性を検証した。 大規模な実験により、我々のアプローチは効果的なアンラーニングを可能にするだけでなく、全体的なモデル性能を維持しながら、望ましくないモデル動作を避けることができることが示された。 私たちの実装はhttps://github.com/molereddy/AlternatePreference-Optimizationで確認できます。

関連論文リスト

• Negative-Prompt-driven Alignment for Generative Language Model [34.191590966148816]
  本稿では,言語モデルが望ましくない行動から遠ざかるように,NEGative-prompt-driven AlignmenTを提案する。 NEATは有害なアウトプットを生成するためのモデルを明確に罰し、望ましい行動だけでなく、望ましくない偏見のある反応を発生させないよう仕向けている。 大規模な実験により、NEATは言語モデルと人間の価値観と嗜好との整合性を著しく向上させる効果を検証した。
  論文  参考訳（メタデータ） (2024-10-16T03:30:09Z)
• Simplicity Prevails: Rethinking Negative Preference Optimization for LLM Unlearning [27.991291785091736]
  我々は、不要なデータの影響と関連するモデル機能を取り除くことを目的とした、大規模言語モデル(LLM)アンラーニングの問題に対処する。 我々はSimNPOと呼ばれるシンプルで効果的なアンラーニング最適化フレームワークを提案し、参照モデルに依存しない場合の「単純さ」がアンラーニングの恩恵をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-10-09T17:58:12Z)
• Just Say What You Want: Only-prompting Self-rewarding Online Preference Optimization [64.34767799614328]
  現在の自己回帰アプローチは、差別者の判断能力に大きく依存している。 本稿では,判断能力に頼らずに嗜好データセットを生成する,新たな自己回帰型オンラインアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-09-26T04:41:08Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
  Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。 知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。 また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Learning to Unlearn for Robust Machine Unlearning [6.488418950340473]
  学習過程を最適化する新しいLTU(Learning-to-Unlearn)フレームワークを提案する。 LTUは、モデルが一般化可能な知識を効果的に保存することを容易にするメタ最適化スキームを含んでいる。 また、記憶と忘れのための最適化トラジェクトリを整列するグラディエント調和戦略も導入する。
  論文  参考訳（メタデータ） (2024-07-15T07:36:00Z)
• Unlearning with Control: Assessing Real-world Utility for Large Language Model Unlearning [97.2995389188179]
  最近の研究は、勾配上昇(GA)を通した大規模言語モデル(LLM)の未学習にアプローチし始めている。 その単純さと効率性にもかかわらず、我々はGAベースの手法が過剰な未学習の傾向に直面することを示唆している。 過剰な未学習の度合いを制御できるいくつかの制御手法を提案する。
  論文  参考訳（メタデータ） (2024-06-13T14:41:00Z)
• RLVF: Learning from Verbal Feedback without Overgeneralization [94.19501420241188]
  本稿では,このような過度な一般化を伴わずに,言語フィードバックを取り入れることの課題について検討する。 制約付き選好最適化(C3PO)を用いた新しい文脈的批評手法を開発した。 提案手法は,他の文脈に対する既存行動を維持しながら,関連するシナリオに対して効果的な言語フィードバックを適用する。
  論文  参考訳（メタデータ） (2024-02-16T18:50:24Z)
• Active learning with biased non-response to label requests [5.940553820027303]
  ラベル要求に対する非応答は、実世界の文脈におけるアクティブラーニングの有効性に影響を与える可能性がある。 データに含まれる非応答の種類を考慮し、この分解を概念化する。 本稿では, 偏りのない応答の影響を軽減するため, サンプリング戦略に対するコストベースの補正を提案する。
  論文  参考訳（メタデータ） (2023-12-13T14:01:58Z)
• Re-thinking Data Availablity Attacks Against Deep Neural Networks [53.64624167867274]
  本稿では、未学習例の概念を再検討し、既存のロバストな誤り最小化ノイズが不正確な最適化目標であることを示す。 本稿では,計算時間要件の低減による保護性能の向上を図った新しい最適化パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-05-18T04:03:51Z)
• Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
  本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。 AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。 誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
  論文  参考訳（メタデータ） (2022-09-22T04:32:51Z)
• WSLRec: Weakly Supervised Learning for Neural Sequential Recommendation Models [24.455665093145818]
  我々は、WSLRecと呼ばれる新しいモデルに依存しないトレーニング手法を提案し、3段階のフレームワーク(事前学習、トップ$k$マイニング、本質的、微調整)を採用する。 WSLRec は、BR や ItemCF のようなモデルフリーメソッドから、余分な弱い監督のモデルを事前訓練することで、不完全性の問題を解決すると同時に、最上位の$k のマイニングを活用して、微調整のための弱い監督の信頼性の高いユーザ・イテム関連を検査することで、不正確な問題を解消する。
  論文  参考訳（メタデータ） (2022-02-28T08:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。