論文の概要: UnStar: Unlearning with Self-Taught Anti-Sample Reasoning for LLMs

• arxiv url: http://arxiv.org/abs/2410.17050v1
• Date: Tue, 22 Oct 2024 14:30:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:30:45.833152
• Title: UnStar: Unlearning with Self-Taught Anti-Sample Reasoning for LLMs
• Title（参考訳）: UnStar:LLMのための自己学習型アンチサンプル推論
• Authors: Yash Sinha, Murari Mandal, Mohan Kankanhalli,
• Abstract要約: 大規模言語モデル(LLM)のための自己学習アンチサンプル推論を用いたアンラーニング(UnSTAR)について紹介する。 まず, 反サンプルによる非学習という新しい概念を提案し, 第二に, 誤解を招く合理性を活用して反サンプルを生成することにより, 関連性を逆転させ, 未学習プロセスを加速させる。 結果は、アンチサンプルがLLMに対して効率的でターゲットの未学習戦略を提供し、プライバシ保護機械学習とモデル修正のための新たな道を開くことを実証している。
• 参考スコア（独自算出の注目度）: 10.335361310419826
• License:
• Abstract: The key components of machine learning are data samples for training, model for learning patterns, and loss function for optimizing accuracy. Analogously, unlearning can potentially be achieved through anti-data samples (or anti-samples), unlearning method, and reversed loss function. While prior research has explored unlearning methods and reversed loss functions, the potential of anti-samples remains largely untapped. In this paper, we introduce UnSTAR: Unlearning with Self-Taught Anti-Sample Reasoning for large language models (LLMs). Our contributions are threefold; first, we propose a novel concept of anti-sample-induced unlearning; second, we generate anti-samples by leveraging misleading rationales, which help reverse learned associations and accelerate the unlearning process; and third, we enable fine-grained targeted unlearning, allowing for the selective removal of specific associations without impacting related knowledge - something not achievable by previous works. Results demonstrate that anti-samples offer an efficient, targeted unlearning strategy for LLMs, opening new avenues for privacy-preserving machine learning and model modification.
• Abstract（参考訳）: 機械学習の主要なコンポーネントは、トレーニング用のデータサンプル、学習パターンのモデル、精度を最適化するための損失関数である。 アナロジー的には、アンラーニングはアンチデータサンプル(あるいはアンチサンプル)、アンラーニング方法、およびリバースド・ロス関数によって達成される可能性がある。 これまでの研究では、未学習の方法や損失関数の逆転について研究されてきたが、反サンプルの可能性はほとんど未解決のままである。 本稿では,大規模言語モデル(LLMs)に対するUnSTAR: Unlearning with Self-Taught Anti-Sample Reasoningを紹介する。 提案するアンラーニングは,まず,反サンプルによるアンラーニングという新たな概念,第2に,非ラーニングプロセスの逆転と促進を支援する,誤解を招く合理性を活用することでアンチサンプルを生成する,第3に,より詳細な対象のアンラーニングを可能にし,関連する知識に影響を与えずに特定のアソシエーションを選択的に除去できるようにする,という3つの方法である。 結果は、アンチサンプルがLLMに対して効率的でターゲットの未学習戦略を提供し、プライバシ保護機械学習とモデル修正のための新たな道を開くことを実証している。

関連論文リスト

• Attribute-to-Delete: Machine Unlearning via Datamodel Matching [65.13151619119782]
  機械学習 -- 事前訓練された機械学習モデルで、小さな"ターゲットセット"トレーニングデータを効率的に削除する -- は、最近関心を集めている。 最近の研究では、機械学習技術はこのような困難な環境では耐えられないことが示されている。
  論文  参考訳（メタデータ） (2024-10-30T17:20:10Z)
• A Closer Look at Machine Unlearning for Large Language Models [46.245404272612795]
  大型言語モデル(LLM)は機密または著作権のあるコンテンツを記憶し、プライバシーと法的懸念を高める。 LLMの機械学習におけるいくつかの問題について議論し、可能なアプローチについての洞察を提供する。
  論文  参考訳（メタデータ） (2024-10-10T16:56:05Z)
• Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
  Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。 知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。 Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。 また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
  論文  参考訳（メタデータ） (2024-07-25T07:09:35Z)
• Learn What You Want to Unlearn: Unlearning Inversion Attacks against Machine Unlearning [16.809644622465086]
  我々は、機械学習が未学習データの機密内容を漏洩させる範囲を理解するために、最初の調査を行う。 機械学習・アズ・ア・サービス・セッティングの下で、未学習サンプルの特徴とラベル情報を明らかにするアンラーニング・インバージョン・アタックを提案する。 実験結果から,提案攻撃は未学習データのセンシティブな情報を明らかにすることができることが示された。
  論文  参考訳（メタデータ） (2024-04-04T06:37:46Z)
• Contrastive Unlearning: A Contrastive Approach to Machine Unlearning [30.38966646250252]
  本研究では,表現学習の概念を有効活用する,対照的な非学習フレームワークを提案する。 その結果,非学習の非学習効果と効率性は,最先端のアルゴリズムと比較して低い結果が得られた。
  論文  参考訳（メタデータ） (2024-01-19T02:16:30Z)
• Unlearn What You Want to Forget: Efficient Unlearning for LLMs [92.51670143929056]
  大規模言語モデル(LLM)は、幅広いテキストデータを事前学習し記憶することで大きな進歩を遂げた。 このプロセスはプライバシー問題やデータ保護規則違反に悩まされる可能性がある。 データ削除後のモデル全体を再トレーニングすることなく、LLMを効率的に更新できる効率的なアンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-31T03:35:59Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Combating Label Noise With A General Surrogate Model For Sample Selection [84.61367781175984]
  本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。 提案手法の有効性を実世界および合成ノイズデータセットで検証した。
  論文  参考訳（メタデータ） (2023-10-16T14:43:27Z)
• Learn to Unlearn: A Survey on Machine Unlearning [29.077334665555316]
  本稿では,最近の機械学習技術,検証機構,潜在的攻撃について概説する。 新たな課題と今後の研究方向性を強調します。 本稿では、プライバシ、エクイティ、レジリエンスをMLシステムに統合するための貴重なリソースの提供を目的としている。
  論文  参考訳（メタデータ） (2023-05-12T14:28:02Z)
• Model Sparsity Can Simplify Machine Unlearning [33.18951938708467]
  最近のデータ規制要件に応えて、マシン・アンラーニング(MU)が重要なプロセスとして登場した。 本研究は,ウェイトプルーニングによるモデルスペーシフィケーションという,新しいモデルベース視点を紹介する。 理論と実践の両方において、モデルスパーシティは、近似アンラーナーのマルチ基準アンラーニング性能を高めることができることを示す。
  論文  参考訳（メタデータ） (2023-04-11T02:12:02Z)
• Temporal Output Discrepancy for Loss Estimation-based Active Learning [65.93767110342502]
  ラベルのないサンプルが高損失を伴っていると信じられている場合に,データアノテーションのオラクルに問い合わせる,新しいディープラーニングアプローチを提案する。 本手法は,画像分類やセマンティックセグメンテーションタスクにおける最先端の能動学習手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-12-20T19:29:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。