論文の概要: Machine Unlearning in Generative AI: A Survey
- arxiv url: http://arxiv.org/abs/2407.20516v1
- Date: Tue, 30 Jul 2024 03:26:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-31 18:28:58.106922
- Title: Machine Unlearning in Generative AI: A Survey
- Title（参考訳）: ジェネレーティブAIにおける機械学習
- Authors: Zheyuan Liu, Guangyao Dou, Zhaoxuan Tan, Yijun Tian, Meng Jiang,
- Abstract要約: 生成AI技術は、(マルチモーダル)大規模言語モデルやビジョン生成モデルなど、多くの場所で展開されている。
新しい機械学習(MU)技術は、望ましくない知識を減らしたり排除したりするために開発されている。
- 参考スコア（独自算出の注目度）: 19.698620794387338
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Generative AI technologies have been deployed in many places, such as (multimodal) large language models and vision generative models. Their remarkable performance should be attributed to massive training data and emergent reasoning abilities. However, the models would memorize and generate sensitive, biased, or dangerous information originated from the training data especially those from web crawl. New machine unlearning (MU) techniques are being developed to reduce or eliminate undesirable knowledge and its effects from the models, because those that were designed for traditional classification tasks could not be applied for Generative AI. We offer a comprehensive survey on many things about MU in Generative AI, such as a new problem formulation, evaluation methods, and a structured discussion on the advantages and limitations of different kinds of MU techniques. It also presents several critical challenges and promising directions in MU research. A curated list of readings can be found: https://github.com/franciscoliu/GenAI-MU-Reading.
- Abstract（参考訳）: 生成AI技術は、(マルチモーダル)大規模言語モデルやビジョン生成モデルなど、多くの場所で展開されている。
彼らの顕著なパフォーマンスは、大量のトレーニングデータと創発的な推論能力に起因しているはずです。
しかし、これらのモデルはトレーニングデータ、特にWebクローラーのデータから得られたセンシティブな、偏見のある、あるいは危険な情報を記憶し、生成する。
従来の分類タスク用に設計されたものは、ジェネレーティブAIには適用できないため、不要な知識とモデルからの影響を低減または排除するために、新しい機械学習(MU)技術が開発されている。
我々は、新しい問題定式化、評価方法、様々な種類のMUテクニックの利点と限界に関する構造化された議論など、ジェネレーティブAIにおけるMUに関する多くのことに関する包括的な調査を提供する。
また、MU研究においていくつかの重要な課題と有望な方向性を提示している。
詳細は、https://github.com/franciscoliu/GenAI-MU-Readingを参照のこと。
関連論文リスト
- Model Merging in LLMs, MLLMs, and Beyond: Methods, Theories, Applications and Opportunities [89.40778301238642]
モデルマージは、機械学習コミュニティにおける効率的なエンパワーメント技術である。
これらの手法の体系的かつ徹底的なレビューに関する文献には大きなギャップがある。
論文 参考訳（メタデータ） (2024-08-14T16:58:48Z) - Learn while Unlearn: An Iterative Unlearning Framework for Generative Language Models [49.043599241803825]
Iterative Contrastive Unlearning (ICU)フレームワークは3つのコアコンポーネントで構成されている。
知識未学習誘導モジュールは、未学習の損失を通じて特定の知識を除去する。
Contrastive Learning Enhancementモジュールは、純粋な未学習の目標に対してモデルの表現力を維持する。
また、特定のデータ片の未学習範囲を動的に評価し、反復的な更新を行う反復未学習リファインメントモジュールも用意されている。
論文 参考訳（メタデータ） (2024-07-25T07:09:35Z) - Procedural Content Generation via Generative Artificial Intelligence [1.437446768735628]
生成的人工知能(AI)は2010年代半ばに大きな関心を寄せた。
生成AIはPCGに有効であるが、高性能AIの構築には膨大なトレーニングデータが必要である。
PCG研究をさらに進めるためには、限られたトレーニングデータに関連する問題を克服する必要がある。
論文 参考訳（メタデータ） (2024-07-12T06:03:38Z) - The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
大規模言語モデル(LLM)はAIの進歩の基礎となっている。
LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。
機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
論文 参考訳（メタデータ） (2024-03-23T09:26:15Z) - MinT: Boosting Generalization in Mathematical Reasoning via Multi-View
Fine-Tuning [53.90744622542961]
数学領域における推論は、小言語モデル(LM)にとって重要な課題である。
多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。
実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
論文 参考訳（メタデータ） (2023-07-16T05:41:53Z) - Learn to Unlearn: A Survey on Machine Unlearning [29.077334665555316]
本稿では,最近の機械学習技術,検証機構,潜在的攻撃について概説する。
新たな課題と今後の研究方向性を強調します。
本稿では、プライバシ、エクイティ、レジリエンスをMLシステムに統合するための貴重なリソースの提供を目的としている。
論文 参考訳（メタデータ） (2023-05-12T14:28:02Z) - Exploring the Landscape of Machine Unlearning: A Comprehensive Survey
and Taxonomy [17.535417441295074]
機械学習(ML)モデルによる予測の削除や修正の必要性から、機械学習(MU)が注目を集めている。
本稿では,現在の最先端技術とアプローチを網羅したMUの包括的調査を行う。
また、攻撃の高度化、標準化、転送可能性、解釈可能性、リソース制約など、対処すべき課題を強調している。
論文 参考訳（メタデータ） (2023-05-10T12:02:18Z) - Learnware: Small Models Do Big [69.88234743773113]
自然言語処理やコンピュータビジョンの応用で目覚ましい成果を上げてきた、一般的なビッグモデルパラダイムは、これらの問題にまだ対応していないが、炭素排出量の深刻な源となっている。
この記事では、マシンラーニングモデルをスクラッチから構築する必要がないようにするための学習ソフトウェアパラダイムの概要を紹介します。
論文 参考訳（メタデータ） (2022-10-07T15:55:52Z) - A Survey of Machine Unlearning [56.017968863854186]
最近の規制では、要求に応じて、ユーザに関する個人情報をコンピュータシステムから削除する必要がある。
MLモデルは古いデータをよく記憶します。
機械学習に関する最近の研究は、この問題を完全に解決することはできなかった。
論文 参考訳（メタデータ） (2022-09-06T08:51:53Z) - Novel Applications for VAE-based Anomaly Detection Systems [5.065947993017157]
深層生成モデリング(DGM)は、与えられたデータセットから始まり、新規で見えないデータを生成することができる。
この技術が有望な応用を示すにつれて、多くの倫理的問題がもたらされる。
研究は、異なるバイアスが深層学習モデルに影響を与え、誤った表現のような社会的問題を引き起こすことを示している。
論文 参考訳（メタデータ） (2022-04-26T20:30:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。