論文の概要: Machine Unlearning in Generative AI: A Survey
- arxiv url: http://arxiv.org/abs/2407.20516v1
- Date: Tue, 30 Jul 2024 03:26:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-31 18:28:58.106922
- Title: Machine Unlearning in Generative AI: A Survey
- Title(参考訳): ジェネレーティブAIにおける機械学習
- Authors: Zheyuan Liu, Guangyao Dou, Zhaoxuan Tan, Yijun Tian, Meng Jiang,
- Abstract要約: 生成AI技術は、(マルチモーダル)大規模言語モデルやビジョン生成モデルなど、多くの場所で展開されている。
新しい機械学習(MU)技術は、望ましくない知識を減らしたり排除したりするために開発されている。
- 参考スコア(独自算出の注目度): 19.698620794387338
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Generative AI technologies have been deployed in many places, such as (multimodal) large language models and vision generative models. Their remarkable performance should be attributed to massive training data and emergent reasoning abilities. However, the models would memorize and generate sensitive, biased, or dangerous information originated from the training data especially those from web crawl. New machine unlearning (MU) techniques are being developed to reduce or eliminate undesirable knowledge and its effects from the models, because those that were designed for traditional classification tasks could not be applied for Generative AI. We offer a comprehensive survey on many things about MU in Generative AI, such as a new problem formulation, evaluation methods, and a structured discussion on the advantages and limitations of different kinds of MU techniques. It also presents several critical challenges and promising directions in MU research. A curated list of readings can be found: https://github.com/franciscoliu/GenAI-MU-Reading.
- Abstract(参考訳): 生成AI技術は、(マルチモーダル)大規模言語モデルやビジョン生成モデルなど、多くの場所で展開されている。
彼らの顕著なパフォーマンスは、大量のトレーニングデータと創発的な推論能力に起因しているはずです。
しかし、これらのモデルはトレーニングデータ、特にWebクローラーのデータから得られたセンシティブな、偏見のある、あるいは危険な情報を記憶し、生成する。
従来の分類タスク用に設計されたものは、ジェネレーティブAIには適用できないため、不要な知識とモデルからの影響を低減または排除するために、新しい機械学習(MU)技術が開発されている。
我々は、新しい問題定式化、評価方法、様々な種類のMUテクニックの利点と限界に関する構造化された議論など、ジェネレーティブAIにおけるMUに関する多くのことに関する包括的な調査を提供する。
また、MU研究においていくつかの重要な課題と有望な方向性を提示している。
詳細は、https://github.com/franciscoliu/GenAI-MU-Readingを参照のこと。
関連論文リスト
- Procedural Content Generation via Generative Artificial Intelligence [1.437446768735628]
生成的人工知能(AI)は2010年代半ばに大きな関心を寄せた。
生成AIはPCGに有効であるが、高性能AIの構築には膨大なトレーニングデータが必要である。
PCG研究をさらに進めるためには、限られたトレーニングデータに関連する問題を克服する必要がある。
論文 参考訳(メタデータ) (2024-07-12T06:03:38Z) - A Survey on Vision-Language-Action Models for Embodied AI [71.16123093739932]
視覚言語アクションモデル(VLA)はロボット学習の基盤となっている。
汎用性、デキスタリティ、一般化可能性など、様々な手法が提案されている。
VLAは、長い水平タスクを実行可能なサブタスクに分解できるハイレベルなタスクプランナとして機能する。
論文 参考訳(メタデータ) (2024-05-23T01:43:54Z) - The Frontier of Data Erasure: Machine Unlearning for Large Language Models [56.26002631481726]
大規模言語モデル(LLM)はAIの進歩の基礎となっている。
LLMは機密情報、偏見情報、著作権情報を記憶し、広めることによってリスクを生じさせる。
機械学習は、これらの懸念を軽減するための最先端のソリューションとして現れます。
論文 参考訳(メタデータ) (2024-03-23T09:26:15Z) - MinT: Boosting Generalization in Mathematical Reasoning via Multi-View
Fine-Tuning [53.90744622542961]
数学領域における推論は、小言語モデル(LM)にとって重要な課題である。
多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。
実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
論文 参考訳(メタデータ) (2023-07-16T05:41:53Z) - Learn to Unlearn: A Survey on Machine Unlearning [29.077334665555316]
本稿では,最近の機械学習技術,検証機構,潜在的攻撃について概説する。
新たな課題と今後の研究方向性を強調します。
本稿では、プライバシ、エクイティ、レジリエンスをMLシステムに統合するための貴重なリソースの提供を目的としている。
論文 参考訳(メタデータ) (2023-05-12T14:28:02Z) - Exploring the Landscape of Machine Unlearning: A Comprehensive Survey
and Taxonomy [17.535417441295074]
機械学習(ML)モデルによる予測の削除や修正の必要性から、機械学習(MU)が注目を集めている。
本稿では,現在の最先端技術とアプローチを網羅したMUの包括的調査を行う。
また、攻撃の高度化、標準化、転送可能性、解釈可能性、リソース制約など、対処すべき課題を強調している。
論文 参考訳(メタデータ) (2023-05-10T12:02:18Z) - Learnware: Small Models Do Big [69.88234743773113]
自然言語処理やコンピュータビジョンの応用で目覚ましい成果を上げてきた、一般的なビッグモデルパラダイムは、これらの問題にまだ対応していないが、炭素排出量の深刻な源となっている。
この記事では、マシンラーニングモデルをスクラッチから構築する必要がないようにするための学習ソフトウェアパラダイムの概要を紹介します。
論文 参考訳(メタデータ) (2022-10-07T15:55:52Z) - A Survey of Machine Unlearning [43.272767023563254]
近年の規制では、ユーザに関する個人情報は一般にコンピュータシステムから、特に要求に応じてMLモデルから削除することが要求されている。
この現象は、機械学習モデルを特定のデータを忘れるようにするための新しいパラダイム、すなわち機械学習を求めている。
我々は、マシンアンラーニングの定義、シナリオ、メカニズム、アプリケーションについて、徹底的に調査することを目指している。
論文 参考訳(メタデータ) (2022-09-06T08:51:53Z) - Novel Applications for VAE-based Anomaly Detection Systems [5.065947993017157]
深層生成モデリング(DGM)は、与えられたデータセットから始まり、新規で見えないデータを生成することができる。
この技術が有望な応用を示すにつれて、多くの倫理的問題がもたらされる。
研究は、異なるバイアスが深層学習モデルに影響を与え、誤った表現のような社会的問題を引き起こすことを示している。
論文 参考訳(メタデータ) (2022-04-26T20:30:37Z) - Inspect, Understand, Overcome: A Survey of Practical Methods for AI
Safety [54.478842696269304]
安全クリティカルなアプリケーションにディープニューラルネットワーク(DNN)を使用することは、多数のモデル固有の欠点のために困難です。
近年,これらの安全対策を目的とした最先端技術動物園が出現している。
本稿は、機械学習の専門家と安全エンジニアの両方に対処する。
論文 参考訳(メタデータ) (2021-04-29T09:54:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。