論文の概要: Data Redaction from Conditional Generative Models

• arxiv url: http://arxiv.org/abs/2305.11351v1
• Date: Thu, 18 May 2023 23:58:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-22 17:01:39.946965
• Title: Data Redaction from Conditional Generative Models
• Title（参考訳）: 条件付き生成モデルからのデータリアクション
• Authors: Zhifeng Kong and Kamalika Chaudhuri
• Abstract要約: 我々は、すでに訓練済みの条件生成モデルをポスト編集して、高い確率で、望ましくない内容をもたらすような条件を再現する方法について研究する。 我々は,テキスト・ツー・イメージ・モデルにおけるリアクション・プロンプトと音声のリアクション・プロンプトについて実験を行った。
• 参考スコア（独自算出の注目度）: 28.326418377665345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep generative models are known to produce undesirable samples such as harmful content. Traditional mitigation methods include re-training from scratch, filtering, or editing; however, these are either computationally expensive or can be circumvented by third parties. In this paper, we take a different approach and study how to post-edit an already-trained conditional generative model so that it redacts certain conditionals that will, with high probability, lead to undesirable content. This is done by distilling the conditioning network in the models, giving a solution that is effective, efficient, controllable, and universal for a class of deep generative models. We conduct experiments on redacting prompts in text-to-image models and redacting voices in text-to-speech models. Our method is computationally light, leads to better redaction quality and robustness than baseline methods while still retaining high generation quality.
• Abstract（参考訳）: 深層生成モデルは有害な内容などの望ましくないサンプルを生成することが知られている。 従来の緩和方法には、スクラッチから再トレーニング、フィルタリング、編集が含まれるが、これらは計算コストが高いか、第三者が回避できる。 本稿では, 条件付き生成モデルについて異なるアプローチを採り, 学習済み条件付き生成モデルを用いて, 高い確率で, 望ましくないコンテンツに導く条件を再現する方法について検討する。 これはモデルにコンディショニングネットワークを蒸留することで実現され、深層生成モデルのクラスに対して効率的、効率的、制御可能、普遍的なソリューションを提供する。 テキスト対画像モデルにおけるプロンプトの再現実験と、テキスト対音声モデルにおける音声の再現実験を行った。 本手法は, 計算量的に軽量であり, 高い世代品質を維持しつつ, ベースライン法よりも高い再現性と頑健性をもたらす。

関連論文リスト

• Better Call SAUL: Fluent and Consistent Language Model Editing with Generation Regularization [48.07144492109635]
  大規模な言語モデルは定期的に更新する必要がある。 モデル編集は、新しいデータとは無関係な知識にも影響する可能性があるため、難しい。 文結合と拡張ランダムな事実を連成して生成規則化を行うモデル編集手法であるSAULを提案する。
  論文  参考訳（メタデータ） (2024-10-03T12:28:13Z)
• Heat Death of Generative Models in Closed-Loop Learning [63.83608300361159]
  本研究では、独自の学習データセットに加えて、生成したコンテンツをフィードバックする生成モデルの学習ダイナミクスについて検討する。 各イテレーションで十分な量の外部データが導入されない限り、非自明な温度がモデルを退化させることを示す。
  論文  参考訳（メタデータ） (2024-04-02T21:51:39Z)
• Reward-Augmented Decoding: Efficient Controlled Text Generation With a Unidirectional Reward Model [47.722856876213946]
  Reward-Augmented Decoding (RAD) は、言語モデルに特定の特性を持つテキストを生成するよう促すために、小さな一方向の報酬モデルを使用するテキスト生成プロシージャである。 一方向の報酬モデルを使用することで、RADは前世代のステップからアクティベーションをキャッシュすることで、計算オーバーヘッドを低減できる。
  論文  参考訳（メタデータ） (2023-10-14T07:19:47Z)
• Error Norm Truncation: Robust Training in the Presence of Data Noise for Text Generation Models [39.37532848489779]
  本稿では,ノイズの多いデータをトラストする標準学習目標に対する頑健な強化手法であるError Norm Truncation (ENT)を提案する。 ENTは,従来のソフト・ハード・トランケーション法よりも生成品質の向上を図っている。
  論文  参考訳（メタデータ） (2023-10-02T01:30:27Z)
• PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model [37.2192243883707]
  本稿では,潜在意味の拡散と自己回帰生成を組み合わせ,流動的なテキストを生成するモデルであるPLANNERを提案する。 意味生成, テキスト補完, 要約の結果は, 高品質な長文を生成する上での有効性を示す。
  論文  参考訳（メタデータ） (2023-06-05T01:36:39Z)
• DiffusER: Discrete Diffusion via Edit-based Reconstruction [88.62707047517914]
  DiffusERは、拡散モデルに基づくテキストの編集ベースの生成モデルである。 機械翻訳、要約、スタイル転送にまたがるいくつかのタスクにおいて、自動回帰モデルと競合する可能性がある。 また、標準的な自己回帰モデルに適さないような、他の種類の世代も実行することができる。
  論文  参考訳（メタデータ） (2022-10-30T16:55:23Z)
• Self-Diagnosis and Self-Debiasing: A Proposal for Reducing Corpus-Based Bias in NLP [10.936043362876651]
  問題のあるテキストを生成するモデルの確率を減少させる復号アルゴリズムを提案する。 このアプローチは必ずしもバイアス付きテキストを生成する言語モデルの問題を取り除くものではないが、この方向への重要なステップであると考えている。
  論文  参考訳（メタデータ） (2021-02-28T11:07:37Z)
• Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
  人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。 従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。 本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2021-01-21T01:46:36Z)
• Posterior Control of Blackbox Generation [126.33511630879713]
  我々は、構造化潜在変数アプローチにより学習した離散制御状態を持つニューラルジェネレーションモデルの拡張を検討する。 この手法は標準ベンチマークよりも改善され、きめ細かい制御も可能である。
  論文  参考訳（メタデータ） (2020-05-10T03:22:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。