論文の概要: Pristine Models

• arxiv url: http://arxiv.org/abs/2610.14091v1
• Date: Thu, 08 Oct 2026 17:58:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 23:25:36.860481
• Title: Pristine Models
• Title（参考訳）: プリスティンモデル
• Abstract要約: Pristine Modelsは、安全な知識と安全でない知識の分離を促進する注意機構を備えた、新しいテキスト・画像生成アーキテクチャである。 ImageNetでは、Pristine Modelsは、完全なデータ事前トレーニングのユーティリティの多くを保持しながら、より安全な生成を可能にする。
• 参考スコア（独自算出の注目度）: 47.535827056923296
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training on broad, unfiltered data enables high-quality image generation, but can also teach models concepts that should not be generated; restricting the training data ensures safety, but reduces quality because examples containing unsafe concepts also provide useful knowledge that is not itself unsafe. Existing approaches largely address this trade-off post hoc through concept unlearning, which can lead to catastrophic forgetting as the number of concepts to remove grows. We instead ask whether unsafe concept knowledge can be compartmentalized during pretraining so that access to it can be disabled at inference. We introduce Pristine Models, a novel text-to-image generation architecture with an attention mechanism that encourages the separation of safe and unsafe knowledge into independently parameterized branches. The branch-specific parameters are learned during training, while the unsafe branch can be detached at inference. On ImageNet, Pristine Models enable safer generation while retaining much of the utility of full-data pretraining, achieving higher image quality and better text alignment than training only on safe data or applying post-hoc concept removal. We further scale our approach to CC12M, demonstrating that it remains effective in a substantially larger and more diverse open-world pretraining setting.
• Abstract（参考訳）: 広範でフィルタされていないデータのトレーニングは、高品質な画像生成を可能にするが、生成すべきでないモデルの概念を教えることもできる。 既存のアプローチは、未学習の概念を通じて、このトレードオフのポストホックに対処している。 その代わりに、プリトレーニング中に安全でない概念知識を分割して、推論時にその知識へのアクセスを無効にできるかどうかを問う。 安全な知識と安全でない知識を独立にパラメータ化したブランチに分離することを奨励するアテンション機構を備えた新しいテキスト・画像生成アーキテクチャであるPristine Modelsを紹介する。 ブランチ固有のパラメータはトレーニング中に学習され、安全でないブランチは推論時に分離される。 ImageNetでは、Pristine Modelsは、完全なデータ事前トレーニングのユーティリティの多くを保持しながら、安全なデータのみのトレーニングやポストホックの概念削除の適用よりも、より高い画質とテキストアライメントを実現する。 我々はさらにCC12Mへのアプローチを拡大し、より大きく、より多様なオープンワールド事前訓練環境で有効であることを実証した。

関連論文リスト

• SafeRedir: Prompt Embedding Redirection for Robust Unlearning in Image Generation Models [67.84174763413178]
  我々はSafeRedirを紹介した。SafeRedirは、迅速な埋め込みリダイレクトによる堅牢なアンラーニングのための軽量な推論時フレームワークである。 SafeRedirは,効果的な非学習能力,意味的・知覚的保存能力,堅牢な画像品質,対人攻撃に対する耐性の向上を実現している。
  論文  参考訳（メタデータ） (2026-01-13T15:01:38Z)
• CGCE: Classifier-Guided Concept Erasure in Generative Models [53.7410000675294]
  概念消去は、事前訓練されたモデルから望ましくない概念を取り除くために開発された。 既存の方法は、削除されたコンテンツを再生できる敵攻撃に弱いままである。 多様な生成モデルに対して堅牢な概念消去を提供する効率的なプラグアンドプレイフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-08T05:38:18Z)
• Safety Pretraining: Toward the Next Generation of Safe AI [68.99129474671282]
  モデルの安全性を最初から構築する,データ中心の事前トレーニングフレームワークを提案する。 我々のフレームワークは、セーフティフィルタリング、セーフティリフレージング、Native Refusal、Harmfulness-Tag Annotated Pretrainingの4つの重要なステップで構成されています。 我々の安全事前訓練モデルでは、一般的な劣化タスクのパフォーマンスを伴わない標準LLM安全性ベンチマークにおいて、攻撃成功率を38.8%から8.4%に下げている。
  論文  参考訳（メタデータ） (2025-04-23T17:58:08Z)
• Hyperbolic Safety-Aware Vision-Language Models [44.06996781749013]
  双曲空間の本質的階層的特性を活用することによって、未学習から認知パラダイムへ移行する新しいアプローチを導入する。 我々のHySACであるHyperbolic Safety-Aware CLIPは、安全な画像テキストペアと安全でない画像テキストペア間の階層的および非対称的関係をモデル化するために、entailment loss関数を使用します。 我々のアプローチは、安全性の認識を向上するだけでなく、視覚言語モデルにおけるコンテンツモデレーションのためのより適応的で解釈可能なフレームワークも確立します。
  論文  参考訳（メタデータ） (2025-03-15T13:18:04Z)
• Safety Without Semantic Disruptions: Editing-free Safe Image Generation via Context-preserving Dual Latent Reconstruction [88.18235230849554]
  大規模で未処理のデータセットでマルチモーダル生成モデルをトレーニングすることで、ユーザは有害で安全でない、議論の余地のない、文化的に不適切なアウトプットにさらされる可能性がある。 我々は、安全な埋め込みと、より安全な画像を生成するために、潜伏空間の重み付け可能な総和による修正拡散プロセスを活用する。 安全と検閲のトレードオフを特定し、倫理的AIモデルの開発に必要な視点を提示します。
  論文  参考訳（メタデータ） (2024-11-21T09:47:13Z)
• Safe-CLIP: Removing NSFW Concepts from Vision-and-Language Models [42.19184265811366]
  本研究では,NSFW入力に対する感度を低下させることにより,視覚・言語モデルの安全性を高める新しいアプローチを提案する。 安全な文と安全でない文の変換を訓練した大規模言語モデルから得られた合成データに対して,CLIPモデルを微調整することで,これを実現できることを示す。
  論文  参考訳（メタデータ） (2023-11-27T19:02:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。