論文の概要: CogMorph: Cognitive Morphing Attacks for Text-to-Image Models

• arxiv url: http://arxiv.org/abs/2501.11815v1
• Date: Tue, 21 Jan 2025 01:45:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:22:25.772133
• Title: CogMorph: Cognitive Morphing Attacks for Text-to-Image Models
• Title（参考訳）: CogMorph:テキスト・画像モデルのための認知的モーフィング攻撃
• Authors: Zonglei Jing, Zonghao Ying, Le Wang, Siyuan Liang, Aishan Liu, Xianglong Liu, Dacheng Tao,
• Abstract要約: 本稿では,テキスト・ツー・イメージ(T2I)生成モデルに固有の有意かつ未認識の倫理的リスクを明らかにする。 我々は,T2Iモデルを操作して,本来の中核領域を保持するが有害または有害な文脈要素を埋め込んだ画像を生成する,CogMorph(CogMorph)と呼ばれる新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 65.38747950692752
• License:
• Abstract: The development of text-to-image (T2I) generative models, that enable the creation of high-quality synthetic images from textual prompts, has opened new frontiers in creative design and content generation. However, this paper reveals a significant and previously unrecognized ethical risk inherent in this technology and introduces a novel method, termed the Cognitive Morphing Attack (CogMorph), which manipulates T2I models to generate images that retain the original core subjects but embeds toxic or harmful contextual elements. This nuanced manipulation exploits the cognitive principle that human perception of concepts is shaped by the entire visual scene and its context, producing images that amplify emotional harm far beyond attacks that merely preserve the original semantics. To address this, we first construct an imagery toxicity taxonomy spanning 10 major and 48 sub-categories, aligned with human cognitive-perceptual dimensions, and further build a toxicity risk matrix resulting in 1,176 high-quality T2I toxic prompts. Based on this, our CogMorph first introduces Cognitive Toxicity Augmentation, which develops a cognitive toxicity knowledge base with rich external toxic representations for humans (e.g., fine-grained visual features) that can be utilized to further guide the optimization of adversarial prompts. In addition, we present Contextual Hierarchical Morphing, which hierarchically extracts critical parts of the original prompt (e.g., scenes, subjects, and body parts), and then iteratively retrieves and fuses toxic features to inject harmful contexts. Extensive experiments on multiple open-sourced T2I models and black-box commercial APIs (e.g., DALLE-3) demonstrate the efficacy of CogMorph which significantly outperforms other baselines by large margins (+20.62\% on average).
• Abstract（参考訳）: テキストプロンプトから高品質な合成画像の作成を可能にするテキスト・ツー・イメージ(T2I)生成モデルの開発により,創造的デザインとコンテンツ生成の新たなフロンティアが開かれた。 しかし,本研究では,本技術に固有の重要かつ未認識の倫理的リスクを明らかにし,T2Iモデルを操作して,原対象を保持しながら有害あるいは有害な文脈要素を埋め込んだ画像を生成する,CogMorph(CogMorph)と呼ばれる新しい手法を提案する。 このニュアンスド・エクスプロイトは、人間の概念に対する認識が視覚シーン全体とその文脈によって形成されるという認知原理を利用しており、元の意味論を単に保存する攻撃を越えて感情的な害を増幅するイメージを生み出している。 そこで我々はまず,ヒトの認知・知覚次元に合わせた10のカテゴリーと48のサブカテゴリにまたがる画像毒性分類を構築し,さらに1,176の高品質なT2I毒性プロンプトをもたらす毒性リスクマトリックスを構築した。 これに基づいて、我々のCogMorphはまず認知毒性増強(Cognitive Toxicity Augmentation)を導入しました。 さらに,従来のプロンプト(シーン,主題,身体の部分)の重要部分を階層的に抽出し,有害な文脈を注入するために有害な特徴を反復的に回収・融合するコンテキスト階層型モーフィングを提案する。 複数のオープンソースT2Iモデルとブラックボックス商用API(例: DALLE-3)に対する大規模な実験では、CogMorphの有効性が示され、これは他のベースラインよりも大きなマージン(平均では+20.62\%)で優れていた。

関連論文リスト

• Just KIDDIN: Knowledge Infusion and Distillation for Detection of INdecent Memes [8.337745035712311]
  本稿では,LVLM(Large Visual Language Models)の知識蒸留(KD)と知識注入を統合し,有害度検出性能を向上させる新しいフレームワークを提案する。 提案手法は,コンパクトなVLMフレームワーク内で注入可能な大規模コモンセンス知識グラフ(KG)であるConceptNetから,サブ知識グラフを抽出する。 2つのヘイトスピーチベンチマークデータセットによる実験結果から,最先端のベースラインよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-11-19T02:39:28Z)
• Safe Text-to-Image Generation: Simply Sanitize the Prompt Embedding [13.481343482138888]
  視覚に依存しない安全な生成フレームワーク Embedding Sanitizer (ES) を提案する。 ESは、迅速な埋め込みから不適切な概念を消去することに焦点を当て、安全な生成のためにモデルをガイドするために、衛生的な埋め込みを使用する。 ESは、生成品質を維持しつつ、解釈性と制御性の観点から既存の安全ガードを著しく上回っている。
  論文  参考訳（メタデータ） (2024-11-15T16:29:02Z)
• Safeguard Text-to-Image Diffusion Models with Human Feedback Inversion [51.931083971448885]
  本稿では,Human Feedback Inversion (HFI) というフレームワークを提案する。 実験の結果,画像品質を維持しながら,好ましくないコンテンツ生成を著しく削減し,公的な領域におけるAIの倫理的展開に寄与することが示された。
  論文  参考訳（メタデータ） (2024-07-17T05:21:41Z)
• SafeGen: Mitigating Sexually Explicit Content Generation in Text-to-Image Models [28.23494821842336]
  テキスト・ツー・イメージ・モデルは、安全でない作業用コンテンツ(NSFW)を生成するために騙されることがある。 我々は、テキスト・ツー・イメージ・モデルによる性的コンテンツ生成を緩和するフレームワークであるSafeGenを紹介する。
  論文  参考訳（メタデータ） (2024-04-10T00:26:08Z)
• Evaluating Text-to-Image Generative Models: An Empirical Study on Human Image Synthesis [21.619269792415903]
  本稿では,テキスト・ツー・イメージ(T2I)生成モデルのためのニュアンス評価フレームワークを提案する。 まず,美学やリアリズムといったイメージの質に着目し,第2に,概念的カバレッジと公平性を通じてテキスト条件を検証した。
  論文  参考訳（メタデータ） (2024-03-08T07:41:47Z)
• ToViLaG: Your Visual-Language Generative Model is Also An Evildoer [36.60526586838288]
  近年の大規模ビジュアルランゲージ生成モデル(VLGM)は,マルチモーダル画像/テキスト生成において前例のない改善を実現している。 これらのモデルはまた、攻撃的なテキストやポルノ画像などの有害なコンテンツを生成し、重大な倫理的リスクを生じさせる可能性がある。 この研究は、様々なVLGMにまたがる毒性生成と毒性データへの感受性の妥当性を掘り下げるものである。
  論文  参考訳（メタデータ） (2023-12-13T08:25:07Z)
• DreamCreature: Crafting Photorealistic Virtual Creatures from Imagination [140.1641573781066]
  ターゲット概念のラベルなしイメージのセットを前提として、我々は、新しいハイブリッド概念を創出できるT2Iモデルをトレーニングすることを目指している。 そこで我々はDreamCreatureと呼ばれる新しい手法を提案し,その基盤となるサブ概念を同定し抽出する。 したがって、T2Iは忠実な構造とフォトリアリスティックな外観を持つ新しい概念を生成するのに適応する。
  論文  参考訳（メタデータ） (2023-11-27T01:24:31Z)
• Parents and Children: Distinguishing Multimodal DeepFakes from Natural Images [60.34381768479834]
  近年の拡散モデルの発展により、自然言語のテキストプロンプトから現実的なディープフェイクの生成が可能になった。 我々は、最先端拡散モデルにより生成されたディープフェイク検出に関する体系的研究を開拓した。
  論文  参考訳（メタデータ） (2023-04-02T10:25:09Z)
• Constructing Highly Inductive Contexts for Dialogue Safety through Controllable Reverse Generation [65.48908724440047]
  そこで本稿では,ある応答に条件付けされた逆コンテキストを構築するために,エンフレバース生成と呼ばれる手法を提案する。 我々は,Blender,DialoGPT,Plato2の3種類の事前訓練済み対話モデルをテストする。
  論文  参考訳（メタデータ） (2022-12-04T12:23:41Z)
• Aggregated Contextual Transformations for High-Resolution Image Inpainting [57.241749273816374]
  画像の高精細化のための拡張GANモデルAggregated Contextual-Transformation GAN (AOT-GAN)を提案する。 そこで,提案するAOTブロックの複数のレイヤを積み重ねることで,AOT-GANのジェネレータを構築する。 テクスチャ合成を改善するため,AOT-GANの識別をマスク予測タスクでトレーニングすることで強化する。
  論文  参考訳（メタデータ） (2021-04-03T15:50:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。