論文の概要: Bob's Confetti: Phonetic Memorization Attacks in Music and Video Generation

• arxiv url: http://arxiv.org/abs/2507.17937v1
• Date: Wed, 23 Jul 2025 21:11:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-25 15:10:42.619678
• Title: Bob's Confetti: Phonetic Memorization Attacks in Music and Video Generation
• Title（参考訳）: Bob's Confetti:音楽とビデオ生成における音声による記憶攻撃
• Authors: Jaechul Roh, Zachary Novack, Yuefeng Peng, Niloofar Mireshghallah, Taylor Berg-Kirkpatrick, Amir Houmansadr,
• Abstract要約: 本稿では,音声構造を保ちながら歌詞を意味的に変化させる新たな攻撃法であるAdversarial PhoneTic Prompting(APT)を紹介する。 我々は、音声領域のメトリクス間で高い類似性を実現するために、語彙下記憶の強力な形態を明らかにする。 さらに驚くべきことに、音素変換された歌詞だけでは、テキスト・ビデオモデルにおける視覚的記憶が引き起こされることがわかりました。
• 参考スコア（独自算出の注目度）: 36.23831842611136
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Lyrics-to-Song (LS2) generation models promise end-to-end music synthesis from text, yet their vulnerability to training data memorization remains underexplored. We introduce Adversarial PhoneTic Prompting (APT), a novel attack where lyrics are semantically altered while preserving their acoustic structure through homophonic substitutions (e.g., Eminem's famous "mom's spaghetti" $\rightarrow$ "Bob's confetti"). Despite these distortions, we uncover a powerful form of sub-lexical memorization: models like SUNO and YuE regenerate outputs strikingly similar to known training content, achieving high similarity across audio-domain metrics, including CLAP, AudioJudge, and CoverID. This vulnerability persists across multiple languages and genres. More surprisingly, we discover that phoneme-altered lyrics alone can trigger visual memorization in text-to-video models. When prompted with phonetically modified lyrics from Lose Yourself, Veo 3 reconstructs visual elements from the original music video -- including character appearance and scene composition -- despite no visual cues in the prompt. We term this phenomenon phonetic-to-visual regurgitation. Together, these findings expose a critical vulnerability in transcript-conditioned multimodal generation: phonetic prompting alone can unlock memorized audiovisual content, raising urgent questions about copyright, safety, and content provenance in modern generative systems. Example generations are available on our demo page (jrohsc.github.io/music_attack/).
• Abstract（参考訳）: Lyrics-to-Song (LS2) 生成モデルは、テキストからエンドツーエンドの音楽合成を約束するが、データ記憶のトレーニングに対する脆弱性は未解明のままである。 本報告では,エミネムの有名な "mom's spaghetti" $\rightarrow$ "Bob's confetti" による音声構造を保ちながら,歌詞を意味的に変化させる新たな攻撃法である Adversarial PhoneTic Prompting (APT) を紹介する。 SunoやYuEのようなモデルは、既知のトレーニングコンテンツと著しく類似した出力を再生し、CLAP、AudioJudge、CoverIDといったオーディオドメインメトリクス間で高い類似性を達成します。 この脆弱性は、複数の言語やジャンルにわたって持続する。 さらに驚くべきことに、音素変換された歌詞だけでは、テキスト・ビデオモデルにおける視覚的記憶が引き起こされることがわかりました。 Lose Yourselfの音声で修正された歌詞をきっかけに、Veo 3はオリジナルのミュージックビデオ(キャラクターの外観やシーン構成を含む)から視覚要素を再構築した。 我々はこの現象を音声から視覚の再生と呼ぶ。 音声によるプロンプトだけで記憶されたオーディオヴィジュアルコンテンツをアンロックすることができ、近代的な生成システムにおける著作権、安全性、コンテンツ証明に関する緊急の疑問を提起する。 デモページ(jrohsc.github.io/music_ attack/)では、例が公開されている。

関連論文リスト

• Text2Lip: Progressive Lip-Synced Talking Face Generation from Text via Viseme-Guided Rendering [53.2204901422631]
  Text2Lipは、解釈可能な音声-視覚ブリッジを構築するビセメ中心のフレームワークである。 Text2Lipは、意味的忠実性、視覚的リアリズム、モダリティの堅牢性において、既存のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-08-04T12:50:22Z)
• ThinkSound: Chain-of-Thought Reasoning in Multimodal Large Language Models for Audio Generation and Editing [52.33281620699459]
  ThinkSoundは、Chain-of-Thought(CoT)推論を利用して、ビデオの段階的にインタラクティブなオーディオ生成と編集を可能にする新しいフレームワークである。 提案手法は,3つの相補的な段階に分解する: セマンティック・コヒーレント, 正確なユーザインタラクションによる対話型オブジェクト中心の洗練, 自然言語命令でガイドされたターゲット編集。 実験により、ThinkSoundはオーディオメトリクスとCoTメトリクスの両方で、ビデオからオーディオ生成における最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-06-26T16:32:06Z)
• Shushing! Let's Imagine an Authentic Speech from the Silent Video [15.426152742881365]
  視覚誘導音声生成は、聴覚信号に頼ることなく、顔の外観や唇の動きから真の音声を生成することを目的としている。 近年の進歩にもかかわらず、既存の手法は視覚的手がかりから意味論、音色、感情的な韻律を横断的に統一するのに苦労している。 ImaginTalkは、視覚入力のみを用いて忠実な音声を生成する新しいクロスモーダル拡散フレームワークである。
  論文  参考訳（メタデータ） (2025-03-19T06:28:17Z)
• Synthetic Lyrics Detection Across Languages and Genres [4.987546582439803]
  音楽コンテンツ、特に歌詞を生成する大きな言語モデル(LLM)が人気を集めている。 これまで様々な領域におけるコンテンツ検出について研究されてきたが、音楽におけるテキストのモダリティ、歌詞に焦点を当てた研究は行われていない。 我々は、複数の言語、音楽ジャンル、アーティストのリアルとシンセサイザーの多様なデータセットをキュレートした。 既存の合成テキスト検出手法について,未探索のデータ型である歌詞に対して,徹底的に評価を行った。 音楽と産業の制約に従えば、これらのアプローチが言語全体にわたってどのように一般化され、データの可用性に配慮し、多言語言語コンテンツを処理し、数ショット設定で新しいジャンルで演奏するかを検討する。
  論文  参考訳（メタデータ） (2024-06-21T15:19:21Z)
• Syllable-level lyrics generation from melody exploiting character-level language model [14.851295355381712]
  シンボリック・メロディから音節レベルの歌詞を生成するための微調整文字レベル言語モデルを提案する。 特に,言語モデルの言語知識を音節レベルのトランスフォーマー生成ネットワークのビームサーチプロセスに組み込む手法を提案する。
  論文  参考訳（メタデータ） (2023-10-02T02:53:29Z)
• Unsupervised Melody-to-Lyric Generation [91.29447272400826]
  本稿では,メロディ・歌詞データを学習することなく高品質な歌詞を生成する手法を提案する。 我々は、メロディと歌詞のセグメンテーションとリズムアライメントを利用して、与えられたメロディをデコード制約にコンパイルする。 我々のモデルは、強いベースラインよりもオントピー的、歌いやすく、知性があり、一貫性のある高品質な歌詞を生成することができる。
  論文  参考訳（メタデータ） (2023-05-30T17:20:25Z)
• Unsupervised Melody-Guided Lyrics Generation [84.22469652275714]
  メロディと歌詞の一致したデータを学習することなく、楽しく聴ける歌詞を生成することを提案する。 メロディと歌詞間の重要なアライメントを活用し、与えられたメロディを制約にコンパイルし、生成プロセスを導く。
  論文  参考訳（メタデータ） (2023-05-12T20:57:20Z)
• Noise2Music: Text-conditioned Music Generation with Diffusion Models [73.74580231353684]
  本研究では,テキストプロンプトから高品質な30秒音楽クリップを生成するために,一連の拡散モデルを訓練するNoss2Musicを紹介する。 生成した音声は、ジャンル、テンポ、楽器、ムード、時代など、テキストプロンプトの重要な要素を忠実に反映できるだけでなく、テキストプロンプトを忠実に反映できる。 トレーニングセットのオーディオのためにペア化されたテキストを生成し、拡散モデルによって取り込まれたテキストプロンプトの埋め込みを抽出するために使用される。
  論文  参考訳（メタデータ） (2023-02-08T07:27:27Z)
• Re-creation of Creations: A New Paradigm for Lyric-to-Melody Generation [158.54649047794794]
  Re-creation of Creations (ROC)は、歌詞からメロディ生成のための新しいパラダイムである。 ROCは、Lyric-to-Meody生成において、優れたLyric-Meody特徴アライメントを実現する。
  論文  参考訳（メタデータ） (2022-08-11T08:44:47Z)
• Self-supervised Context-aware Style Representation for Expressive Speech Synthesis [23.460258571431414]
  本稿では,平文からスタイル表現を自己教師型で学習するための新しいフレームワークを提案する。 感情のレキシコンを活用し、対照的な学習と深いクラスタリングを使用する。 本手法は,音声ブック音声におけるドメイン内およびドメイン外テストセットの主観的評価に基づいて,改善された結果を実現する。
  論文  参考訳（メタデータ） (2022-06-25T05:29:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。