論文の概要: Psychoacoustically Aligned Latent Smoothing for Adversarial Robustness of Full-Duplex Speech-to-Speech Dialogue Models

• arxiv url: http://arxiv.org/abs/2609.27378v1
• Date: Wed, 23 Sep 2026 05:29:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.898325
• Title: Psychoacoustically Aligned Latent Smoothing for Adversarial Robustness of Full-Duplex Speech-to-Speech Dialogue Models
• Title（参考訳）: 全二重音声音声音声音声対話モデルの逆ロバスト性に対する心理音響的アライメント付き潜時平滑化
• Abstract要約: 音声終末対話モデルは、連続的に開放された音響チャネルが敵の操作に晒されるように同時に話す。 精神音響的に整列した潜伏平滑化(PALS)を導入する。 PALSはハイジャックを8.3%、ミュートを11.2%、ジェイルブレイクを9.1%、清潔さを2.3%に減らす。
• 参考スコア（独自算出の注目度）: 0.33054385258808067
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: End-to-end speech-to-speech dialogue models listen and speak simultaneously, so a continuously open acoustic channel is exposed to adversarial manipulation. We formalize imperceptible attacks on full-duplex agents as optimization over additive perturbations confined beneath the psychoacoustic masking threshold of the carrier speech, under three goals: targeted semantic hijacking, response suppression, and policy jailbreaking. Against an undefended Moshi-style agent, white-box attacks succeed in up to 91.7% of trials. We then introduce psychoacoustically aligned latent smoothing (PALS), which injects anisotropic Gaussian noise shaped by local codebook covariance at the residual-vector-quantized latent interface, with input noise shaped by the masking threshold constraining the attacker and trained by a Kullback--Leibler consistency objective. Deployed with no inference-time cost, PALS reduces hijack to 8.3%, mute to 11.2%, and jailbreak to 9.1% at clean quality within 2.3%. A Monte Carlo-smoothed variant certifies an ellipsoidal latent radius up to 0.616, a guaranteed floor that the empirical robustness far exceeds.
• Abstract（参考訳）: エンド・ツー・エンド音声対話モデルでは、音声を聴きながら同時に話すことができるため、連続的に開放された音響チャンネルが敵の操作に晒される。 本研究は, 対象のセマンティックハイジャック, 応答抑制, ポリシージェイルブレーキングの3つの目標の下で, キャリア音声の心理音響マスキング閾値下にある付加的摂動の最適化として, フルダブルプレックスエージェントに対する知覚不能な攻撃を定式化する。 無防備なモシスタイルのエージェントに対して、ホワイトボックス攻撃は91.7%の試験に成功している。 次に,残ベクトル量子化潜時インタフェースにおいて局所コードブック共分散によって形成される異方性ガウスノイズを注入し,攻撃者を拘束するマスク閾値で入力ノイズを入力し,クルバック・リーブラ整合目標によって訓練する心理音響整合潜時平滑化(PALS)を導入する。 推論時間なしで展開されるPALSは、ハイジャックを8.3%に減らし、ミュートを11.2%に減らし、ジェイルブレイクを9.1%に減らした。 モンテカルロの平滑な変種は楕円形の潜伏半径を0.616まで証明している。

関連論文リスト

• Recovering Agentic Sovereignty: Mitigating the Consensus Paradox via Contrastive Epistemic Decoding [6.357772907811544]
  大規模言語モデル(LLM)は、敵対的なswarmコンセンサスに対するパラメトリックな脆弱性を示す。 ゼロショット推論手法であるContrastive Epistemic Decoding (CED)を導入する。 CEDは文法的な崩壊を引き起こすことなく、有毒なコンセンサストークンを数学的に抑制する。
  論文  参考訳（メタデータ） (2026-09-22T02:02:18Z)
• DiTAR+: Dual Optimization for Robust Autoregressive Diffusion Speech Synthesis [18.187203738724563]
  連続遅延自己回帰拡散変換器(AR-DiT)モデルは、ゼロショット音声生成において大きな可能性を示した。 長い発話や複雑な言語構造を合成する際には、復号安定性が制限されている。 これらの課題に対処する双対最適化フレームワークであるDiTAR+を提案する。
  論文  参考訳（メタデータ） (2026-09-12T12:32:02Z)
• Prototype-Rectified Iterative Self-supervised Manifold Denoising under Severe Acoustic Shift [3.704942101286518]
  本稿では,アフィンノイズ仮説に基づくトレーニングフリーでソースフリーなテスト時間適応(TTA)フレームワークであるPRISMを紹介する。 推論において、適応は0.0009msで1つの行列ベクトル乗法に還元され、勾配ベースのTTAよりもかなり速い。 UrbanSound8Kでは、PRISMはゼロショットベースラインを12.94ポイント上回り、オラクル支援TTAベースラインを9.41ポイント上回る。
  論文  参考訳（メタデータ） (2026-08-15T04:42:14Z)
• Piggybacking on Perception: Stealthy Concurrent Audio Prompt Injections against Multimodal LLM Agents [15.045221116990005]
  大規模言語モデル(LLM)によるマルチモーダルエージェントは、継続的オーディオインタラクションを通じて自律的なタスクを実行するために、ますます多くデプロイされている。 本稿では,マルチモーダルエージェントを対象とした同時音声プロンプトインジェクション攻撃について検討する。 これらの方法では、悪意ある音声命令がユーザー音声に知覚的に「ピギーバック」し、エージェントをハイジャックして悪意あるアクションを実行することができる。
  論文  参考訳（メタデータ） (2026-07-30T13:04:15Z)
• Towards Personalized Federated Learning for Dysarthric Speech Recognition [49.291957451546914]
  本稿では,パラメータベースの平均化戦略と埋め込みベースの平均化戦略を含む,パーソナライズを実現するための2つのアグリゲーション戦略について検討する。 UASpeech と TORGO の実験により、提案手法は、UASpeech の 0.99% と TORGO の 0.56% (4.73% ) と、統計学的に有意な WER の 0.99% の絶対値(3.15% の相対値)の削減により、ベースライン正規化の FedAvg よりも優れていることが示された。
  論文  参考訳（メタデータ） (2026-06-11T12:10:57Z)
• BadCLIP++: Stealthy and Persistent Backdoors in Multimodal Contrastive Learning [73.46118996284888]
  マルチモーダル・コントラスト学習モデルに対するバックドア攻撃の研究は、ステルスネスと永続性という2つの大きな課題に直面している。 両課題に対処する統合フレームワークであるBadCLIP++を提案する。 ステルスネスのために,タスク関連領域付近に知覚不可能なパターンを埋め込むセマンティックフュージョンQRマイクロトリガーを導入する。 持続性については、半径縮小とセントロイドアライメントによるトリガ埋め込みを安定化する。
  論文  参考訳（メタデータ） (2026-02-19T08:31:16Z)
• ReasoningBomb: A Stealthy Denial-of-Service Attack by Inducing Pathologically Long Reasoning in Large Reasoning Models [67.15960154375131]
  大規模推論モデル(LRM)は、多段階推論トレースを明示した大規模言語モデルを拡張する。 この能力は、推論の高い計算コストを生かした、新しいタイプのプロンプト誘発推論時間拒否攻撃(PI-DoS)を導入している。 本稿では,強化学習に基づくPI-DoSフレームワークであるReasoningBombについて紹介する。
  論文  参考訳（メタデータ） (2026-01-29T18:53:01Z)
• Ada3Diff: Defending against 3D Adversarial Point Clouds via Adaptive Diffusion [70.60038549155485]
  ディープ3Dポイントクラウドモデルは敵攻撃に敏感であり、自律運転のような安全クリティカルなアプリケーションに脅威をもたらす。 本稿では,適応強度推定器と拡散モデルを用いて,プリスタンデータ分布を再構築できる新しい歪み認識型防衛フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-29T14:32:43Z)
• HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units [81.53783563025084]
  本稿では、BERTのような予測損失に対して、アライメントされたターゲットラベルを提供するオフラインクラスタリングステップを提案する。 提案手法の重要な要素は,マスク領域にのみ予測損失を適用することである。 HuBERTは、より困難なdev-otherおよびtest-other評価サブセットに対して、最大19%と13%の相対的なWER削減を示す。
  論文  参考訳（メタデータ） (2021-06-14T14:14:28Z)
• Towards Robust Speech-to-Text Adversarial Attack [78.5097679815944]
  本稿では,DeepSpeech,Kaldi,Lingvoなど,最先端の音声テキストシステムに対する新たな逆アルゴリズムを提案する。 本手法は, 逆最適化定式化の従来の歪み条件の拡張を開発することに基づいている。 元のサンプルと反対のサンプルの分布の差を測定するこの測定値の最小化は、正統な音声記録のサブスペースに非常に近い作成信号に寄与する。
  論文  参考訳（メタデータ） (2021-03-15T01:51:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。