論文の概要: From Inaudible Inputs to Model Failures: Low-Frequency Safety Risks in LALMs
- arxiv url: http://arxiv.org/abs/2608.09158v1
- Date: Mon, 10 Aug 2026 06:09:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.100707
- Title: From Inaudible Inputs to Model Failures: Low-Frequency Safety Risks in LALMs
- Title(参考訳): 難聴入力からモデル故障へ:LALMにおける低周波安全性リスク
- Abstract要約: 大規模な音声言語モデル (LALM) は多様な音声入力を理解する強力な能力を示している。
この多様性には、人間には聞こえない低周波信号が含まれているが、それでもモデルに入り、その生成に影響を与えることができる。
ブラックボックス設定における普遍的な波形テンプレートを用いて,このリスクを評価可能な赤信号抽出手法である Intermittent Low-Frequency Lockout (ILL) を提案する。
- 参考スコア(独自算出の注目度): 46.76277198630859
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large audio-language models (LALMs) have demonstrated strong capabilities in understanding diverse audio inputs. This diversity includes low-frequency signals that are inaudible to humans but can still enter the model and influence its generation. However, the practical impact of such low-frequency inputs on LALMs remains largely unexplored. In this paper, we propose Intermittent Low-Frequency Lockout (ILL), an inaudible red teaming method that evaluates this risk using a universal waveform template in a black box setting. ILL uses Sentence Attention Scale Estimation to determine active intervals and Frequency Confusion Transfer to construct a low-frequency waveform with continuous phase from corpus spectral variation. To mitigate this risk, we propose Distributional Requery Guard (DRG) to detect low-frequency distribution shifts and conditionally request a second recording for semantic recovery. Across six LALMs and multiple audio understanding tasks, ILL reduces accuracy by up to 67 percentage points while receiving a mean human audibility rating of 1.33, close to 1.17 for clean audio; DRG raises mean attacked accuracy from 28.5\% to 46.1\% after clean reacquisition. These findings identify a previously overlooked safety risk for LALMs and provide a foundation for future research on robust audio understanding.
- Abstract(参考訳): 大規模な音声言語モデル (LALM) は多様な音声入力を理解する強力な能力を示している。
この多様性には、人間には聞こえない低周波信号が含まれているが、それでもモデルに入り、その生成に影響を与えることができる。
しかし、そのような低周波入力がLALMに与える影響は未解明のままである。
本稿では,ブラックボックス設定における普遍的な波形テンプレートを用いて,このリスクを評価するため,インクリメンタルな低周波数ロックアウト(ILL)を提案する。
ILLはSentence Attention Scale Estimationを用いて能動間隔を推定し、周波数コンフュージョン変換を行い、コーパススペクトル変動から連続位相の低周波波形を構成する。
このリスクを軽減するために、低周波分布シフトを検出し、セマンティックリカバリのための第2記録を条件付きで要求する分散リカリーガード(DRG)を提案する。
6つのLALMと複数のオーディオ理解タスクにまたがって、ILLは精度を最大67パーセント削減し、平均的な人間の聴力評価は1.33で、クリーンオーディオは1.17に近く、DRGはクリーン再取得後の平均攻撃精度を28.5\%から46.1\%に引き上げる。
これらの結果から,LALMの安全性リスクは以前見落とされ,ロバストな音声理解の基盤となることが示唆された。
関連論文リスト
- Survey of Novel Deep Learning Architectures for Denoising Gravitational-wave Signals [0.0]
重力波デノジングのための5つのニューラルネットワークアーキテクチャの制御された最初の比較について述べる。
我々は、全天体物理学的に動機づけられた回転二乗ブラックホールパラメータ空間を同時に訓練する。
ネットワーク構造とコリケーションのスペクトル解剖との整合性は、ブルートフォースモデルスケーリングよりも優れる。
論文 参考訳(メタデータ) (2026-09-07T18:00:10Z) - Attention-Guided Reliability Scaling for Contrastive Decoding in Robust Audio-Visual Speech Recognition [50.15288513086986]
コントラストデコーディング (CD) は、元々は大型言語モデル (LLM) ベースの音声視覚音声認識 (AVSR) システムを安定化するために導入された。
AVSR用CDの信頼性を考慮したスケーリングを提案する。
論文 参考訳(メタデータ) (2026-08-26T08:25:15Z) - S$^3$AM: A Single-Stream SAM with Reliability-Calibrated Frequency Adapter for Multi-modal Salient Object Detection [74.15663758681849]
シングルストリームフレームワークは、信頼性キャリブレーションされた周波数適応をMSOD用のSAMバックボーンに組み込む。
RGB-D、RGB-T、RGB-NIRの正当性オブジェクト検出ベンチマークの実験により、提案フレームワークが競合性能を達成することを確認した。
論文 参考訳(メタデータ) (2026-08-18T08:05:00Z) - Whisper-Aware LLM: Self-Supervised Uncertainty Learning for Robust Whispered Speech Recognition [7.1200667451435296]
本稿では,Whisper-Aware LLMについて紹介する。
本モデルは,音響信号の物理的欠陥を定量化する学習により,本質的な自己認識を発達させる。
このモデルでは、AISHELL6-Whisperに対して17%の相対的なCER削減が達成された。
論文 参考訳(メタデータ) (2026-08-11T12:02:55Z) - UniSkip-Mamba: A Frequency-Aware State Space Model for Audio-Visual Temporal Forgery Localization [13.738195795114516]
周波数対応状態空間モデルフレームワークUniSkip-Mambaを提案する。
AV-Deepfake1Mでは63.4%のAP@0.95,63.58%のmAP,6倍の高速化を実現した。
論文 参考訳(メタデータ) (2026-07-05T20:51:24Z) - How Confident Is the First Token? An Uncertainty-Calibrated Prompt Optimization Framework for Large Language Model Classification and Understanding [4.852493246050006]
大規模言語モデル(LLM)はアウトプットを自動回帰的に生成し、避けられないアウトプットの不確実性を引き起こす。
焦点損失にインスパイアされたファーストトケンベースの計量であるLSFU(Log-Scale Focal Uncertainty)を提案する。
UCPOFは、数点のベースラインよりも平均精度を6.03%向上し、フルRAGを5.75%上回り、平均検索トリガレートを50.66%低下させる。
論文 参考訳(メタデータ) (2026-02-23T11:55:14Z) - Self-Supervised Learning via Flow-Guided Neural Operator on Time-Series Data [57.85958428020496]
Flow-Guided Neural Operator (FGNO)は、演算子学習とフローマッチングを組み合わせた新しいフレームワークである。
FGNOは、短時間フーリエ変換を用いて関数空間のマッピングを学習し、異なる時間分解能を統一する。
推論中にノイズのある入力を使用する以前の生成SSL法とは異なり、ノイズのある表現を学習しながら、クリーンな入力を用いて表現抽出を行う。
論文 参考訳(メタデータ) (2026-02-12T18:54:57Z) - Toward Noise-Aware Audio Deepfake Detection: Survey, SNR-Benchmarks, and Practical Recipes [2.5756681494057045]
本稿では,MS-SNSD雑音とASVspoof 2021 DF発話を混合し,信号対雑音比(SNR)で評価するフレームワークを提案する。
We study multi-condition training and fixed-SNR testing for pretrained encoder (WavLM, Wav2Vec2, MMS), reporting accuracy, ROC-AUC, and EER on binary and four-class (authenticity x corruption) task。
論文 参考訳(メタデータ) (2025-12-15T02:22:37Z) - SONAR: Spectral-Contrastive Audio Residuals for Generalizable Deepfake Detection [6.042897432654865]
Spectral-cONtrastive Audio Residuals (AR)は、ディープフェイクオーディオ検出器のための周波数誘導フレームワークである。
ARは音声信号を補完表現に切り離す。
ASVspoof 2021およびin-the-wildベンチマークで評価した。
論文 参考訳(メタデータ) (2025-11-26T12:16:38Z) - LLM Hallucination Detection: A Fast Fourier Transform Method Based on Hidden Layer Temporal Signals [10.85580316542761]
幻覚は、信頼性に敏感なアプリケーションに大規模言語モデル(LLM)をデプロイする上で、依然として重要な障壁である。
隠れ表現の時間的ダイナミクスをモデル化する新しい幻覚検出フレームワークであるHSAD(Hidden Signal Analysis-based Detection)を提案する。
TruthfulQAを含む複数のベンチマークにおいて、HSADは従来の最先端手法に比べて10パーセント以上の改善を実現している。
論文 参考訳(メタデータ) (2025-09-16T15:08:19Z) - It's Never Too Late: Fusing Acoustic Information into Large Language
Models for Automatic Speech Recognition [70.77292069313154]
大規模言語モデル(LLM)は、自動音声認識(ASR)出力の上の生成誤り訂正(GER)に成功することができる。
本研究では,不確実性認識ダイナミックフュージョン (UADF) と呼ばれる新しい遅延融合解によって予測された転写を生成する前に,音響情報を注入することにより,そのような制限を克服することを目的とする。
論文 参考訳(メタデータ) (2024-02-08T07:21:45Z) - SMRD: SURE-based Robust MRI Reconstruction with Diffusion Models [76.43625653814911]
拡散モデルは、高い試料品質のため、MRIの再生を加速するために人気を博している。
推論時に柔軟にフォワードモデルを組み込んだまま、効果的にリッチなデータプリエントとして機能することができる。
拡散モデル(SMRD)を用いたSUREに基づくMRI再構成を導入し,テスト時の堅牢性を向上する。
論文 参考訳(メタデータ) (2023-10-03T05:05:35Z) - Learning based signal detection for MIMO systems with unknown noise
statistics [84.02122699723536]
本論文では,未知のノイズ統計による信号を堅牢に検出する一般化最大確率(ML)推定器を考案する。
実際には、システムノイズに関する統計的な知識はほとんどなく、場合によっては非ガウス的であり、衝動的であり、分析不可能である。
我々のフレームワークは、ノイズサンプルのみを必要とする教師なしの学習アプローチによって駆動される。
論文 参考訳(メタデータ) (2021-01-21T04:48:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。