論文の概要: ARENA: Automated Red-Teaming for Large Audio Language Models
- arxiv url: http://arxiv.org/abs/2608.15578v1
- Date: Sun, 16 Aug 2026 07:03:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.343779
- Title: ARENA: Automated Red-Teaming for Large Audio Language Models
- Title（参考訳）: ARENA: 大規模オーディオ言語モデルのための自動再チーム化
- Abstract要約: テキストクエリは単独で安全でなければならないが,共同音声入力は有害な標的行動を引き起こす。
独立した2000ケースのテキストオーディオデータセット上でコントローラをトレーニングするクローズドループフレームワークであるARENAを提案する。
520のAdvBench目標で、ARENAはFDR/PSRが87.9/100.0%、71.5/96.3%、68.1/100.0%、75.4/98.5%に達する。
- 参考スコア（独自算出の注目度）: 30.804646851033567
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large audio-language models (LALMs) make it possible to interact with language models through speech, music, and environmental sound, but they also introduce a safety surface that is difficult to expose with text-only red-teaming. We study automated audio-grounded red-teaming, where a text query must remain safe in isolation while the joint text-audio input induces harmful target behavior. We propose ARENA, a closed-loop framework that trains a controller on an independent 2,000case text-audio dataset. MD-Judge supplies training rewards and adaptive search feedback, while a separate, non-adaptive Llama Guard 3 evaluator alone labels final outcomes. On 520 held-out AdvBench objectives, ARENA achieves FDR/PSR of 87.9/100.0%, 71.5/96.3%, 68.1/100.0%, and 75.4/98.5% on Audio Flamingo 3, Qwen2-Audio, MiMo-Audio, and GPTAudio, respectively. Ablations show that feedback-based refinement and audio-variant search substantially improve attack discovery.
- Abstract（参考訳）: 大規模な音声言語モデル(LALM)は、音声、音楽、環境音を通じて言語モデルと対話することができるが、テキストのみのレッドチームでは公開が難しい安全面も導入している。
テキストクエリは単独で安全でなければならないが,共同音声入力は有害な標的行動を引き起こす。
独立した2000ケースのテキストオーディオデータセット上でコントローラをトレーニングするクローズドループフレームワークであるARENAを提案する。
MD-Judgeはトレーニング報酬と適応的な検索フィードバックを提供し、別の非適応型ランマガード3は最終結果のみをラベル付けしている。
520のAdvBench目標に対して、ARENAはFDR/PSRの87.9/100.0%、71.5/96.3%、68.1/100.0%、および75.4/98.5%をそれぞれAudio Flamingo 3, Qwen2-Audio, MiMo-Audio, GPTAudioで達成している。
アブレーションは、フィードバックベースの改善とオーディオ変種検索が攻撃発見を大幅に改善することを示している。
関連論文リスト
- Unified Audio Intelligence Without Regressing on Text Intelligence [86.55418188552768]
我々は,統一音声テキストLLMであるNemotron-Labs-Audex-30B-A3B(Audex)を紹介する。
Audexは単一のTransformerデコーダで単純な統一設計を採用する。
Audexは最先端の音声理解、音声認識と翻訳、テキスト音声合成、音声生成、音声音声生成を提供する。
論文 参考訳（メタデータ） (2026-07-06T15:11:57Z) - 2nd of the 5th PVUW MeViS-Audio Track: ASR-SaSaSa2VA [47.992210130090065]
本稿では、音声誘導ビデオセグメンテーションのためのリソース効率の高いフレームワークであるASR-SaSa2VAを提案する。
第5回PVUWチャレンジ(MeViS-v2-Audioトラック)で最終スコア80.7を獲得し,第2位を獲得した。
論文 参考訳（メタデータ） (2026-04-27T01:19:56Z) - VoiceSHIELD-Small: Real-Time Malicious Speech Detection and Transcription [2.0225826789157404]
本稿では,リアルタイムに動作する軽量モデルであるVoiceSHIELD-Smallを紹介する。
音声を転写し、それが安全か有害かを検出する。
OpenAIのWhisper小エンコーダ上に構築されたVoiceSHIELDには,平均プール層と単純な分類ヘッドが追加されている。
論文 参考訳（メタデータ） (2026-03-08T16:23:42Z) - SAM Audio Judge: A Unified Multimodal Framework for Perceptual Evaluation of Audio Separation [52.468945848774844]
本稿では,人間の介入なしに音声の分離を評価できる自動システムの必要性に対処する。
提案した評価指標であるSAM Audio Judge (SAJ) は, マルチモーダルな細粒度参照自由度尺度である。
SAJは3つのオーディオドメイン(音声、音楽、一般的な音声イベント)と3つのインプット(テキスト、視覚、スパン)をサポートし、4つの異なる評価次元をカバーする。
論文 参考訳（メタデータ） (2026-01-27T15:29:02Z) - Adaptive vector steering: A training-free, layer-wise intervention for hallucination mitigation in large audio and multimodal models [45.88028371034407]
本稿では,適応ベクトルステアリングによる音声コンテンツのより良い生成を提案する。
実験では、2つのモデルと2つのベンチマークで一貫したパフォーマンス向上を示している。
我々の知る限りでは、オーディオにおける幻覚を軽減するためにベクトルステアリングを適用した最初の研究である。
論文 参考訳（メタデータ） (2025-10-14T08:52:18Z) - MDAR: A Multi-scene Dynamic Audio Reasoning Benchmark [64.89810922949984]
本稿では,複雑なマルチシーン,動的に進化する音声推論タスクのモデルを評価するためのベンチマークMDARを紹介する。
MDARは、様々なオーディオクリップにリンクされた3000の慎重にキュレートされた質問応答ペアから構成される。
MDAR上で26の最先端オーディオ言語モデルをベンチマークし、それらが複雑な推論タスクに制限があることを観察する。
論文 参考訳（メタデータ） (2025-09-26T15:12:46Z) - AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。
AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。
また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
論文 参考訳（メタデータ） (2025-08-29T07:40:39Z) - Audio Does Matter: Importance-Aware Multi-Granularity Fusion for Video Moment Retrieval [58.640807985155554]
Video Moment Retrieval (VMR)は、特定のクエリに関連する特定のモーメントを検索することを目的としている。
既存のVMRメソッドの多くは、補完的ではあるが重要なオーディオのモダリティを無視しながら、視覚的およびテキスト的モダリティにのみ焦点をあてている。
本稿では,VMRの音声ビジョンコンテキストを動的かつ選択的に集約する,新しいImportance-Aware Multi-Granularity fusion Model (IMG)を提案する。
論文 参考訳（メタデータ） (2025-08-06T09:58:43Z) - Audio Is the Achilles' Heel: Red Teaming Audio Large Multimodal Models [50.89022445197919]
我々は、オープンソースのオーディオLMMが有害な音声質問に対して平均69.14%の攻撃成功率を被っていることを示す。
Gemini-1.5-Proの音声固有のジェイルブレイクは、有害なクエリベンチマークで70.67%の攻撃成功率を達成した。
論文 参考訳（メタデータ） (2024-10-31T12:11:17Z) - Automated Audio Captioning and Language-Based Audio Retrieval [3.9065205774219334]
このプロジェクトには2つのサブタスクがあった: 自動音声キャプションと言語ベースの音声検索である。
両方のサブタスクで、Clathoデータセットが使用された。
BLEU1, BLEU2, BLEU3, ROUGEL, METEOR, CIDEr, SPICE, SPIDEr の音声キャプション, R1, R5, R10, mARP10 の音声検索における評価を行った。
論文 参考訳（メタデータ） (2022-07-08T23:48:52Z) - Robust Self-Supervised Audio-Visual Speech Recognition [29.526786921769613]
本稿では,Audio-Visual HuBERT(AV-HuBERT)に基づく自己教師型音声視覚音声認識フレームワークを提案する。
利用可能な最大のAVSRベンチマークデータセットであるLSS3では、ラベル付きデータの10%未満を使用して、従来の最先端(28.0%対14.1%)よりも50%優れています。
我々のアプローチは、平均して75%以上(25.8%対5.8%)のオーディオベースモデルのWERを削減する。
論文 参考訳（メタデータ） (2022-01-05T18:50:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。