論文の概要: Evaluation of Audio Language Models for Fairness, Safety, and Security

• arxiv url: http://arxiv.org/abs/2603.13262v1
• Date: Wed, 25 Feb 2026 21:22:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:42.243433
• Title: Evaluation of Audio Language Models for Fairness, Safety, and Security
• Title（参考訳）: 公正・安全・安全のための音声言語モデルの評価
• Authors: Ranya Aloufi, Srishti Gupta, Soumya Shaw, Battista Biggio, Lea Schönherr,
• Abstract要約: 音声大言語モデル(ALLM)の構造分類(システムレベルと表現レベル)を導入する。 本研究では,非言語的変動下における意味的不変性,不安全なプロンプトによる拒絶・毒性行動,および敵対的音声摂動に対する頑健性を評価する統一評価フレームワークを提案する。 以上の結果から,FSSの動作は意味論的推論に音響情報がどのように統合されているかと密接に結びついており,音声言語モデルの構造認識の必要性が示唆された。
• 参考スコア（独自算出の注目度）: 10.580283172294733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio large language models (ALLMs) have recently advanced spoken interaction by integrating speech processing with large language models. However, existing evaluations of fairness, safety, and security (FSS) remain fragmented, largely because ALLMs differ fundamentally in how acoustic information is represented and where semantic reasoning occurs. Differences that are rarely made explicit. As a result, evaluations often conflate structurally distinct systems, obscuring the relationship between model design and observed FSS behavior. In this work, we introduce a structural taxonomy (system-level and representational) of ALLMs that categorizes systems along two axes: the form of audio input representation (e.g., discrete vs. continuous) and the locus of semantic reasoning (e.g., cascaded, multimodal, or audio-native). Building on the taxonomy, we propose a unified evaluation framework that assesses semantic invariance under paralinguistic variation, refusal and toxicity behavior under unsafe prompts, and robustness to adversarial audio perturbations. We apply this framework to two representative systems and observe systematic differences in refusal rates, attack success, and toxicity between audio and text inputs. Our findings demonstrate that FSS behavior is tightly coupled to how acoustic information is integrated into semantic reasoning, underscoring the need for structure-aware evaluation of audio language models.
• Abstract（参考訳）: 音声大言語モデル(ALLM)は近年,音声処理と大言語モデルを統合することで音声対話を高度化している。 しかしながら、既存の公正性、安全性、セキュリティ(FSS)の評価は、ALMが音響情報の表現方法と意味的推論の場所において根本的に異なるため、断片化され続けている。 ほとんど明示されない違い。 その結果、モデル設計と観察されたFSSの挙動の関係を隠蔽し、構造的に異なるシステムを説明することがよくある。 本研究では,ALMの構造的分類(システムレベルと表現レベル)を導入し,音声入力表現(例えば離散対連続)と意味論的推論(例えば,カスケード,マルチモーダル,オーディオネイティブ)の2つの軸に沿ってシステムを分類する。 本研究では,非言語的変動下における意味的不変性,不安全なプロンプトによる拒絶・毒性行動,および敵対的音声摂動に対する頑健性を評価する統一的な評価枠組みを提案する。 本稿では,この枠組みを2つの代表的なシステムに適用し,音声入力とテキスト入力の拒絶率,攻撃成功,毒性の系統的差異を観察する。 以上の結果から,FSSの動作は意味論的推論に音響情報がどのように統合されているかと密接に結びついており,音声言語モデルの構造認識の必要性が示唆された。

関連論文リスト

• DEAF: A Benchmark for Diagnostic Evaluation of Acoustic Faithfulness in Audio Language Models [15.637236155997]
  最近の音声マルチモーダル大言語モデル(Audio MLLMs)は,音声ベンチマークで顕著な性能を示した。 これらのモデルが真に音響信号を処理するのか、それともテキストベースの意味推論に依存しているのかは定かではない。 3次元にまたがる2700以上の衝突刺激のベンチマークであるDEAFを紹介する。
  論文  参考訳（メタデータ） (2026-03-17T15:52:26Z)
• Evaluating Semantic Fragility in Text-to-Audio Generation Systems Under Controlled Prompt Perturbations [2.2870073664564115]
  小さな言語的変化は、生成された音声にかなりの変化をもたらし、実用的な使用における信頼性への懸念を引き起こす可能性がある。 制御された即時摂動下でのテキスト・音声システムの意味的不安定性を評価する。
  論文  参考訳（メタデータ） (2026-03-14T08:12:40Z)
• WESR: Scaling and Evaluating Word-level Event-Speech Recognition [59.21814194620928]
  音声は言語情報だけでなく、笑ったり泣いたりするような豊富な非言語的な音声イベントも伝達する。 我々は,21の発声イベントの分類を改良し,個別(スタンドアローン)と連続(音声と混合)に分類した。 改良された分類法に基づくWESR-Benchは,新しい位置認識プロトコルを備えた専門家アノテート評価セット(900以上の発話)である。
  論文  参考訳（メタデータ） (2026-01-08T02:23:21Z)
• New Insights into Optimal Alignment of Acoustic and Linguistic Representations for Knowledge Transfer in ASR [30.00166986946003]
  我々は、アライメントとマッチングを検出問題とみなすために、新たな洞察を得る。 目標は、高精度で意味のある対応を識別し、言語トークンの完全なカバレッジを確保することである。 分布ミスマッチと構造的非対称性を明示的に扱う不均衡な輸送ベースアライメントモデルを提案する。
  論文  参考訳（メタデータ） (2025-09-06T05:58:52Z)
• AHELM: A Holistic Evaluation of Audio-Language Models [78.20477815156484]
  マルチモーダルオーディオ言語モデル(ALM)は、インターリーブされた音声とテキストを入力および出力テキストとして取り込む。 AHELMは、PARADEとCoRe-Benchと呼ばれる2つの新しい合成オーディオテキストデータセットを含む、さまざまなデータセットを集約するベンチマークである。 また、モデル間の等価比較を確保するために、プロンプト、推論パラメータ、評価指標を標準化する。
  論文  参考訳（メタデータ） (2025-08-29T07:40:39Z)
• SpeechR: A Benchmark for Speech Reasoning in Large Audio-Language Models [60.72029578488467]
  SpeechRは、大規模な音声言語モデルにおける音声に対する推論を評価するための統一的なベンチマークである。 事実検索、手続き推論、規範的判断の3つの重要な側面に沿ったモデルを評価する。 11個の最先端のLALMの評価は、高い転写精度が強い推論能力に変換されないことを示している。
  論文  参考訳（メタデータ） (2025-08-04T03:28:04Z)
• AudioJudge: Understanding What Works in Large Audio Model Based Speech Evaluation [55.607230723223346]
  本研究は,Large Audio Model (LAM) をAudioJudgeの裁判官として体系的に研究し,両課題に対処する統一評価フレームワークを提供することができるかどうかを検討する。 本稿では、発音、発話速度、話者識別、音声品質、自動ベンチマークのためのシステムレベルの人間の嗜好シミュレーションなど、音声特徴検出タスクにまたがるAudioJudgeについて検討する。 本稿では,多視点アンサンブルAudioJudgeを導入し,音声評価を語彙内容,音声品質,パラ言語特徴の専門判断者に分解し,人間の嗜好と最大0.91のスピアマン相関を達成させる手法を提案する。
  論文  参考訳（メタデータ） (2025-07-17T00:39:18Z)
• Leveraging Language Model Capabilities for Sound Event Detection [10.792576135806623]
  本稿では,音声イベントとその時間的位置を同時に生成しながら,音声特徴を理解するためのエンドツーエンドフレームワークを提案する。 具体的には、事前学習された音響モデルを用いて、異なるカテゴリーにわたる識別的特徴を捉え、自動回帰テキスト生成のための言語モデルを用いる。
  論文  参考訳（メタデータ） (2023-08-22T15:59:06Z)
• SPLAT: Speech-Language Joint Pre-Training for Spoken Language Understanding [61.02342238771685]
  音声理解には、入力音響信号を解析してその言語内容を理解し、予測するモデルが必要である。 大規模無注釈音声やテキストからリッチな表現を学習するために,様々な事前学習手法が提案されている。 音声と言語モジュールを協調的に事前学習するための,新しい半教師付き学習フレームワークであるSPLATを提案する。
  論文  参考訳（メタデータ） (2020-10-05T19:29:49Z)
• Statistical Context-Dependent Units Boundary Correction for Corpus-based Unit-Selection Text-to-Speech [1.4337588659482519]
  本稿では, 分割の精度を向上させるために, 単位選択テキスト音声(TTS)システムに適用するための, 話者適応のための革新的な手法を提案する。 従来の話者適応手法とは違って,言語分析手法を応用した文脈依存特性のみの利用を目標としている。
  論文  参考訳（メタデータ） (2020-03-05T12:42:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。