論文の概要: AV-SafetyBench: A Safety Benchmark for Text-to-Audio-Video Generation
- arxiv url: http://arxiv.org/abs/2609.06991v1
- Date: Mon, 07 Sep 2026 03:32:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.348811
- Title: AV-SafetyBench: A Safety Benchmark for Text-to-Audio-Video Generation
- Title（参考訳）: AV-SafetyBench: テキストからオーディオビデオ生成のための安全性ベンチマーク
- Abstract要約: テキスト・トゥ・オーディオ・ビデオ(T2AV)モデルは、単一のテキストプロンプトからビデオ、音声、音響効果、環境を共同で生成する。
既存の安全ベンチマークは主に、生成されたビデオまたは生成されたオーディオを分離してフォーカスする。
AV-SafetyBenchはT2AV生成に特化して開発された最初の安全ベンチマークである。
- 参考スコア（独自算出の注目度）: 18.22830954396686
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent text-to-audio-video (T2AV) models jointly generate video, speech, sound effects, and ambience from a single text prompt. This capability poses new challenges for safety evaluation, as unsafe content may be conveyed through the audio track or arise only when the visual and audio tracks are interpreted jointly. Existing safety benchmarks largely focus on either generated video or generated audio in isolation and are therefore not designed to capture these risks. To close this gap, we introduce AV-SafetyBench, the first safety benchmark developed specifically for T2AV generation. AV-SafetyBench comprises a four-axis, 13-category taxonomy and 5,200 manually reviewed prompts that specify visual scenes, speech, and non-speech audio. Our evaluation protocol assesses each output under three views: Full-AV, Video-Only, and Audio-Only. It then uses the Video-Only and Audio-Only judgments to assign Full-AV unsafe outputs to one of four risk sources: Video-Only, Audio-Only, AV-Both, or AV-Joint. We evaluate five open-source T2AV models and validate the automated Full-AV judgments against human annotations. Across the five models, Full-AV Unsafe Rates range from 25.1% to 49.4%. Beyond these aggregate rates, risk-source analysis reveals that, for four of the five models, Audio-Only and AV-Joint cases-unsafe outputs missed by video-only evaluation-account for 41.6-48.3% of Full-AV unsafe outputs for which a risk source could be assigned. In the Cross-Modal Harm Emergence category, AV-Joint accounts for 87.5% of unsafe outputs withan assigned risk source. Together, these findings demonstrate the value of AV-SafetyBench for evaluating T2AV safety across the visual and audio modalities and their interaction.
- Abstract（参考訳）: 最近のテキスト・トゥ・オーディオ・ビデオ(T2AV)モデルは、単一のテキストプロンプトからビデオ、音声、音響効果、環境を共同で生成する。
この機能は、安全でないコンテンツがオーディオトラックを通して伝達されるか、視覚とオーディオのトラックが共同で解釈される場合にのみ発生する可能性があるため、安全性評価に新たな課題をもたらす。
既存の安全ベンチマークは、生成したビデオまたは生成されたオーディオを分離して焦点を絞っているため、これらのリスクを捉えるように設計されていない。
AV-SafetyBenchは、T2AV生成用に開発された最初の安全ベンチマークである。
AV-SafetyBenchは、4軸13カテゴリーの分類と、視覚シーン、スピーチ、非音声音声を指定する5,200のマニュアルレビュープロンプトで構成されている。
評価プロトコルは、フルAV、ビデオオンリー、オーディオオンリーの3つのビューで出力を評価する。
次に、ビデオオンリーとオーディオオンリーの判断を使用して、フルAVの安全でない出力を、ビデオオンリー、オーディオオンリー、AV-Both、AV-Jointの4つのリスクソースの1つに割り当てる。
我々は,5つのオープンソースT2AVモデルを評価し,人間のアノテーションに対するフルAV自動判定を検証した。
5つのモデル全体で、フルAVアンセーフレートは25.1%から49.4%である。
これらの総率の他に、リスクソース分析では、Audio-OnlyとAV-Jointの5つのモデルのうち4つのケース・アンセーフ・アウトプットがビデオのみの評価で欠落し、フルAVアンセーフ・アウトプットの41.6-48.3%がリスク・アウトプットとして割り当てられた。
クロスモーダル・ハーム・エネルジェンス・カテゴリでは、AV-Jointは87.5%の安全でない出力を割り当てられたリスク源で占めている。
これらの結果から, 視覚的・音声的モダリティと相互作用を考慮したT2AV安全性の評価に, AV-SafetyBench の有効性が示唆された。
関連論文リスト
- Multi2AV-Safety: Benchmarking Safety in Multimodal-to-Audio-Video Generation [48.255342872647766]
Multi2AV-Safetyは、オーディオビデオ生成のための11の非シングルトンT/I/A/Vコンディショニング構成をカバーした最初の安全ベンチマークである。
攻撃機構と害証拠構造にまたがる代表的マルチモーダル安全ガードの系統的弱点を明らかにする。
その結果,マルチモーダル・コンディショニング・オーディオビデオ生成における機能ギャップとして,共生的リスク認識が認識されることがわかった。
論文 参考訳（メタデータ） (2026-08-27T02:12:25Z) - InstructAV2AV: Instruction-Guided Audio-Video Joint Editing [51.67847766136283]
InstructAV2AVは,インストラクション誘導型オーディオビデオ共同編集のためのエンドツーエンドフレームワークである。
まず、スケーラブルなデータ合成パイプラインを開発し、最初の大規模オーディオビデオ編集データセットであるInsAVEを構築した。
InstructAV2AVは、2つの評価セットで3つの側面にまたがる11のメトリクスで最先端の手法より優れている。
論文 参考訳（メタデータ） (2026-05-18T14:27:05Z) - VidAudio-Bench: Benchmarking V2A and VT2A Generation across Four Audio Categories [47.95995227527911]
VidAudio-Benchは、4つの重要な特徴を持つV2A評価のためのマルチタスクベンチマークである。
1,634組のビデオテキストペアと、11の最先端世代モデルをベンチマークする。
主観的な研究を通じてすべての指標を検証し、人間の嗜好と強い一貫性を示す。
論文 参考訳（メタデータ） (2026-04-12T09:11:55Z) - AVFakeBench: A Comprehensive Audio-Video Forgery Detection Benchmark for AV-LMMs [13.950397580491666]
AVFakeBenchは,初の包括的オーディオビデオ偽造検出ベンチマークである。
AVFakeBenchには、慎重に12Kのオーディオビデオ質問が含まれており、7種類の偽造と4レベルのアノテーションを含んでいる。
AVFakeBench上での11の音声映像大言語モデル(AV-LMM)と2つの一般的な検出手法を評価する。
論文 参考訳（メタデータ） (2025-11-26T10:33:12Z) - From Evaluation to Defense: Advancing Safety in Video Large Language Models [33.10355085086974]
textbfVideoSafetyBench (VSB-77k)は,ビデオLLMの安全性に関する大規模かつ文化的に多様なベンチマークである。
ビデオモダリティの統合は安全性を平均42.3%低下させ、マルチモーダル攻撃のシステム的リスクを露呈する。
我々は,2つのイノベーションを通じて,前例のない安全性向上を実現する2段階フレームワークである textbfVideoSafety-R1 を提案する。
論文 参考訳（メタデータ） (2025-05-22T13:16:53Z) - AudioTrust: Benchmarking the Multifaceted Trustworthiness of Audio Large Language Models [125.44235244336623]
オーディオ大言語モデル(ALLMs)は広く採用されているが、信頼性は未定である。
音色,アクセント,背景雑音などの非意味的音響的手がかりから生じるALMの有意な信頼性リスクを同定した。
本稿では,AudioTrustを提案する。
論文 参考訳（メタデータ） (2025-05-22T04:27:46Z) - Video-SafetyBench: A Benchmark for Safety Evaluation of Video LVLMs [45.265397990158846]
Video-SafetyBenchは、ビデオテキスト攻撃下でのLVLMの安全性を評価するために設計された最初のベンチマークである。
ビデオテキストのペアは2,264で、48のきめ細かいアンセーフなカテゴリにまたがっている。
安全性評価のためのセマンティックなビデオを生成するために,ビデオ意味論を主題画像とモーションテキストに分解する制御可能なパイプラインを設計する。
論文 参考訳（メタデータ） (2025-05-17T05:06:38Z) - AGAV-Rater: Adapting Large Multimodal Model for AI-Generated Audio-Visual Quality Assessment [54.02700414197669]
AI生成オーディオ視覚コンテンツ(AGAV)の効率的な品質評価手法は,音声視覚品質の確保に不可欠である。
AGAVQA-3kは、最初の大規模AGAV品質評価データセットで、16ドルのVTAメソッドから36,382ドルのAGAVを含む。
AGAV-RaterはAGAVQA-3k、Text-to-Audio、Text-to-Musicデータセット上で最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2025-01-30T12:43:47Z) - How Does Audio Influence Visual Attention in Omnidirectional Videos? Database and Model [50.15552768350462]
本稿では,全方向ビデオ(ODV)における音声・視覚的注意を主観的視点と客観的視点の両方から包括的に検討する。
AVS-ODVデータベースに基づく新たなベンチマークを構築した。
論文 参考訳（メタデータ） (2024-08-10T02:45:46Z) - AVA-AVD: Audio-visual Speaker Diarization in the Wild [26.97787596025907]
既存のオーディオ視覚ダイアリゼーションデータセットは主に会議室やニューススタジオのような屋内環境に焦点を当てている。
本稿では,視覚情報に基づいて識別情報をキャプチャする効果的なモータリティマスクを導入した新しいオーディオ・ビジュアル・リレーション・ネットワーク(AVR-Net)を提案する。
論文 参考訳（メタデータ） (2021-11-29T11:02:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。