論文の概要: AI-Based Sound Effect Generation: A Narrative Review of Generative Models Across Input Modalities
- arxiv url: http://arxiv.org/abs/2608.03742v1
- Date: Tue, 04 Aug 2026 14:36:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.243693
- Title: AI-Based Sound Effect Generation: A Narrative Review of Generative Models Across Input Modalities
- Title（参考訳）: AIに基づく音響効果生成:入力モダリティ間の生成モデルの物語的レビュー
- Abstract要約: この章は、音響効果合成のための最近のAIベースの生成モデルをレビューし分析する。
Google Scholar、IEEE Xplore、ACM Digital Libraryからソースされた30のピアレビュー記事を調べている。
その結果、複数のモデルが最先端の性能を達成し、高い忠実度、意味的整合性、時間的コヒーレントな音効果をタスク全体で生み出すことができた。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Sound effects play a crucial role in conveying actions, events, and environmental cues across digital applications, often requiring a high degree of variation and contextual adaptability. Artificial intelligence (AI)-driven audio generative models are rapidly growing in popularity and have the potential to transform the way sound is synthesized and used across various applications. In response to this growing momentum, this chapter reviews and analyzes recent AI-based generative models for sound effect synthesis, with a focus on how different input modalities (text, visual, audio, and multimodal) affect the quality, controllability, and contextual relevance of the generated audio. It examines 30 peer-reviewed articles sourced from Google Scholar, IEEE Xplore, and the ACM Digital Library, exploring the evolution of AI generative models over the past five years. The results show that multiple models achieved state-of-the-art performance, producing high-fidelity, semantically aligned, and increasingly temporally coherent sound effects across tasks. However, despite these advances, the review identifies persistent challenges, including limitations in temporal synchronization for complex multi-event scenarios, gaps between objective metrics and human perception, and trade-offs between controllability and generative diversity. Overall, the chapter highlights that AI-driven sound effect generation is progressing toward more adaptive, scalable, and context-aware systems, offering significant implications for future sound design workflows and interactive media applications.
- Abstract（参考訳）: 音響効果は、デジタルアプリケーション全体にわたる行動、出来事、環境の手がかりを伝える上で重要な役割を担い、しばしば高いレベルの変動と文脈適応性を必要とする。
人工知能(AI)による音声生成モデルは急速に普及しており、様々なアプリケーションで音声の合成や使用方法を変える可能性がある。
この勢いの高まりに応じて、この章は、音声効果合成のための最近のAIベースの生成モデルをレビューし、分析し、異なる入力モダリティ(テキスト、ビジュアル、オーディオ、マルチモーダル)が生成されたオーディオの品質、制御可能性、文脈的関連性にどのように影響するかに焦点を当てる。
Google Scholar、IEEE Xplore、ACM Digital Libraryから提供された30のピアレビュー記事を調べ、過去5年間のAI生成モデルの進化について調査している。
その結果、複数のモデルが最先端の性能を達成し、高い忠実度、意味的整合性、時間的コヒーレントな音効果をタスク全体で生み出すことができた。
しかし、これらの進歩にもかかわらず、複雑なマルチイベントシナリオの時間的同期の制限、客観的なメトリクスと人間の知覚のギャップ、制御可能性と生成的多様性のトレードオフなど、永続的な課題を特定する。
全体として、この章はAI駆動のサウンドエフェクト生成が、より適応的でスケーラブルでコンテキスト対応のシステムへと進展していることを強調しており、将来のサウンドデザインワークフローやインタラクティブメディアアプリケーションに重大な影響をもたらしている。
関連論文リスト
- ImmersiveTTS: Environment-Aware Text-to-Speech with Multimodal Diffusion Transformer and Domain-Specific Representation Alignment [52.31881685769569]
ImmersiveTTSは環境コンテキストにシームレスに統合された自然な音声を生成する環境対応テキスト音声合成(TTS)モデルである。
本モデルは,マルチモーダル拡散変換器上に構築され,テキスト条件付き環境コンテキストでテキスト対応音声を融合する。
実験結果から,ImmersiveTTSは既存手法よりも自然性,知性,音声の忠実度が高いことがわかった。
論文 参考訳（メタデータ） (2026-05-29T07:58:54Z) - Audio-Visual Intelligence in Large Foundation Models [123.78167820053545]
オーディオ・ビジュアル・インテリジェンス(AVI)は人工知能の中心的フロンティアとして登場した。
急激な進歩にもかかわらず、文学は断片化され、多種多様なタスク、一貫性のない、異質な評価慣行にまたがっている。
この調査は、大規模な基盤モデルのレンズを通して、AVIに関する最初の包括的なレビューを提供する。
論文 参考訳（メタデータ） (2026-05-05T17:59:16Z) - FusAD: Time-Frequency Fusion with Adaptive Denoising for General Time Series Analysis [92.23551599659186]
時系列分析は、金融、医療、産業、気象学などの分野において重要な役割を果たす。
FusADは多様な時系列タスク用に設計された統合分析フレームワークである。
論文 参考訳（メタデータ） (2025-12-16T04:34:27Z) - Auto-Regressive vs Flow-Matching: a Comparative Study of Modeling Paradigms for Text-to-Music Generation [36.11407262818182]
最先端システム(SOTA)は、トレーニングデータセット、モデリングパラダイム、アーキテクチャ選択など、多くの面で大きく異なる。
本研究はモデリングパラダイムにのみ焦点をあてる。
自動回帰デコーディングと条件付きフローマッチングという,最も一般的な2つのモデリングパラダイムを比較した。
論文 参考訳（メタデータ） (2025-06-10T08:37:45Z) - AVadCLIP: Audio-Visual Collaboration for Robust Video Anomaly Detection [57.649223695021114]
本稿では,ロバストなビデオ異常検出に音声と視覚の協調を利用する,弱教師付きフレームワークを提案する。
本フレームワークは,複数のベンチマークにおいて優れた性能を示し,オーディオ統合により異常検出精度が大幅に向上する。
論文 参考訳（メタデータ） (2025-04-06T13:59:16Z) - Comparative Analysis of Audio Feature Extraction for Real-Time Talking Portrait Synthesis [3.210706100833053]
我々は、従来のAFEモデルをOpen AIのWhisperに置き換える、完全に統合されたシステムを提案し、実装する。
我々はWhisperが処理を高速化するだけでなく、レンダリング品質の特定の側面を改善し、より現実的で応答性の高い対話型対話を実現することを示した。
論文 参考訳（メタデータ） (2024-11-20T11:18:05Z) - Can Large Audio-Language Models Truly Hear? Tackling Hallucinations with Multi-Task Assessment and Stepwise Audio Reasoning [55.2480439325792]
大規模な音声言語モデル (LALM) は、音声および音声情報の理解と推論に優れた能力を示している。
これらのモデルは、既存の音のイベントを幻覚させ、音のイベントの順序を誤認し、誤って音源を帰属させるなど、依然として課題に直面している。
論文 参考訳（メタデータ） (2024-10-21T15:55:27Z) - Where are we in audio deepfake detection? A systematic analysis over generative and detection models [59.09338266364506]
SONARはAI-Audio Detection FrameworkとBenchmarkの合成である。
最先端のAI合成聴覚コンテンツを識別するための総合的な評価を提供する。
従来のモデルベース検出システムと基礎モデルベース検出システムの両方で、AIオーディオ検出を均一にベンチマークする最初のフレームワークである。
論文 参考訳（メタデータ） (2024-10-06T01:03:42Z) - Unveiling and Mitigating Bias in Audio Visual Segmentation [9.427676046134374]
コミュニティ研究者は、物体のマスクの音質を改善するために、様々な高度なオーディオ視覚セグメンテーションモデルを開発した。
これらのモデルによって作られたマスクは、最初は可塑性に見えるかもしれないが、しばしば誤った接地論理を持つ異常を示す。
我々はこれを、複雑なオーディオ・視覚的グラウンドよりも単純な学習信号として、現実世界固有の嗜好と分布に帰着する。
論文 参考訳（メタデータ） (2024-07-23T16:55:04Z) - CMMD: Contrastive Multi-Modal Diffusion for Video-Audio Conditional Modeling [21.380988939240844]
ビデオとオーディオの双方向条件生成に適したマルチモーダル拡散モデルを提案する。
本稿では,視覚と聴覚の同期を改善するために,協調学習損失を提案する。
論文 参考訳（メタデータ） (2023-12-08T23:55:19Z) - A Comprehensive Multi-scale Approach for Speech and Dynamics Synchrony in Talking Head Generation [16.033455552126348]
マルチスケール音声-視覚同期損失とマルチスケール自動回帰GANを提案する。
マルチモーダル入力ピラミッド上でシンセサイザーモデルのスタックをトレーニングし、これらのモデルをマルチスケールジェネレータネットワークのガイダンスとして利用する。
実験により、頭部運動の動的品質の最先端よりも顕著な改善が示された。
論文 参考訳（メタデータ） (2023-07-04T08:29:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。