論文の概要: Multichannel Audio Quality Assessment: Extending Pretrained Perceptual Models to Spatial Audio
- arxiv url: http://arxiv.org/abs/2609.37116v1
- Date: Tue, 29 Sep 2026 09:27:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.381746
- Title: Multichannel Audio Quality Assessment: Extending Pretrained Perceptual Models to Spatial Audio
- Title（参考訳）: マルチチャンネル音質評価 : 事前学習された知覚モデルから空間音響への拡張
- Abstract要約: 既存の知覚モデルは、しばしば制限されたチャンネル構成のために訓練され、より高いチャンネル数オーディオに直接適用できない。
空間群表現の潜在レベルアグリゲーションとFGAt(Feature-Band Group Attention)という2つの学習手法を提案する。
FGAttは5.1チャンネルのテストセットで最強のオーバーオール性能を達成した。
- 参考スコア（独自算出の注目度）: 4.617709589918516
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurate perceptual quality assessment is essential for evaluating and optimizing spatial audio, where perceived quality depends on both signal fidelity and inter-channel spatial relationships. However, subjective evaluation is costly, while existing perceptual models are often trained for limited channel configurations and cannot be directly applied to higher-channel-count audio. This raises the question: how can pretrained perceptual knowledge be effectively reused for multichannel spatial audio? Using 5.1-channel audio, we study four levels of multichannel integration: signal, prediction, latent, and feature and propose two learned approaches: latent-level aggregation of spatial-group representations and the feature-level Feature-Band Group Attention (FGAtt), which adaptively fuses spatial groups at the feature level before perceptual processing. Across five 5.1-channel test sets, FGAtt achieves the strongest over- all performance, demonstrating the effectiveness of feature-level adaptation for reusing pretrained perceptual knowledge
- Abstract（参考訳）: 空間音響の評価と最適化には正確な知覚品質評価が不可欠であり、知覚品質は信号の忠実度と空間空間間関係の両方に依存する。
しかし、主観評価はコストがかかるが、既存の知覚モデルは制限されたチャンネル構成のために訓練されることが多く、より高いチャンネル数オーディオに直接適用できない。
これは、事前学習された知覚知識をマルチチャンネル空間オーディオに効果的に再利用するにはどうすればいいのかという疑問を提起する。
我々は,5.1チャンネル音声を用いて,信号,予測,潜時,特徴の4段階の統合について検討し,空間群表現の潜在レベルアグリゲーションと特徴レベル特徴群アグリゲーション(FGAtt)の2つの学習手法を提案する。
5つの5.1チャンネルテストセットにおいて、FGAttは最強のオーバーオール性能を実現し、事前訓練された知覚知識を再利用するための特徴レベル適応の有効性を実証した。
関連論文リスト
- Listen, See and Track: Spatio-Temporal Audio-Visual Sound Event Reasoning for Omni-Modal Language Models [41.044279131530885]
本研究では、パノラマビデオと、移動音源の同期一階Ambisonics(FOA)オーディオを組み合わせて構築したベンチマークを示す。
40Kの動画と400Kの質問応答ペアを4つの能力レベルに分類し、音量認識、到着方向、音源距離、動きの軌跡、時間的に接地された音声視覚的推論をカバーしている。
本ベンチマークで提案するST-Omni-R1は、パノラマ的な視覚的文脈でFOAのセマンティック表現と軌道表現を実現し、漸進的なカリキュラム学習と推論木強化学習を通じて学習する。
論文 参考訳（メタデータ） (2026-08-10T11:06:28Z) - PACE: Pretrained Audio Continual Learning [27.605574463021693]
事前学習モデル(PTM)を用いた音声連続学習(CL)のための最初の体系的ベンチマークを提案する。
さらに、スペクトルに基づく境界認識摂動を導入し、表現の重なりを緩和し、安定性を向上させる。
6つの多様なオーディオCLベンチマークの実験は、PACEが最先端のベースラインを大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2026-02-03T10:28:35Z) - Representation-Regularized Convolutional Audio Transformer for Audio Understanding [53.092757178419355]
スクラッチからのブートストラップ表現は計算に高価で、しばしば収束するために広範囲のトレーニングを必要とします。
本稿では,これらの課題に対処するための統合フレームワークであるConvolutional Audio Transformer (CAT)を提案する。
論文 参考訳（メタデータ） (2026-01-29T12:16:19Z) - Discriminating real and synthetic super-resolved audio samples using embedding-based classifiers [9.870143085379146]
GAN(Generative Adversarial Network)と拡散モデルは最近,オーディオ超解像における最先端の性能を達成した。
ここでは、様々な埋め込み空間における実・超解音声の分離性について分析する。
論文 参考訳（メタデータ） (2026-01-06T22:10:45Z) - Learning Robust Spatial Representations from Binaural Audio through Feature Distillation [64.36563387033921]
データラベルを必要とせずに音声の頑健な空間表現を学習するために,特徴蒸留に基づく事前学習ステージの利用について検討する。
実験により, 事前学習したモデルでは, 騒音および残響環境における性能が向上していることが示された。
論文 参考訳（メタデータ） (2025-08-28T15:43:15Z) - AudioJudge: Understanding What Works in Large Audio Model Based Speech Evaluation [55.607230723223346]
本研究は,Large Audio Model (LAM) をAudioJudgeの裁判官として体系的に研究し,両課題に対処する統一評価フレームワークを提供することができるかどうかを検討する。
本稿では、発音、発話速度、話者識別、音声品質、自動ベンチマークのためのシステムレベルの人間の嗜好シミュレーションなど、音声特徴検出タスクにまたがるAudioJudgeについて検討する。
本稿では,多視点アンサンブルAudioJudgeを導入し,音声評価を語彙内容,音声品質,パラ言語特徴の専門判断者に分解し,人間の嗜好と最大0.91のスピアマン相関を達成させる手法を提案する。
論文 参考訳（メタデータ） (2025-07-17T00:39:18Z) - End-to-end multi-channel speaker extraction and binaural speech synthesis [26.373624846079686]
音声明瞭度と空間的音声浸漬は,遠隔会議体験を高める上で最も重要な2つの要因である。
本稿では,マルチチャネルノイズと残響信号を直接,クリーンで空間化された音声にマッピングする能力を持つエンドツーエンドのディープラーニングフレームワークを提案する。
本研究では,空間レンダリングの精度向上を目的とした,新たな等級重み付き音間レベル差損失関数を提案する。
論文 参考訳（メタデータ） (2024-10-08T06:55:35Z) - AdVerb: Visually Guided Audio Dereverberation [49.958724234969445]
本稿では,新しいオーディオ・ビジュアル・デバーベレーション・フレームワークであるAdVerbを紹介する。
残響音に加えて視覚的手がかりを用いてクリーンオーディオを推定する。
論文 参考訳（メタデータ） (2023-08-23T18:20:59Z) - Audio-visual multi-channel speech separation, dereverberation and
recognition [70.34433820322323]
本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。
音声を用いた場合の視覚的モダリティの利点は、2つのニューラルデバーベレーションアプローチでのみ示される。
LRS2データセットを用いて行った実験から,提案手法がベースラインよりも優れていたことが示唆された。
論文 参考訳（メタデータ） (2022-04-05T04:16:03Z) - Data Fusion for Audiovisual Speaker Localization: Extending Dynamic
Stream Weights to the Spatial Domain [103.3388198420822]
複数の話者の位置を推定することは、自動音声認識や話者ダイアリゼーションなどのタスクに役立ちます。
本稿では,個別の動的ストリーム重みを特定領域に割り当てることにより,話者定位のための新しい音声視覚データ融合フレームワークを提案する。
オーディオ・ヴィジュアル・レコードを用いた性能評価は,全てのベースラインモデルより優れた融合手法により,有望な結果をもたらす。
論文 参考訳（メタデータ） (2021-02-23T09:59:31Z) - HiFi-GAN: High-Fidelity Denoising and Dereverberation Based on Speech
Deep Features in Adversarial Networks [29.821666380496637]
HiFi-GANは録音された音声をスタジオで録音されたかのように音に変換する。
強調音声の知覚的品質を改善するために、識別器の深い特徴マッチング損失に依存している。
客観的および主観的な実験において、最先端のベースライン法を著しく上回る。
論文 参考訳（メタデータ） (2020-06-10T07:24:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。