論文の概要: SelectTSL: Prompt-Guided Selective Target Sound Localization in Complex Scenarios
- arxiv url: http://arxiv.org/abs/2607.02343v1
- Date: Thu, 02 Jul 2026 15:49:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.908278
- Title: SelectTSL: Prompt-Guided Selective Target Sound Localization in Complex Scenarios
- Title（参考訳）: SelectTSL:複合シナリオにおけるPrompt-Guided Selective Target Sound Localization
- Abstract要約: マルチソース音響シーンにおけるユーザ指定対象のみをローカライズするエンド・ツー・エンドアーキテクチャを提案する。
具体的には, Prompt-Guided Selective Attention Module を用いたターゲット認識型選択的ローカライゼーション戦略を設計する。
この結合設計は、選択的な位置決めのためのユーザ指定されたターゲット空間的手がかりに効果的に焦点を合わせ、また、ターゲット源の時間変化を扱う。
- 参考スコア（独自算出の注目度）: 95.0451976922633
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Humans can selectively attend to a target sound and estimate its direction in complex scenarios, whereas such selective localization remains challenging for current deep learning-based systems. Sound source localization (SSL) has achieved remarkable success with deep learning, yet most methods localize all active sources without selectivity. Conversely, target sound extraction (TSE) extracts sources using multimodal prompts but typically fails to preserve the multichannel spatial information required for accurate localization. To bridge this gap, we formulate the task of prompt-guided selective target sound localization and propose SelectTSL, an end-to-end architecture that localizes only the user-specified target in multi-source acoustic scenes. Specifically, we design a target-aware selective localization strategy that employs a Prompt-Guided Selective Attention Module (PGSA) to generate prompt-informed embeddings. These embeddings guide an inter-channel phase difference (IPD) enhancer to refine raw phase cues, fusing with target magnitudes to jointly estimate direction of arrival (DoA) and target-source cardinality, i.e., the number of target sound sources. This coupled design effectively focuses on the user-specified target spatial cues for selective localization and also handles time-varying numbers of target sources. Extensive experiments on both synthetic data and real-world recordings demonstrate that our proposed method consistently outperforms other baselines and exhibits robust generalization to real acoustic environments.
- Abstract（参考訳）: 人間は対象の音に選択的に参加し、複雑なシナリオで方向を推定できるが、そのような選択的な位置決めは現在のディープラーニングベースのシステムでは難しい。
サウンドソースのローカライゼーション(SSL)はディープラーニングで顕著に成功したが、ほとんどのメソッドは選択性なしですべてのアクティブソースをローカライズしている。
逆に、ターゲット音抽出(TSE)は、マルチモーダルプロンプトを用いてソースを抽出するが、通常は正確な位置決めに必要なマルチチャンネル空間情報を保存できない。
このギャップを埋めるため, ユーザ特定ターゲットのみをマルチソース音響シーンでローカライズするエンド・ツー・エンドアーキテクチャであるSelectTSLを提案する。
具体的には,Prompt-Guided Selective Attention Module (PGSA) を用いて,プロンプトインフォームド埋め込みを生成するターゲットアウェア選択型ローカライゼーション戦略を設計する。
これらの埋め込みは、チャネル間位相差(IPD)エンハンサーを誘導して生位相を洗練させ、目標の大きさと融合して到達方向(DoA)と目標音源の濃度(ターゲット音源数)を推定する。
この結合設計は、選択的な位置決めのためのユーザ指定されたターゲット空間的手がかりに効果的に焦点を合わせ、また、ターゲット源の時間変化を扱う。
合成データと実世界記録の双方に対する大規模な実験により,提案手法が他のベースラインを一貫して上回り,実音響環境へのロバストな一般化を示すことが示された。
関連論文リスト
- ActiveScope: Actively Seeking and Correcting Perception for MLLMs [73.84325380140547]
MLLM(Multimodal Large Language Models)は、高解像度画像における微細な認識に苦戦している。
本研究では,能動的に知覚を探索し,修正することにより,MLLMを強化したトレーニングフリーフレームワークであるActiveScopeを提案する。
論文 参考訳（メタデータ） (2026-06-23T08:17:15Z) - Spatio-Temporal Audio Language Modeling for Dynamic Sound Sources [57.68713138159972]
本稿では,ソーストラジェクトリとともにイベントセマンティクスを学習する時間分解型オーディオエンコーダを提案する。
実験により、この表現は意味的局所化を改善し、空間的および局所化指向のトレードオフよりも強い推論をもたらすことが示された。
論文 参考訳（メタデータ） (2026-06-12T05:58:31Z) - Generate, Analyze, and Refine: Training-Free Sound Source Localization via MLLM Meta-Reasoning [24.266987119038134]
音源定位タスクは、音響と視覚の相関を利用して、音の放射する物体の位置を特定することを目的としている。
既存のSSLメソッドの多くは、対照的な学習ベースの特徴マッチングに依存しているが、明確な推論と検証は欠如している。
マルチモーダル大規模言語モデルの本質的な推論機能を利用する訓練不要なSSLフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-08T08:40:33Z) - Shared Representation Learning for Reference-Guided Targeted Sound Detection [12.339689044414401]
共有表現空間内で参照音声と混合音声の両方を処理する統一エンコーダアーキテクチャを提案する。
我々は、セグメントレベルF1スコア83.15%のターゲット音検出のための新しい最先端のベンチマークを構築した。
論文 参考訳（メタデータ） (2026-03-17T18:05:21Z) - Target-Oriented Single Domain Generalization [27.182037614828968]
単一ソースドメインでトレーニングされたディープモデルは、分散シフトの下で破滅的に失敗することが多い。
本稿では,対象ドメインのテキスト記述を活用する新しい問題設定である,ターゲット指向単一ドメイン一般化を提案する。
私たちは、ターゲットセマンティクスをソース機能に注入するモジュールであるSpectral TARget Alignment(STAR)を紹介します。
論文 参考訳（メタデータ） (2025-08-30T04:21:48Z) - GlocalCLIP: Object-agnostic Global-Local Prompt Learning for Zero-shot Anomaly Detection [5.530212768657544]
グローバルプロンプトとローカルプロンプトの相補的学習を改善するために,局所的コントラスト学習を導入する。
ZSADにおけるGlocalCLIPの一般化性能を実世界の15のデータセットで実証した。
論文 参考訳（メタデータ） (2024-11-09T05:22:13Z) - Learning Where to Look: Self-supervised Viewpoint Selection for Active Localization using Geometrical Information [68.10033984296247]
本稿では, 位置決めの精度を高めるために, 視点選択の重要性を強調し, アクティブな位置決め領域について検討する。
私たちのコントリビューションは、リアルタイム操作用に設計されたシンプルなアーキテクチャ、自己教師付きデータトレーニング方法、および実世界のロボティクスアプリケーションに適した計画フレームワークにマップを一貫して統合する能力による、データ駆動型アプローチの使用に関するものです。
論文 参考訳（メタデータ） (2024-07-22T12:32:09Z) - Learning to Visually Localize Sound Sources from Mixtures without Prior Source Knowledge [14.801564966406486]
マルチサウンド音源定位タスクの目標は、混合音からの音源を個別にローカライズすることである。
そこで本研究では,音源数に関する事前知識を必要とせずに,複数音源の局所化を行う手法を提案する。
論文 参考訳（メタデータ） (2024-03-26T06:27:50Z) - Position tracking of a varying number of sound sources with sliding
permutation invariant training [19.873949136858354]
深層学習音源定位モデルのための新しいトレーニング戦略を提案する。
これは推定位置と基準位置の最適関係の平均2乗誤差に基づいている。
フレームワイドのローカライズ精度を損なうことなく、アイデンティティスイッチを最小化する。
論文 参考訳（メタデータ） (2022-10-26T07:54:47Z) - PILOT: Introducing Transformers for Probabilistic Sound Event
Localization [107.78964411642401]
本稿では,受信したマルチチャンネル音声信号の時間的依存性を自己アテンション機構によってキャプチャする,トランスフォーマーに基づく新しい音声イベント定位フレームワークを提案する。
このフレームワークは, 公開されている3つの音声イベントローカライズデータセットを用いて評価し, 局所化誤差と事象検出精度の点で最先端の手法と比較した。
論文 参考訳（メタデータ） (2021-06-07T18:29:19Z) - Progressive Localization Networks for Language-based Moment Localization [56.54450664871467]
本稿では,言語に基づくモーメントローカライゼーションの課題に焦点を当てる。
既存のほとんどの手法は、まず時間長の候補モーメントをサンプリングし、そのモーメントを決定するために与えられたクエリとマッチングする。
本稿では,ターゲットモーメントを粗い方法で段階的に局所化する多段階プログレッシブ・ローカライゼーション・ネットワーク(PLN)を提案する。
論文 参考訳（メタデータ） (2021-02-02T03:45:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。