論文の概要: From Sound to Sense: An Anatomy of Semantic Supervision for Speech-Driven Visual Grounding in Remote Sensing Imagery
- arxiv url: http://arxiv.org/abs/2610.16364v1
- Date: Mon, 12 Oct 2026 08:18:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-19 06:14:33.144018
- Title: From Sound to Sense: An Anatomy of Semantic Supervision for Speech-Driven Visual Grounding in Remote Sensing Imagery
- Title（参考訳）: 音からセンスへ:リモートセンシング画像における音声駆動型視覚接地のための意味的スーパービジョンの解剖
- Abstract要約: SemEchoは凍結したWhisper音声経路をVLTグラウンドホストに移植し、音声とテキストが1つのデコーダを共有する。
本装置では, 線形意味プローブを用いて3つの意味注入チャネル(機能ミミリー蒸留, 単語レベルの監督, および2段階のASR事前学習)を識別する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Speech-driven visual grounding in remote sensing (RSVG) removes the typing bottleneck of text-based interaction and is intended to preserve prosodic intent, enabling hands-free target acquisition in time-critical missions. The direct-audio paradigm, mapping raw speech straight to a bounding box and bypassing automatic speech recognition (ASR), was recently adopted by RSTalker, but what such grounders actually learn about language remains unmeasured. SemEcho grafts a frozen Whisper speech pathway onto a VLTVG grounding host so that speech and text share one decoder, making the paired text, free by construction since speech corpora in this task are synthesized from DIOR-RSVG expressions, a training-time teacher and a fair, same-host text upper bound. On this instrument we dissect three semantic injection channels (feature-mimicry distillation, word-level CTC supervision, and two-stage ASR pretraining) with linear semantic probes, and release Audio-DIOR-R (80,973 training clips; 10 timbres x K=3; Qwen3-TTS synthesis with online sox noise lambda in [0, 0.4]) and Audio-DIOR-Comp, a re-split holding out 17 attribute-category combinations under a 2x2 acoustic-semantic protocol. Our anatomy yields four findings. (i) Whether direct alignment beats a domain-trained ASR cascade is decided by recognizer quality: against a weak in-domain cascade (CTC 0.53) direct wins by 9.0 Acc@0.5 points with transcription errors concentrated on spatial-relation words, but a strong in-domain cascade (CTC 0.029) reaches the text upper bound (80.8 vs. 81.0) and beats even the strongest direct model by 8.8 points; the anti-ASR premise holds only against weak recognizers.
- Abstract（参考訳）: リモートセンシング(RSVG)における音声駆動視覚接地は、テキストベースのインタラクションのタイピングボトルネックを排除し、韻律的意図を維持することを目的としており、時間クリティカルなミッションにおいてハンズフリーなターゲット獲得を可能にする。
近年,RSTalker では,生音声をバウンディングボックスに直接マッピングし,自動音声認識(ASR)をバイパスするダイレクトオーディオパラダイムが採用されている。
SemEchoは、凍結したWhisper音声経路をVLTVGグラウンドホストに移植し、音声とテキストが1つのデコーダを共有する。
本装置では, 線形意味論的プローブを用いた3つの意味的注入チャネル (fature-mimicry distillation, word-level CTC supervision, two-stage ASR pretraining) を識別し, 音声-DIOR-R (80,973 のトレーニングクリップ, 10 timbres x K=3, Qwen3-TTS のオンラインソックスノイズラムダによる合成 [0, 0.4] と, 2x2 の音響-セマンティックプロトコルの下で17の属性-カテゴリの組み合わせを再分割したAudio-DIOR-Comp を解放する。
私たちの解剖学は4つの結果をもたらす。
一 ドメイン訓練されたASRカスケードに直列するか否かは、認識器の品質により決定される。 弱いドメイン内カスケード(CTC 0.53)に対して 9.0 Acc@0.5 の直接勝利を、空間関係語に集中した転写誤差で行うが、強いドメイン内カスケード(CTC 0.029)はテキスト上界(80.8 vs. 81.0)に到達し、8.8ポイントで最強の直接モデルさえ打ち負かす。
関連論文リスト
- Arti-JEPA: Adapting Video World Model to Real-Time MRI of the Vocal Tract for Speech-Production Analysis [37.674716609612325]
リアルタイムMRI (Real-time MRI) は音声中の声道全体の動態を捉える。
本稿では,声道rtMRIをモデル化するための組込み予測アーキテクチャであるArti-JEPAを紹介する。
論文 参考訳（メタデータ） (2026-09-09T05:58:40Z) - How to Leverage Synthetic Speech for LLM-Based ASR Systems? [15.386863365540407]
銀行や医療といった規制された領域では、実際のスピーチは収集と維持に費用がかかる。
しかし、合成データと実際のデータの間の永続的な分散ギャップは、真の記録をどこまで置き換えるかを制限している。
室内インパルス応答 (RIR) を伴う合成音声は, 実録音の音響的不規則性を再現することにより, ギャップを狭めることを示す。
論文 参考訳（メタデータ） (2026-06-27T17:57:27Z) - EmotionAI: A Privacy-Preserving Computational Intelligence Pipeline for Speech-Emotion-Grounded Conversational Analysis [1.5803208833562954]
EmotionAIは完全にローカルな計算インテリジェンスパイプラインで、音声認識と生成的推論を結合する。
話者ダイアリゼーション、Whisper Automatic Speech Recognition (ASR)、およびwav2vec2感情分類器は、セグメントごとの感情的証拠を生成する。
このコントリビューションは最先端のSERではなく、不完全な感情的証拠を監査可能なプライバシー保護の基盤となる会話分析に統合したものだ。
論文 参考訳（メタデータ） (2026-06-22T20:45:49Z) - AISHELL6-whisper: A Chinese Mandarin Audio-visual Whisper Speech Dataset with Speech Recognition Baselines [27.195821342473877]
AISHELL6-Whisperは,大規模オープンソースの音声-視覚的ささやき音声データセットである。
本稿ではWhisper-Flamingoフレームワークに基づく音声視覚音声認識(AVSR)ベースラインを提案する。
本モデルでは, データセットのテストセットにおいて, ささやき音声の文字誤り率(CER)を4.13%, 正常音声の1.11%とする。
論文 参考訳（メタデータ） (2025-09-28T12:14:06Z) - Learning Speech Representation From Contrastive Token-Acoustic
Pretraining [57.08426714676043]
本研究では、2つのエンコーダを用いて音素と音声を複数モーダル空間に導入するCTAP(Contrastive Token-Acoustic Pretraining)を提案する。
提案したCTAPモデルは、210k音声と音素ペアで訓練され、最小教師付きTS、VC、ASRを実現する。
論文 参考訳（メタデータ） (2023-09-01T12:35:43Z) - Exploiting Cross-domain And Cross-Lingual Ultrasound Tongue Imaging
Features For Elderly And Dysarthric Speech Recognition [55.25565305101314]
調音機能は音響信号歪みに不変であり、音声認識システムにうまく組み込まれている。
本稿では,A2Aモデルにおける24時間TaLコーパスの並列音声・超音波舌画像(UTI)データを利用したクロスドメインおよびクロスランガルA2Aインバージョン手法を提案する。
生成した調音機能を組み込んだ3つのタスクの実験は、ベースラインのTDNNとコンフォーマーASRシステムより一貫して優れていた。
論文 参考訳（メタデータ） (2022-06-15T07:20:28Z) - Exploiting Cross Domain Acoustic-to-articulatory Inverted Features For
Disordered Speech Recognition [57.15942628305797]
調音機能は音響信号歪みに不変であり、正常音声の自動音声認識システムにうまく組み込まれている。
本稿では,15時間 TORGO コーパスの並列音響・調音データをモデルトレーニングに用いるクロスドメイン音響・調音(A2A)インバージョン手法を提案する。
クロスドメインは102.7時間のUASpeechコーパスに適応し、調音的特徴を生産する。
論文 参考訳（メタデータ） (2022-03-19T08:47:18Z) - Wav2vec-Switch: Contrastive Learning from Original-noisy Speech Pairs
for Robust Speech Recognition [52.71604809100364]
音声の文脈化表現に雑音のロバスト性をエンコードするwav2vec-Switchを提案する。
具体的には、オリジナルノイズの多い音声ペアを同時にwav2vec 2.0ネットワークに供給する。
既存のコントラスト学習タスクに加えて、原音声と雑音音声の量子化表現を追加の予測対象に切り替える。
論文 参考訳（メタデータ） (2021-10-11T00:08:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。