論文の概要: AVSD-Scenes: A Dataset for Audio-Visual Description of Urban Scenes

• arxiv url: http://arxiv.org/abs/2610.01861v1
• Date: Thu, 01 Oct 2026 15:24:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.222008
• Title: AVSD-Scenes: A Dataset for Audio-Visual Description of Urban Scenes
• Title（参考訳）: AVSD-Scenes: 都市シーンのオーディオ映像記述のためのデータセット
• Abstract要約: AVSD-Scenesは,都市環境のためのオーディオ映像記述データセットである。 データセットには、TAU Urban Audio-Visual Scenesデータセットから生成された12,291のオーディオ視覚シーン記述が含まれている。
• 参考スコア（独自算出の注目度）: 17.415665819550473
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Natural language descriptions can provide rich semantic representations of audio-visual urban scenes, yet datasets that jointly describe both auditory and visual information remain limited. In this paper, we introduce AVSD-Scenes, a paired audio-visual scene description dataset for urban environments. The dataset contains 12,291 audio-visual scene descriptions generated from the TAU Urban Audio-Visual Scenes dataset. To construct the dataset, we first generate audio- and visual-based descriptions using Qwen2-Audio-7B and Qwen2.5-VL-7B, respectively. These modality-specific descriptions are then combined using large language models, namely Qwen3-14B, Mistral-Small-3.2-24B-Instruct-2506, and Gemma-3-27B-it, to produce multimodal descriptions that capture complementary information from both modalities. We benchmark AVSD-Scenes using semantic alignment, cross-modal retrieval, scene classification, LLM-as-a-judge evaluation, and human subjective assessment. Results show that multimodal descriptions improve semantic alignment and cross-modal retrieval performance compared with modality-specific descriptions while preserving strong scene-discriminative information. The generated descriptions achieve up to 94.5% accuracy in urban scene classification, while combining audio, visual, and description embeddings further improves accuracy to 95.4%. Furthermore, the descriptions remain highly scene-discriminative even when scene labels are removed from the prompting instructions, indicating that they capture semantic information derived from the audio-visual content rather than merely reflecting label information.
• Abstract（参考訳）: 自然言語の記述は、音声と視覚の都会のシーンの豊かな意味表現を提供することができるが、聴覚情報と視覚情報の両方を共同で記述するデータセットは限られている。 本稿では,都市環境のためのオーディオ映像記述データセットであるAVSD-Scenesを紹介する。 データセットには、TAU Urban Audio-Visual Scenesデータセットから生成された12,291のオーディオ視覚シーン記述が含まれている。 このデータセットを構築するために,まずQwen2-Audio-7BとQwen2.5-VL-7Bを用いて音声と視覚による記述を生成する。 これらのモダリティ固有の記述は、大きな言語モデル(Qwen3-14B、Mistral-Small-3.2-24B-Instruct-2506、Gemma-3-27B-it)と組み合わせて、両方のモダリティから補完的な情報を取得するマルチモーダル記述を生成する。 セマンティックアライメント,クロスモーダル検索,シーン分類,LCM-as-a-judge評価,人間主観評価を用いて,AVSD-Scenesをベンチマークした。 その結果,マルチモーダルな記述は,強いシーン識別情報を保持しながら,モダリティ固有の記述と比較して意味的アライメントとクロスモーダルな検索性能を向上させることがわかった。 生成された記述は、都市景観の分類において94.5%の精度を達成し、オーディオ、ビジュアル、および記述の埋め込みを組み合わせることで、さらに95.4%の精度が向上する。 さらに、シーンラベルがプロンプト命令から削除された場合でも、その記述は、単にラベル情報を反映するのではなく、音声・視覚コンテンツから派生した意味情報を捉えていることを示す。

関連論文リスト

• RA-SSU: Towards Fine-Grained Audio-Visual Learning with Region-Aware Sound Source Understanding [43.03351086257886]
  Region-Aware Sound Source Understanding (RA-SSU) は、地域対応、フレームレベル、高品質な音源理解を実現することを目的としている。 この目標を達成するために、我々は、2つの対応するデータセット、すなわち、細粒度音楽(f-Music)と細粒度ライフセンテ(f-Lifescene)を革新的に構築する。 f-Lifesceneデータセットには61種類のサンプルが6,156個含まれている。
  論文  参考訳（メタデータ） (2026-03-10T15:37:55Z)
• Text-Audio-Visual-conditioned Diffusion Model for Video Saliency Prediction [17.85550556489256]
  本稿では,ビデオ・サリエンシ予測のためのテキスト・オーディオ・ビジュアル・コンディショニング・ディフュージョン・モデルであるTAVDiffを提案する。 テキストを効果的に活用するために、ビデオフレームのテキスト記述を生成するために、大規模なマルチモーダルモデルが使用される。 聴覚のモダリティに関しては、モデルが音によって示される健全な領域に焦点を合わせるための別の条件情報として使用される。
  論文  参考訳（メタデータ） (2025-04-19T11:30:54Z)
• Benchmarking Large Vision-Language Models via Directed Scene Graph for Comprehensive Image Captioning [77.2852342808769]
  本稿では、シーングラフビューから視覚的コンテキストを評価するために、CompreCapと呼ばれる詳細なキャプションベンチマークを導入する。 画像は、まず、共通オブジェクトの語彙に従って意味的に意味のある領域に手動で分割し、また、これらすべての領域内のオブジェクトの属性を識別する。 そして、これらのオブジェクトの方向関係ラベルに注釈を付け、画像のリッチな構成情報を十分にエンコードできる方向のシーングラフを構成する。
  論文  参考訳（メタデータ） (2024-12-11T18:37:42Z)
• Fine-grained Audible Video Description [61.81122862375985]
  FAVDBench(きめのきめ細かな映像記述ベンチマーク)を構築した。 各ビデオクリップについて、まずビデオの1文要約を行い、次に、視覚的詳細を記述した4～6文と、最後に1～2つの音声関連記述を示す。 細かなビデオ記述を利用することで、キャプションよりも複雑なビデオが作成できることを実証する。
  論文  参考訳（メタデータ） (2023-03-27T22:03:48Z)
• Epic-Sounds: A Large-scale Dataset of Actions That Sound [64.24297230981168]
  EPIC-SOUNDSには78.4kの分類された音声イベントとアクションがあり、44のクラスと39.2kの非分類セグメントに分散している。 我々は、オーディオのみの手法とオーディオ視覚的手法の両方において、データセット上で最先端の音声認識および検出モデルを訓練し、評価する。
  論文  参考訳（メタデータ） (2023-02-01T18:19:37Z)
• Spoken Moments: Learning Joint Audio-Visual Representations from Video Descriptions [75.77044856100349]
  我々は、異なるイベントの広い範囲を描写するユニークな短いビデオに起因する500k話されたキャプションのSpoken Momentsデータセットを提示します。 AMMアプローチは一貫して結果を改善し、Spoken Momentsデータセットで訓練されたモデルは、他のビデオキャプションデータセットで訓練されたモデルよりも汎用性が高いことを示しています。
  論文  参考訳（メタデータ） (2021-05-10T16:30:46Z)
• QuerYD: A video dataset with high-quality text and audio narrations [85.6468286746623]
  ビデオの検索とイベントのローカライゼーションのための大規模データセットQuerYDを紹介する。 データセットのユニークな特徴は、ビデオ毎に2つのオーディオトラック(オリジナルオーディオと高品質な音声記述)が利用可能であることです。 YouDescribeは、既存のYouTubeビデオに音声ナレーションを付加することで視覚障害者を支援するボランティアプロジェクトだ。
  論文  参考訳（メタデータ） (2020-11-22T17:33:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。