論文の概要: Unveiling Visual Biases in Audio-Visual Localization Benchmarks

• arxiv url: http://arxiv.org/abs/2409.06709v1
• Date: Sun, 25 Aug 2024 04:56:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-15 05:21:30.445941
• Title: Unveiling Visual Biases in Audio-Visual Localization Benchmarks
• Title（参考訳）: オーディオ・ビジュアル・ローカライゼーションベンチマークにおけるビジュアル・バイアスの展開
• Authors: Liangyu Chen, Zihao Yue, Boshen Xu, Qin Jin,
• Abstract要約: 既存のベンチマークで大きな問題を特定します。 音響オブジェクトは、視覚的バイアス(visual bias)と呼ぶ視覚的手がかりのみに基づいて、容易に認識される。 以上の結果から,既存のAVSLベンチマークは音声視覚学習を容易にするためにさらなる改良が必要であることが示唆された。
• 参考スコア（独自算出の注目度）: 52.76903182540441
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Audio-Visual Source Localization (AVSL) aims to localize the source of sound within a video. In this paper, we identify a significant issue in existing benchmarks: the sounding objects are often easily recognized based solely on visual cues, which we refer to as visual bias. Such biases hinder these benchmarks from effectively evaluating AVSL models. To further validate our hypothesis regarding visual biases, we examine two representative AVSL benchmarks, VGG-SS and EpicSounding-Object, where the vision-only models outperform all audiovisual baselines. Our findings suggest that existing AVSL benchmarks need further refinement to facilitate audio-visual learning.
• Abstract（参考訳）: AVSL(Audio-Visual Source Localization)は、ビデオ内の音源をローカライズすることを目的としている。 本稿では,既存のベンチマークにおいて重要な問題として,聴覚オブジェクトが視覚的バイアスのみに基づいて認識されやすいことを挙げる。 このようなバイアスは、これらのベンチマークがAVSLモデルを効果的に評価することを妨げる。 視覚バイアスに関する我々の仮説をさらに検証するため、視覚のみのモデルが全ての視覚ベースラインを上回り、VGG-SSとEpicSounding-Objectの2つの代表的なAVSLベンチマークを検証した。 以上の結果から,既存のAVSLベンチマークは音声視覚学習を容易にするためにさらなる改良が必要であることが示唆された。

関連論文リスト

• A Critical Assessment of Visual Sound Source Localization Models Including Negative Audio [5.728456310555323]
  本稿では,Visual Sound Source のローカライゼーションモデルの標準評価を達成すべく,新しいテストセットとメトリクスを提案する。 我々は、沈黙、騒音、オフスクリーンの3種類の否定的オーディオについて検討している。 分析の結果,多くのSOTAモデルでは,音声入力に基づいて予測を適切に調整できないことがわかった。
  論文  参考訳（メタデータ） (2024-10-01T19:28:45Z)
• Separating the "Chirp" from the "Chat": Self-supervised Visual Grounding of Sound and Language [77.33458847943528]
  DenseAVは、ビデオ視聴のみで高解像度、意味論的、音声視覚的に整合した特徴を学習する、新しいデュアルエンコーダ基盤アーキテクチャである。 そこで本研究では,DenseAVによる単語の「意味」と音の「位置」の特定が可能であることを明らかにした。
  論文  参考訳（メタデータ） (2024-06-09T03:38:21Z)
• Text-to-feature diffusion for audio-visual few-shot learning [59.45164042078649]
  ビデオデータから学ぶことは難しいし、あまり研究されていないが、もっと安いセットアップだ。 3つのデータセットに対して,音声・視覚的数ショット映像分類ベンチマークを導入する。 AV-DIFFは,提案した音声・視覚的少数ショット学習のベンチマークにおいて,最先端の性能が得られることを示す。
  論文  参考訳（メタデータ） (2023-09-07T17:30:36Z)
• Unraveling Instance Associations: A Closer Look for Audio-Visual Segmentation [18.001730255429347]
  オーディオ視覚セグメント化(AVS)は、音声視覚キューに基づいて、正確に音を分割する作業である。 我々は,難易度と比較的偏りのない高画質な視覚的セグメンテーション・ベンチマークを構築するための新たなコスト効率戦略を提案する。 既存のAVSデータセットおよび我々の新しいベンチマークで行った実験により、我々の手法は最先端(SOTA)セグメンテーションの精度を達成できた。
  論文  参考訳（メタデータ） (2023-04-06T09:54:06Z)
• AVFormer: Injecting Vision into Frozen Speech Models for Zero-Shot AV-ASR [79.21857972093332]
  本稿では,視覚情報を用いた音声のみのモデル拡張手法であるAVFormerについて述べる。 最小限のトレーニング時間とパラメータで、弱ラベル付き動画データを少量でトレーニングできることが示される。 また、トレーニング中に簡単なカリキュラム方式を導入し、モデルが音声と視覚情報を効果的に処理できることを示します。
  論文  参考訳（メタデータ） (2023-03-29T07:24:28Z)
• A Comprehensive Survey on Video Saliency Detection with Auditory Information: the Audio-visual Consistency Perceptual is the Key! [25.436683033432086]
  ビデオサリエンシ検出(VSD)は、あるビデオクリップの中で最も魅力的なオブジェクト/モノ/パターンを素早く見つけ出すことを目的としている。 本稿では,音声・視覚融合と唾液度検出のギャップを埋めるために,広範囲なレビューを行う。
  論文  参考訳（メタデータ） (2022-06-20T07:25:13Z)
• Self-Supervised Predictive Learning: A Negative-Free Method for Sound Source Localization in Visual Scenes [91.59435809457659]
  自己監督予測学習(英: Self-Supervised Predictive Learning, SSPL)は、音像定位法である。 SSPLはSoundNet-Flickrの8.6% cIoUと3.4% AUCの大幅な改善を実現している。
  論文  参考訳（メタデータ） (2022-03-25T01:42:42Z)
• Dual Normalization Multitasking for Audio-Visual Sounding Object Localization [0.0]
  本研究では,音の視覚的位置のあいまいさを軽減するため,新しい概念である音場オブジェクトを提案する。 この新たなAVSOL問題に対処するために、デュアル正規化マルチタスクと呼ばれる新しいマルチタスクトレーニング戦略とアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-06-01T02:02:52Z)
• Self-Supervised Learning of Audio-Visual Objects from Video [108.77341357556668]
  本稿では,音源の局所化とグループ化,時間とともに情報収集を行うための光フローに着目したモデルを提案する。 本稿では,4つの下流音声指向タスクにおいて,モデルが学習する音声-視覚オブジェクトの埋め込みの有効性を実証する。
  論文  参考訳（メタデータ） (2020-08-10T16:18:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。