論文の概要: Audio-visual Saliency for Omnidirectional Videos

• arxiv url: http://arxiv.org/abs/2311.05190v1
• Date: Thu, 9 Nov 2023 08:03:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-10 15:54:05.547130
• Title: Audio-visual Saliency for Omnidirectional Videos
• Title（参考訳）: 指向性ビデオの視覚的サリエンシ
• Authors: Yuxin Zhu, Xilei Zhu, Huiyu Duan, Jie Li, Kaiwei Zhang, Yucheng Zhu, Li Chen, Xiongkuo Min, Guangtao Zhai
• Abstract要約: 私たちはまず、全方向ビデオ(AVS-ODV)のための最大のオーディオ・ビジュアル・サリエンシデータセットを確立する。 AVS-ODVデータセットに基づく全方位音響モーダル性および視覚シーン下での観察者の視覚的注意行動を分析する。
• 参考スコア（独自算出の注目度）: 58.086575606742116
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual saliency prediction for omnidirectional videos (ODVs) has shown great significance and necessity for omnidirectional videos to help ODV coding, ODV transmission, ODV rendering, etc.. However, most studies only consider visual information for ODV saliency prediction while audio is rarely considered despite its significant influence on the viewing behavior of ODV. This is mainly due to the lack of large-scale audio-visual ODV datasets and corresponding analysis. Thus, in this paper, we first establish the largest audio-visual saliency dataset for omnidirectional videos (AVS-ODV), which comprises the omnidirectional videos, audios, and corresponding captured eye-tracking data for three video sound modalities including mute, mono, and ambisonics. Then we analyze the visual attention behavior of the observers under various omnidirectional audio modalities and visual scenes based on the AVS-ODV dataset. Furthermore, we compare the performance of several state-of-the-art saliency prediction models on the AVS-ODV dataset and construct a new benchmark. Our AVS-ODV datasets and the benchmark will be released to facilitate future research.
• Abstract（参考訳）: 全方向ビデオ(ODV)の視覚的サリエンシ予測は、全方向ビデオがODV符号化、ODV伝送、ODVレンダリングなどを支援する上で非常に重要かつ必要であることを示している。 しかし、ほとんどの研究は、ODVの視聴行動に大きな影響を及ぼすにもかかわらず、音声はめったに考慮されないが、ODVの精度予測のための視覚情報のみを考慮する。 これは主に、大規模オーディオ視覚型ODVデータセットの欠如とそれに対応する分析が原因である。 そこで,本稿では,全方位映像,音声,およびミュート,モノ,アンビソニックといった3種類の映像音声の視線追跡データを含む全方位映像(avs-odv)に対して,最大規模の音声ビジュアルサリエンシーデータセットを構築した。 次に、AVS-ODVデータセットに基づいて、全方向のオーディオモーダルと視覚シーンの観察者の視覚的注意行動を分析する。 さらに,avs-odvデータセットにおける最先端のsaliency予測モデルの性能を比較し,新しいベンチマークを構築した。 AVS-ODVデータセットとベンチマークは、将来の研究を促進するためにリリースされます。

関連論文リスト

• Audio-visual training for improved grounding in video-text LLMs [1.9320359360360702]
  本稿では,音声視覚入力を明示的に処理するモデルアーキテクチャを提案する。 我々は、ビデオインストラクションチューニングデータセットからオーディオデータと視覚データの両方でモデルをトレーニングする。 音声-視覚モデルのより良い評価のために、人間による注釈付きベンチマークデータセットもリリースする。
  論文  参考訳（メタデータ） (2024-07-21T03:59:14Z)
• Extending Segment Anything Model into Auditory and Temporal Dimensions for Audio-Visual Segmentation [17.123212921673176]
  本稿では,SAMのエンコーダとマスクデコーダの中間部分に組み込まれた時空間バイビジュアルアテンション(ST-B)モジュールを提案する。 ビデオフレームとオーディオストリーム間の時間的対応を伝達するために、オーディオ視覚機能を適応的に更新する。 提案手法は, AVSベンチマークの最先端手法, 特に8.3% mIoU が, 挑戦的なマルチソースサブセットよりも優れている。
  論文  参考訳（メタデータ） (2024-06-10T10:53:23Z)
• Bootstrapping Audio-Visual Segmentation by Strengthening Audio Cues [75.73217916395386]
  双方向ブリッジを用いた双方向オーディオ・ビジュアルデコーダ(BAVD)を提案する。 この相互作用はモダリティの不均衡を狭め、統合されたオーディオ視覚表現のより効果的な学習を促進する。 また,BAVDの微粒化誘導として,音声・視覚的フレームワイド同期のための戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-04T03:02:35Z)
• Perceptual Quality Assessment of Omnidirectional Audio-visual Signals [37.73157112698111]
  全方向ビデオ(ODV)の既存の品質評価研究は、ビデオの視覚的歪みのみに焦点を当てている。 本稿では,ODVのための大規模オーディオ・視覚品質評価データセットを最初に構築する。 そして,全方位オーディオ視覚品質評価(OAVQA)のための3つのベースライン手法を設計する。
  論文  参考訳（メタデータ） (2023-07-20T12:21:26Z)
• Audio-Visual Contrastive Learning with Temporal Self-Supervision [84.11385346896412]
  人間の監督なしにRGBフレームと付随するオーディオの両方の表現を学習するビデオのための自己教師付き学習手法を提案する。 ビデオに固有の時間的・聴覚的次元を活用するために,本手法は時間的自己監督を音声視覚設定に拡張する。
  論文  参考訳（メタデータ） (2023-02-15T15:00:55Z)
• A Comprehensive Survey on Video Saliency Detection with Auditory Information: the Audio-visual Consistency Perceptual is the Key! [25.436683033432086]
  ビデオサリエンシ検出(VSD)は、あるビデオクリップの中で最も魅力的なオブジェクト/モノ/パターンを素早く見つけ出すことを目的としている。 本稿では,音声・視覚融合と唾液度検出のギャップを埋めるために,広範囲なレビューを行う。
  論文  参考訳（メタデータ） (2022-06-20T07:25:13Z)
• AVATAR: Unconstrained Audiovisual Speech Recognition [75.17253531162608]
  本稿では,ASR TrAnsformeR (AVATAR) を用いて,スペクトルとフルフレームRGBからエンドツーエンドにトレーニングした新しいシーケンス・ツー・シーケンスASR TrAnsformeRを提案する。 本稿では,ハウ2 AV-ASR ベンチマークにおける視覚的モダリティの寄与を,特にシミュレートノイズの存在下で実証する。 また、我々はAV-ASRのための新しい実世界テストベッドVisSpeechを作成し、挑戦的な音声条件下での視覚的モダリティの寄与を実証した。
  論文  参考訳（メタデータ） (2022-06-15T17:33:19Z)
• AudioVisual Video Summarization [103.47766795086206]
  ビデオ要約では、既存のアプローチは音声情報を無視しながら視覚情報を利用するだけだ。 本稿では,映像要約作業における音声情報と視覚情報を協調的に活用し,これを実現するためにAVRN(AudioVisual Recurrent Network)を開発することを提案する。
  論文  参考訳（メタデータ） (2021-05-17T08:36:10Z)
• The Role of the Input in Natural Language Video Description [60.03448250024277]
  自然言語ビデオ記述(NLVD)は最近、コンピュータビジョン、自然言語処理、マルチメディア、自律型ロボティクスのコミュニティに強い関心を集めている。 本研究は, 視覚入力の役割に関する広範な研究を行い, 総合的なNLP性能について評価した。 t-SNEをベースとした解析を行い,検討した変換が全体的視覚データ分布に与える影響を評価する。
  論文  参考訳（メタデータ） (2021-02-09T19:00:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。