論文の概要: Look, Listen and Recognise: Character-Aware Audio-Visual Subtitling

• arxiv url: http://arxiv.org/abs/2401.12039v1
• Date: Mon, 22 Jan 2024 15:26:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 13:35:23.624149
• Title: Look, Listen and Recognise: Character-Aware Audio-Visual Subtitling
• Title（参考訳）: look, listen and recognise: 文字認識型音声視覚サブトイリング
• Authors: Bruno Korbar, Jaesung Huh, Andrew Zisserman
• Abstract要約: そこで本稿では,正確な音声タイムスタンプと話者識別機能を備えた,対話の完全な書き起こしを生成する音声-視覚的手法を提案する。 本手法は,Seinfeld,Fraiser,Scrubsなど,様々なテレビシットコムに対して評価を行った。 このシステムは,最新のストリーミングサービスで利用可能なビデオのアクセシビリティを向上させるために,字幕の自動生成に有用であると考えられる。
• 参考スコア（独自算出の注目度）: 62.25533750469467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The goal of this paper is automatic character-aware subtitle generation. Given a video and a minimal amount of metadata, we propose an audio-visual method that generates a full transcript of the dialogue, with precise speech timestamps, and the character speaking identified. The key idea is to first use audio-visual cues to select a set of high-precision audio exemplars for each character, and then use these exemplars to classify all speech segments by speaker identity. Notably, the method does not require face detection or tracking. We evaluate the method over a variety of TV sitcoms, including Seinfeld, Fraiser and Scrubs. We envision this system being useful for the automatic generation of subtitles to improve the accessibility of the vast amount of videos available on modern streaming services. Project page : \url{https://www.robots.ox.ac.uk/~vgg/research/look-listen-recognise/}
• Abstract（参考訳）: 本論文の目的は,自動字幕字幕生成である。 ビデオとメタデータが最小限であれば、正確な音声タイムスタンプと識別されたキャラクタによる対話の完全な書き起こしを生成する音声-視覚的手法を提案する。 鍵となるアイデアは、まず音声-視覚的手がかりを使用して、各文字に対して高精度なオーディオの例題を選択し、次にこれらの例題を使って、話者識別によって全ての音声セグメントを分類することである。 特に、この方法は顔検出や追跡を必要としない。 本手法は,Seinfeld,Fraiser,Scrubsなど,様々なテレビシットコムに対して評価を行った。 このシステムは,最新のストリーミングサービスで利用可能な大量のビデオのアクセシビリティを向上させるために,字幕の自動生成に有用であると考えられる。 プロジェクトページ: \url{https://www.robots.ox.uk/~vgg/research/look-listen-recognise/}

関連論文リスト

• Character-aware audio-visual subtitling in context [58.95580154761008]
  本稿では,テレビ番組における文字認識型音声視覚サブタイピングのための改良されたフレームワークを提案する。 提案手法は,音声認識,話者ダイアリゼーション,文字認識を統合し,音声と視覚の両方を活用する。 提案手法を12テレビ番組のデータセット上で検証し,既存手法と比較して話者ダイアリゼーションと文字認識精度に優れた性能を示す。
  論文  参考訳（メタデータ） (2024-10-14T20:27:34Z)
• Zero-shot audio captioning with audio-language model guidance and audio context keywords [59.58331215337357]
  タスク固有の訓練を必要とせず、テキストキャプション内の一般的な音声信号を要約する新しいフレームワークであるZerAuCapを提案する。 本フレームワークは,事前学習された大言語モデル(LLM)を用いて,事前学習された音声モデルによって指導されたテキストを生成し,キャプションを生成する。 提案手法は,AudioCaps と Clotho のデータセットにゼロショット音声キャプションを付加することで,最先端の音声キャプションを実現する。
  論文  参考訳（メタデータ） (2023-11-14T18:55:48Z)
• Towards Generating Diverse Audio Captions via Adversarial Training [33.76154801580643]
  音声キャプションシステムの多様性を向上させるために,条件付き生成対向ネットワーク(C-GAN)を提案する。 キャプションジェネレータと2つのハイブリッドディスクリミネータが競合し、共同で学習し、キャプションジェネレータは、キャプションを生成するのに使用される標準エンコーダデコーダキャプションモデルとなることができる。 その結果,提案モデルでは,最先端手法と比較して,より多様性の高いキャプションを生成できることが示唆された。
  論文  参考訳（メタデータ） (2022-12-05T05:06:19Z)
• VisualVoice: Audio-Visual Speech Separation with Cross-Modal Consistency [111.55430893354769]
  ビデオでは、同時の背景音や他の人間のスピーカーにもかかわらず、顔に関連するスピーチを抽出することを目的としています。 本手法は,非ラベル映像から音声-視覚音声分離とクロスモーダル話者埋め込みを共同で学習する。 音声-視覚音声分離と強化のための5つのベンチマークデータセットで最新の結果が得られます。
  論文  参考訳（メタデータ） (2021-01-08T18:25:24Z)
• AVLnet: Learning Audio-Visual Language Representations from Instructional Videos [69.56522471911396]
  本稿では,生のビデオ入力から直接共有映像埋め込み空間を学習する自己教師型ネットワークであるAVLnetを紹介する。 AVLnet を HowTo100M でトレーニングし,画像検索およびビデオ検索タスクの評価を行う。 私たちのコード、データ、トレーニングされたモデルは、avlnet.csail.mit.eduでリリースされます。
  論文  参考訳（メタデータ） (2020-06-16T14:38:03Z)
• Multi-modal Dense Video Captioning [18.592384822257948]
  イベント記述に様々なモダリティを活用可能な,新しい高密度ビデオキャプション手法を提案する。 音声と音声のモダリティが高密度ビデオキャプションモデルをどのように改善するかを示す。
  論文  参考訳（メタデータ） (2020-03-17T15:15:17Z)
• Unsupervised Audiovisual Synthesis via Exemplar Autoencoders [59.13989658692953]
  我々は,任意の個人の入力音声を,潜在的に無限に多くの出力スピーカのオーディオ視覚ストリームに変換する教師なしのアプローチを提案する。 我々は、Exemplar Autoencodersを用いて、特定のターゲット音声の音声、スタイリスティックな韻律、視覚的外観を学習する。
  論文  参考訳（メタデータ） (2020-01-13T18:56:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。