論文の概要: Active Speakers in Context

• arxiv url: http://arxiv.org/abs/2005.09812v1
• Date: Wed, 20 May 2020 01:14:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 06:15:02.844360
• Title: Active Speakers in Context
• Title（参考訳）: 文脈におけるアクティブスピーカー
• Authors: Juan Leon Alcazar, Fabian Caba Heilbron, Long Mai, Federico Perazzi, Joon-Young Lee, Pablo Arbelaez, and Bernard Ghanem
• Abstract要約: 能動話者検出のための現在の手法は、単一話者からの短期音声視覚情報をモデル化することに焦点を当てている。 本稿では,複数話者間の関係を長期にわたってモデル化する新しい表現であるActive Speaker Contextを紹介する。 実験の結果,構造的特徴アンサンブルはすでにアクティブな話者検出性能の恩恵を受けていることがわかった。
• 参考スコア（独自算出の注目度）: 88.22935329360618
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current methods for active speak er detection focus on modeling short-term audiovisual information from a single speaker. Although this strategy can be enough for addressing single-speaker scenarios, it prevents accurate detection when the task is to identify who of many candidate speakers are talking. This paper introduces the Active Speaker Context, a novel representation that models relationships between multiple speakers over long time horizons. Our Active Speaker Context is designed to learn pairwise and temporal relations from an structured ensemble of audio-visual observations. Our experiments show that a structured feature ensemble already benefits the active speaker detection performance. Moreover, we find that the proposed Active Speaker Context improves the state-of-the-art on the AVA-ActiveSpeaker dataset achieving a mAP of 87.1%. We present ablation studies that verify that this result is a direct consequence of our long-term multi-speaker analysis.
• Abstract（参考訳）: 能動話者検出のための現在の手法は、単一話者からの短期音声視覚情報をモデル化することに焦点を当てている。 この戦略は、単一話者シナリオに対処するのに十分であるが、タスクが多くの候補話者が話しているかを識別するときに正確な検出を防止する。 本稿では,複数話者間の関係を長期にわたってモデル化する新しい表現であるActive Speaker Contextを紹介する。 我々のアクティブ話者コンテキストは、オーディオ・視覚観測の構造化されたアンサンブルからペアワイズと時間的関係を学習するように設計されている。 本実験では,構造化機能アンサンブルがアクティブな話者検出性能にすでに有益であることを示す。 さらに,提案するアクティブ話者コンテキストは,av-activespeakerデータセットの最先端を87.1%のマップで改善することを示す。 本研究は,この結果が長期多話者分析の直接的な結果であることを示すアブレーション研究である。

関連論文リスト

• Improving Speaker Diarization using Semantic Information: Joint Pairwise Constraints Propagation [53.01238689626378]
  本稿では,話者ダイアリゼーションシステムにおける意味情報を活用する新しい手法を提案する。 音声言語理解モジュールを導入し、話者関連意味情報を抽出する。 本稿では,これらの制約を話者ダイアリゼーションパイプラインに統合する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-09-19T09:13:30Z)
• Exploring Speaker-Related Information in Spoken Language Understanding for Better Speaker Diarization [7.673971221635779]
  多人数会議におけるセマンティックコンテンツから話者関連情報を抽出する手法を提案する。 AISHELL-4とAliMeetingの2つのデータセットを用いた実験により,本手法は音響のみの話者ダイアリゼーションシステムよりも一貫した改善を実現することが示された。
  論文  参考訳（メタデータ） (2023-05-22T11:14:19Z)
• Audio-Visual Activity Guided Cross-Modal Identity Association for Active Speaker Detection [37.28070242751129]
  ビデオ内のアクティブな話者検出は、ビデオフレームで見える元顔と、音声モダリティの基盤となる音声とを関連付ける。 アクティブな話者検出のための音声・視覚活動と話者のクロスモーダル・アイデンティティ・アソシエーションを導くための新しい教師なしフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-01T14:46:00Z)
• Rethinking Audio-visual Synchronization for Active Speaker Detection [62.95962896690992]
  アクティブ話者検出(ASD)に関する既存の研究は、アクティブ話者の定義に一致しない。 本稿では,アテンションモジュールに位置符号化を適用し,教師付きASDモデルに適用し,同期キューを活用することを提案する。 実験結果から,既存モデルの制限に対処して,非同期音声を発話しないものとして検出できることが示唆された。
  論文  参考訳（メタデータ） (2022-06-21T14:19:06Z)
• Improved Relation Networks for End-to-End Speaker Verification and Identification [0.0]
  話者識別システムは、少数のサンプルが与えられた一連の登録話者の中から話者を識別する。 話者検証と少数ショット話者識別のための改良された関係ネットワークを提案する。 話者検証におけるプロトタイプネットワークの利用に触発されて、トレーニングセットに存在するすべての話者のうち、現在のエピソードのサンプルを分類するようにモデルを訓練する。
  論文  参考訳（メタデータ） (2022-03-31T17:44:04Z)
• Look\&Listen: Multi-Modal Correlation Learning for Active Speaker Detection and Speech Enhancement [18.488808141923492]
  ADENetは,音声・視覚モデルの共同学習による話者検出と音声強調を実現するために提案されている。 聴覚と視覚ストリームの相互関係は,マルチタスク学習の課題に対して有望な解決法である。
  論文  参考訳（メタデータ） (2022-03-04T09:53:19Z)
• A Review of Speaker Diarization: Recent Advances with Deep Learning [78.20151731627958]
  スピーカーダイアリゼーションは、スピーカーのアイデンティティに対応するクラスでオーディオまたはビデオ録画をラベル付けするタスクです。 ディープラーニング技術の台頭に伴い、話者ダイアリゼーションのためのさらなる急速な進歩がなされている。 話者ダイアリゼーションシステムが音声認識アプリケーションとどのように統合されているかについて議論する。
  論文  参考訳（メタデータ） (2021-01-24T01:28:05Z)
• MAAS: Multi-modal Assignation for Active Speaker Detection [59.08836580733918]
  本稿では,本問題のマルチモーダル性に直接対処するアクティブな話者検出手法を提案する。 実験では,単一フレームで構築した小さなグラフデータ構造により,瞬時に発生する視聴覚課題を近似できることを示した。
  論文  参考訳（メタデータ） (2021-01-11T02:57:25Z)
• Speech Enhancement using Self-Adaptation and Multi-Head Self-Attention [70.82604384963679]
  本稿では,補助的話者認識機能を用いた音声強調のための自己適応手法について検討する。 テスト発話から直接適応に用いる話者表現を抽出する。
  論文  参考訳（メタデータ） (2020-02-14T05:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。