論文の概要: Egocentric Auditory Attention Localization in Conversations

• arxiv url: http://arxiv.org/abs/2303.16024v1
• Date: Tue, 28 Mar 2023 14:52:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-29 14:50:06.615471
• Title: Egocentric Auditory Attention Localization in Conversations
• Title（参考訳）: 会話における自己中心性聴覚注意の定位
• Authors: Fiona Ryan, Hao Jiang, Abhinav Shukla, James M. Rehg, Vamsi Krishna Ithapu
• Abstract要約: 本稿では,エゴセントリックなビデオとマルチチャンネルオーディオを用いて,カメラ装着者の聴覚的注意のヒートマップを予測するエンド・ツー・エンドのディープラーニング手法を提案する。 提案手法では,シーンの特徴と全体的推論を利用して予測を行い,難易度の高い多話者会話データセット上でのベースラインのセットを上回ります。
• 参考スコア（独自算出の注目度）: 25.736198724595486
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In a noisy conversation environment such as a dinner party, people often exhibit selective auditory attention, or the ability to focus on a particular speaker while tuning out others. Recognizing who somebody is listening to in a conversation is essential for developing technologies that can understand social behavior and devices that can augment human hearing by amplifying particular sound sources. The computer vision and audio research communities have made great strides towards recognizing sound sources and speakers in scenes. In this work, we take a step further by focusing on the problem of localizing auditory attention targets in egocentric video, or detecting who in a camera wearer's field of view they are listening to. To tackle the new and challenging Selective Auditory Attention Localization problem, we propose an end-to-end deep learning approach that uses egocentric video and multichannel audio to predict the heatmap of the camera wearer's auditory attention. Our approach leverages spatiotemporal audiovisual features and holistic reasoning about the scene to make predictions, and outperforms a set of baselines on a challenging multi-speaker conversation dataset. Project page: https://fkryan.github.io/saal
• Abstract（参考訳）: ディナーパーティーのような騒々しい会話環境において、人々は選択的な聴覚的注意や、他の人をチューニングしながら特定の話者に集中する能力を示すことが多い。 会話の中で誰が聴いているかを認識することは、社会的行動や、特定の音源を増幅することで人間の聴覚を増強するデバイスを理解する技術を開発する上で不可欠である。 コンピュータビジョンと音声研究コミュニティは、シーン内の音源やスピーカーを認識することに大きな進歩を遂げた。 本研究は,エゴセントリックビデオにおける聴覚注意目標の局所化や,カメラ装着者の視野内の誰を検知する問題に着目し,さらに一歩前進する。 そこで本稿では,エゴセントリック・ビデオとマルチチャンネル・オーディオを用いて,カメラ装着者の聴覚注意のヒートマップを予測するエンド・ツー・エンドの深層学習手法を提案する。 提案手法では,時空間的音声視覚特徴とシーンに関する総合的推論を活用して予測を行い,多話者対話データセットのベースラインを上回っている。 プロジェクトページ: https://fkryan.github.io/saal

関連論文リスト

• Audio-Visual Talker Localization in Video for Spatial Sound Reproduction [3.2472293599354596]
  本研究では,ビデオ中のアクティブ話者を検出し,検出する。 互いに補完する2つのモダリティの役割を見出した。 今後の調査では、ノイズの多い高残響環境下でのモデルの堅牢性を評価する予定である。
  論文  参考訳（メタデータ） (2024-06-01T16:47:07Z)
• The Audio-Visual Conversational Graph: From an Egocentric-Exocentric Perspective [36.09288501153965]
  本稿では,Ego-Exocentric Conversational Graph Prediction問題を紹介する。 統合型マルチモーダルフレームワーク -AV-CONV(Audio-Visual Conversational Attention)を提案する。 具体的には、時間、オブジェクト間、モダリティ間の表現をモデル化するために、自己認識メカニズムを採用します。
  論文  参考訳（メタデータ） (2023-12-20T09:34:22Z)
• Learning Spatial Features from Audio-Visual Correspondence in Egocentric Videos [69.79632907349489]
  本稿では,エゴセントリックビデオにおける空間的音声・視覚対応に基づく表現の自己教師付き学習法を提案する。 本手法では,マスク付き(マルチチャネル)音声を音声と視覚の相乗効果により合成するために,マスク付き自動符号化フレームワークを用いる。
  論文  参考訳（メタデータ） (2023-07-10T17:58:17Z)
• Egocentric Audio-Visual Object Localization [51.434212424829525]
  本研究では,エゴモーションを明示的に処理する時空間アグリゲーションモジュールを提案する。 エゴモーションの効果は、時間的幾何変換を推定し、それを利用して視覚的表現を更新することによって緩和される。 視覚的に指示された音声表現をアンタングルすることで、モーダルな局所化の堅牢性を向上させる。
  論文  参考訳（メタデータ） (2023-03-23T17:43:11Z)
• A Closer Look at Audio-Visual Multi-Person Speech Recognition and Active Speaker Selection [9.914246432182873]
  様々な雑音条件下では,エンド・ツー・エンドのモデルが,少なくとも大きな2段階のシステムを動作させることを示す。 トレーニングデータとして5万時間以上の公開YouTubeビデオを収録した実験では、アクティブな話者選択タスクにおいて、最初に注目層の精度を評価する。
  論文  参考訳（メタデータ） (2022-05-11T15:55:31Z)
• Egocentric Deep Multi-Channel Audio-Visual Active Speaker Localization [13.144367063836597]
  本稿では,音声活動の検出と局所化結果の堅牢性を実現するための,エンドツーエンドのディープラーニング手法を提案する。 実験の結果,提案手法はより優れた結果を与え,リアルタイムに動作可能であり,ノイズや乱れに対して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-01-06T05:40:16Z)
• Responsive Listening Head Generation: A Benchmark Dataset and Baseline [58.168958284290156]
  本研究では、応答型リスニングヘッド生成タスクを、複数の入力に応答する動きと表現を持つ非言語ヘッドの合成として定義する。 音声によるジェスチャーや音声のヘッド生成とは違って,いくつかの研究分野の恩恵を期待して,このタスクにより多くのモーダルを導入する。
  論文  参考訳（メタデータ） (2021-12-27T07:18:50Z)
• The Right to Talk: An Audio-Visual Transformer Approach [27.71444773878775]
  本研究は,複数話者会話ビデオの音声および視覚チャネルにおける主話者のローカライゼーションと強調を行うために,新たなオーディオ・ビジュアル・トランスフォーマーアプローチを導入する。 我々の知る限りでは、マルチスピーカー会話ビデオにおいて、視覚と音声の両方で主話者を自動的にローカライズし、ハイライトすることができる最初の研究の1つである。
  論文  参考訳（メタデータ） (2021-08-06T18:04:24Z)
• Learning Audio-Visual Dereverberation [87.52880019747435]
  環境中の表面や物体を反射する音声からの残響は、人間の知覚の質を低下させるだけでなく、自動音声認識の精度にも深刻な影響を及ぼす。 我々の考えは、音声・視覚的観察から音声を除去することである。 そこで我々は,観測音と映像シーンの両方に基づいて残響を除去することを学ぶエンドツーエンドアプローチである,視覚インフォームド・デバーベレーション・オブ・オーディオ(VIDA)を紹介した。
  論文  参考訳（メタデータ） (2021-06-14T20:01:24Z)
• Self-Supervised Learning of Audio-Visual Objects from Video [108.77341357556668]
  本稿では,音源の局所化とグループ化,時間とともに情報収集を行うための光フローに着目したモデルを提案する。 本稿では,4つの下流音声指向タスクにおいて,モデルが学習する音声-視覚オブジェクトの埋め込みの有効性を実証する。
  論文  参考訳（メタデータ） (2020-08-10T16:18:01Z)
• Learning Speech Representations from Raw Audio by Joint Audiovisual Self-Supervision [63.564385139097624]
  生音声波形から自己教師付き音声表現を学習する手法を提案する。 音声のみの自己スーパービジョン(情報的音響属性の予測)と視覚的自己スーパービジョン(音声から発話顔を生成する)を組み合わせることで生音声エンコーダを訓練する。 本研究は,音声表現学習におけるマルチモーダル・セルフ・スーパービジョンの可能性を示すものである。
  論文  参考訳（メタデータ） (2020-07-08T14:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。