論文の概要: Who Called? V33DA: A Physically Verified Multimodal Benchmark for Vocal Attribution in Zebra Finch Groups

• arxiv url: http://arxiv.org/abs/2610.38109v1
• Date: Wed, 28 Oct 2026 00:46:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-31 05:25:12.351944
• Title: Who Called? V33DA: A Physically Verified Multimodal Benchmark for Vocal Attribution in Zebra Finch Groups
• Title（参考訳）: V33DA:Zebra Finch Groupsの音声属性を物理的に検証したマルチモーダルベンチマーク
• Abstract要約: V33DA(V33DA)は、ゼブラフィンチにおける空間的声の属性のデータセット中心のベンチマークである。 5チャンネルの音声を3つのカメラビューと組み合わせた33,625の認証イベントと、可視性のある候補ごとに3Dポーズを調整し、10人当たりの無線テレメトリと3つの実験を含む。 本研究は, 有声鳥の有声鳥に対するセッション・ディスジョイント・テスト, 新たなコホートへのホール・アウト・実験の移動, 訓練から発声した鳥に対する一個人的評価の3つの条件下で評価する。
• 参考スコア（独自算出の注目度）: 47.59068874901745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deciding which member of an animal group produced a vocalization and where that vocalization was produced are central to studying social communication but are rarely evaluated with physically verified ground truth. Existing resources either localize sounds without identifying the caller, or recognize individuals from isolated vocalizations without reliance on the 3D candidate geometry. We close this gap with V33DA, a dataset-centered multimodal benchmark for spatial vocal attribution in social zebra finches: it comprises 33,625 verified events coupling 5-channel audio with three camera views, calibrated 3D pose for every visible candidate, and per-bird radio telemetry across 10 individuals and three experiments. Caller identity is verified from an on-body accelerometer-derived vibration signal; this channel is withheld from benchmark models and used only by an on-body reference ceiling. Given a detected vocalization and the visible candidate birds, the task is to select the caller. We evaluate it under three regimes: session-disjoint testing on familiar birds from held-out recording dates, held-out-experiment transfer to a new cohort, and leave-one-individual-out evaluation on a bird whose vocalizations are held out from training. Reference methods expose a consistent gap between in-domain accuracy and transfer to unseen individuals: methods that can exploit familiar vocal identity perform well on known callers but degrade sharply on unseen ones, whereas candidate-aware methods preserving explicit spatial reasoning transfer substantially better. The on-body reference stays near-perfect across regimes, confirming the internal consistency of the accelerometer-verified labels. We release V33DA with fixed protocols and code for the evaluated methods, and V33DA++, an unevaluated companion set of verified overlapping-call events and +/-2 s context windows.
• Abstract（参考訳）: 動物集団のどのメンバーが発声し、どこで発声されたかを決定することは、社会コミュニケーションの研究の中心であるが、物理的に検証された地上の真実で評価されることは滅多にない。 既存のリソースは、発信者を特定することなく音をローカライズするか、あるいは3D候補形状に依存することなく孤立した発声から個人を認識するかのいずれかである。 V33DAは,3つのカメラビューと5チャンネルのオーディオを結合した33,625の検証済みイベントと,すべての可視性候補に対するキャリブレーションされた3Dポーズと,10人の個人と3つの実験における鳥ごとの無線テレメトリからなる,社会的なゼブラフィンチにおける空間的声の属性に対するデータセット中心のマルチモーダル・ベンチマークである。 キャラ識別は、車載加速度計による振動信号から検証され、このチャネルはベンチマークモデルでは保持されず、車載基準天井でのみ使用される。 検出された発声と目に見える候補鳥が与えられた場合、その発声者を選択することが課題である。 本研究は, 有声鳥の有声鳥に対するセッション・ディスジョイント・テスト, 新たなコホートへのホール・アウト・実験の移動, 訓練から発声した鳥に対する一個人的評価の3つの条件下で評価する。 参照手法は、ドメイン内の正確さと未知の個人への移動の間に一貫したギャップを露呈する: 身近な声の同一性を利用する手法は、既知の発信者に対して良好に機能するが、未確認者に対しては急激に低下する。 ボディ上の基準はレジーム全体でほぼ完全であり、加速度計で検証されたラベルの内部の整合性を確認している。 V33DA++は、検証済みの重複呼び出しイベントと+/-2sコンテキストウィンドウの未評価のコンパニオンセットである。

関連論文リスト

• Inquesto Score: A reliability Protocol For Voice Agents [53.4810159595586]
  Inquesto Score(IS)は、音声エージェントの信頼性を、固定バージョン評価集団における呼び出しの割合として測定するプロトコルである。 タイミングの失敗、セマンティック、および状態依存の失敗は、シナリオ述語、ツールトレース、ピン留めされたオープンモデル判定を用いて評価される。 Inquesto Score v0.1は、基準音声エージェントシステムの13構成に対して、30のシナリオ、3つの音響条件、4つの話者グループ、306の呼び出しを評価する。
  論文  参考訳（メタデータ） (2026-09-24T20:07:53Z)
• Assessing Identity Leakage in Talking Face Generation: Metrics and Evaluation Framework [56.30142869506262]
  塗り絵ベースの話し顔生成は、唇の動きだけを変更しながらポーズ、照明、ジェスチャーなどの映像の詳細を保存することを目的としている。 この機構は、生成した唇が、駆動オーディオのみの影響ではなく、参照画像の影響を受けるリップリークを導入することができる。 そこで本研究では,唇の漏れを分析し定量化するためのシステム評価手法を提案する。
  論文  参考訳（メタデータ） (2025-11-05T17:11:53Z)
• Unsupervised outlier detection to improve bird audio dataset labels [0.0]
  非標的の鳥類の音は、ラベルノイズと呼ばれる相違点をデータセットにラベル付けする。 本稿では,オーディオ前処理とデメンタリティ低減と教師なし外乱検出を併用したクリーニングプロセスを提案する。
  論文  参考訳（メタデータ） (2025-04-25T19:04:40Z)
• Robust detection of overlapping bioacoustic sound events [20.120460979715173]
  本稿では,Voxaboxenという名前のオンセットに基づく検出手法を提案する。 時間ウィンドウごとに、Voxaboxenは発声開始時間と発声期間を予測している。 重なり合う発声を検出するための新しいデータセットをリリースする。
  論文  参考訳（メタデータ） (2025-03-04T08:26:03Z)
• REWIND Dataset: Privacy-preserving Speaking Status Segmentation from Multimodal Body Movement Signals in the Wild [14.5263556841263]
  プロフェッショナルなネットワークイベントにおいて,33人の被験者による高品質な個人音声記録を備えた,初めて公開されているマルチモーダルデータセットを提示する。 いずれの場合も、従来のデータセットでは利用できない時間分解能である音声から抽出した20Hzのバイナリ音声のステータス信号を予測する。
  論文  参考訳（メタデータ） (2024-03-02T15:14:58Z)
• Towards Automated Animal Density Estimation with Acoustic Spatial Capture-Recapture [2.5193666094305938]
  デジタルレコーダーにより、測量士は大量のデータを低コストで収集することができる。 しかし、これらのデータの中で標的となる種の発声を識別するのは簡単ではない。 機械学習(ML)手法はしばしばその識別に使用される。 音響的空間キャプチャー・キャプチャー推定のための3つの手法を提案する。
  論文  参考訳（メタデータ） (2023-08-24T15:29:24Z)
• Jointly Learning Visual and Auditory Speech Representations from Raw Data [108.68531445641769]
  RAVEnは視覚と聴覚の表現を協調的に学習する自己教師型マルチモーダルアプローチである。 我々の設計は、ビデオとオーディオの固有の違いによって駆動される非対称なw.r.t.である。 RAVEnは視覚音声認識における全自己指導手法を超越している。
  論文  参考訳（メタデータ） (2022-12-12T21:04:06Z)
• Unsupervised Sound Localization via Iterative Contrastive Learning [106.56167882750792]
  データアノテーションを必要としない反復型コントラスト学習フレームワークを提案する。 次に、擬似ラベルを用いて、同じビデオからサンプリングされた視覚信号と音声信号の相関関係を学習する。 我々の反復的戦略は徐々に音像の局所化を奨励し、非発声領域と参照音声との相関を減少させる。
  論文  参考訳（メタデータ） (2021-04-01T07:48:29Z)
• Continuous speech separation: dataset and analysis [52.10378896407332]
  自然な会話では、音声信号は連続的であり、重複成分と重複成分の両方を含む。 本稿では,連続音声分離アルゴリズムを評価するためのデータセットとプロトコルについて述べる。
  論文  参考訳（メタデータ） (2020-01-30T18:01:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。