論文の概要: Audio-Visual Dog Identification and Tracking in Real-World Videos
- arxiv url: http://arxiv.org/abs/2610.21011v1
- Date: Wed, 14 Oct 2026 23:15:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.103171
- Title: Audio-Visual Dog Identification and Tracking in Real-World Videos
- Title（参考訳）: 実世界の映像における聴覚的犬の識別と追跡
- Abstract要約: 実際のビデオでは、個々の犬を樹皮から識別することは困難であり、ほとんど探索されていない。
視覚的識別,多目的追跡,犬の声帯フィンガープリントを併用したマルチモーダルドッグフィンガープリントフレームワークを提案する。
我々のフレームワークは、IoU $geq 0.30$の可視イベントの61.83%でアクティブな可視犬を正しくローカライズし、可視とオフスクリーンのバーキング検出のための91.33%のF1スコアを得る。
- 参考スコア（独自算出の注目度）: 14.423820108906513
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Identifying individual dogs from barks in real-world videos remains challenging and largely unexplored. Solving this problem would enable long-term behavioral analysis, veterinary monitoring, and animal welfare monitoring by attributing vocalizations and behaviors to the correct individual. Real-world videos are challenging because multiple dogs may bark simultaneously, become occluded, or move in and out of view. Prior studies show that canine vocalizations and visual appearance contain discriminative identity information, but these modalities have largely been studied independently. We present a multimodal dog-fingerprinting framework combining visual identification, multiple-object tracking, and canine vocal fingerprinting to associate bark events with individual dogs while maintaining persistent profiles. The framework synchronizes bark events with tracked dogs and updates profiles using visual appearance and vocal characteristics, enabling identification despite occlusion, overlapping vocalizations, and off-screen barking. We also introduce a benchmark of 46 real-world videos containing 213 manually annotated bark events. Our framework correctly localizes the active visible dog in 61.83% of visible events at IoU $\geq 0.30$ and achieves a 91.33% F1 score for visible versus off-screen barking detection.
- Abstract（参考訳）: 実際のビデオでは、個々の犬を樹皮から識別することは困難であり、ほとんど探索されていない。
この問題を解決することで、適切な個人に発声と行動をもたらすことによって、長期的な行動分析、獣医のモニタリング、動物福祉モニタリングが可能になる。
実世界のビデオは、複数の犬が同時にbarkしたり、閉じ込められたり、中や外を眺めたりできるため、難しい。
以前の研究では、イヌの発声と視覚的外観には識別的アイデンティティ情報が含まれていることが示されているが、これらのモダリティは独立して研究されている。
視覚的識別,多目的追跡,犬の声帯フィンガープリントを併用したマルチモーダル・ドッグフィンガープリンティング・フレームワークを,持続的プロファイルを維持しつつ,個々の犬と樹皮イベントを関連づける。
このフレームワークは、追跡された犬と樹皮イベントを同期させ、視覚的外観と発声特性を用いてプロファイルを更新し、閉塞性、重なり合う発声、オフスクリーンバーキングの識別を可能にする。
また、213個の手動注釈付きバークイベントを含む46個の実世界のビデオのベンチマークも導入した。
我々のフレームワークは、IoU $\geq 0.30$の可視イベントの61.83%でアクティブな可視犬を正しくローカライズし、可視とオフスクリーンのバーキング検出のための91.33%のF1スコアを得る。
関連論文リスト
- PAGE: Parts-Aware Guidance for Co-Speech Gesture Portrait Video Generation [91.13599273651744]
共同音声ジェスチャービデオ生成は、単一の参照画像と音声信号からリアルで音声駆動のポートレートビデオを合成することを目的としている。
PAGE(Parts-Aware GuidancE)は,局所的な空間的忠実度とグローバルな音声・視覚的整合性を高める拡散型生成のためのフレームワークである。
大規模評価を実現するため,共同音声合成のための中国初の総合ベンチマークである中国語アナウンサー音声データセットを構築した。
論文 参考訳（メタデータ） (2026-10-09T09:48:12Z) - HUG-VIS: A Multimodal Benchmark for Human-centered Understanding and Generation in Visual Intelligence [82.1284258781622]
視覚知能は、視覚世界を理解し、解釈し、合成しようとする。
HUG-VISは、ビジュアルインテリジェンスにおける人間中心の理解と生成のための統一されたベンチマークである。
論文 参考訳（メタデータ） (2026-08-27T01:43:47Z) - CREMD: Crowd-Sourced Emotional Multimodal Dogs Dataset [2.0595149576643337]
我々は、異なるプレゼンテーションモードが犬の感情の知覚とラベル付けにどのように影響するかを探索する包括的データセットCREMD(Crowd-sourced Emotional Multimodal Dogs dataset)を提示する。
データセットは、3つの異なるモードで表示される923のビデオクリップで構成されている。
犬の感情認識に影響を与える要因を特定するため,犬の所有者,専門家,個人など,さまざまな背景や経験レベルを持つ多様な参加者のアノテーションを分析した。
論文 参考訳（メタデータ） (2026-02-17T04:31:38Z) - Character-Centric Understanding of Animated Movies [88.83104906869106]
本稿では,自動的かつロバストなアニメーション文字認識を実現するための音声視覚パイプラインを提案する。
アニメーション映画のキャラクターは、その外観、動き、変形において極端な多様性を示す。
このパイプラインはアニメーション映画のキャラクター中心の理解を高める。
論文 参考訳（メタデータ） (2025-09-15T17:59:51Z) - Towards Dog Bark Decoding: Leveraging Human Speech Processing for Automated Bark Classification [23.974783158267428]
犬の樹皮分類課題に対処するために,人間の音声で事前訓練した自己教師付き音声表現モデルの利用について検討する。
音声埋め込み表現の使用は、より単純な分類基準よりも大幅に改善されることを示す。
また、大規模人間の音声音響学で事前訓練されたモデルでは、いくつかのタスクでさらなる性能向上が期待できる。
論文 参考訳（メタデータ） (2024-04-29T14:41:59Z) - Multimodal Group Emotion Recognition In-the-wild Using Privacy-Compliant
Features [0.0]
グループレベルの感情認識は、社会ロボティクス、会話エージェント、e-coaching、学習分析など、多くの分野で有用である。
本稿では,EmotiW Challenge 2023の中で,プライバシに適合したグループレベルの感情認識について検討する。
論文 参考訳（メタデータ） (2023-12-06T08:58:11Z) - Categorizing the Visual Environment and Analyzing the Visual Attention
of Dogs [11.511035466613109]
11匹以上の犬を視認できる対象を分類するために、1198匹以上の視線を持つデータセットを収集、研究しました。
収集したデータのごく一部を使用して、新規画像領域のMaskRCNNを微調整する。
犬11頭の間には個体差はほとんどなく, バス, 植物, 舗装, 建設設備の視認性の向上が観察された。
論文 参考訳（メタデータ） (2023-11-20T18:21:18Z) - Language-Guided Audio-Visual Source Separation via Trimodal Consistency [64.0580750128049]
この課題の鍵となる課題は、発音対象の言語的記述と、その視覚的特徴と、音声波形の対応する成分とを関連付けることである。
2つの新たな損失関数を通して擬似目標管理を行うために、既成の視覚言語基盤モデルを適用する。
3つの音声・視覚的分離データセットに対する自己教師型アプローチの有効性を実証する。
論文 参考訳（メタデータ） (2023-03-28T22:45:40Z) - Video-based estimation of pain indicators in dogs [2.7103996289794217]
この問題に対して,新しいビデオベース2ストリームディープニューラルネットワーク手法を提案する。
ビデオ上のキーポイントとRGB表現の両方から、ボディキーポイントを抽出し、プリプロセスし、特徴を計算します。
我々は、獣医が収集し、痛みの有無を注釈した、ユニークなビデオベースの犬行動データセットを提示する。
論文 参考訳（メタデータ） (2022-09-27T10:38:59Z) - Audio-Visual Fusion Layers for Event Type Aware Video Recognition [86.22811405685681]
マルチタスク学習方式において,個別のイベント固有のレイヤによるマルチセンサ統合問題に対処する新しいモデルを提案する。
我々のネットワークは単一のラベルで表現されているが、与えられたビデオを表現するために、さらに真のマルチラベルを出力できる。
論文 参考訳（メタデータ） (2022-02-12T02:56:22Z) - Learning to Predict Salient Faces: A Novel Visual-Audio Saliency Model [96.24038430433885]
本稿では,視覚,音声,顔の3つの分枝からなるマルチモーダルビデオサリエンシーモデルを提案する。
実験結果から,提案手法は,11の最先端サリエンシ予測作業より優れていた。
論文 参考訳（メタデータ） (2021-03-29T09:09:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。