論文の概要: Asymmetric Cross-Modal Fine-Grained Visual Categorization: ACF-Net and the BirdPro Benchmark
- arxiv url: http://arxiv.org/abs/2608.25520v1
- Date: Wed, 26 Aug 2026 08:30:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.671512
- Title: Asymmetric Cross-Modal Fine-Grained Visual Categorization: ACF-Net and the BirdPro Benchmark
- Title（参考訳）: ACF-NetとBirdProベンチマーク
- Abstract要約: ACF-Netは、非対称な視覚的微粒な学習のための新しい光フロー誘導フレームワークである。
ACAFは、弱いマッチングのオーディオビデオ対の下でのモダリティの信頼性を推定し、カテゴリレベルの認識を改善するために不確実性を考慮した適応融合を行う。
BirdProは、非対称なクロスモーダルFGVCの研究をサポートする新しい鳥指向オーディオ視覚ベンチマークである。
- 参考スコア（独自算出の注目度）: 30.481875920258165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Audio-visual cross-modal Fine-Grained Visual Categorization (FGVC) aims to identify fine-grained categories by jointly leveraging visual and auditory information. However, FGVC under asymmetric cross-modal scenarios has received limited attention, where paired video and audio are not strictly synchronized and may not even correspond to the same individual or moment. Such weak and ambiguous cross-modal correspondence poses substantial challenges to effective representation learning and modality alignment. To address these issues, we propose ACF-Net, a novel optical flow-guided framework for asymmetric audio-visual fine-grained learning. ACF-Net consists of two key modules: Optical Flow-Guided Motion (OFGM) and Asymmetric CrossModal Adaptive Fusion (ACAF). OFGM captures motion-sensitive visual cues and suppresses irrelevant background interference, thereby enhancing discriminative dynamic representations in videos. ACAF estimates modality reliability under weakly matched audio-video pairs and performs uncertainty-aware adaptive fusion to improve category-level recognition robustness. To support research on asymmetric cross-modal FGVC, we further construct BirdPro, a new bird-oriented audio-visual benchmark, since existing datasets often lack large-scale category-level audio-video associations under non-strict temporal and instance correspondence. BirdPro contains 1,919 audio recordings and 11,965 videos covering 194 bird species. Extensive experiments show that ACF-Net achieves the best results compared with representative baseline methods, outperforming the strongest baselines by 2.97% and 1.92% in the fused and mismatched settings, respectively.
- Abstract（参考訳）: FGVCは,視覚情報と聴覚情報を協調的に活用することにより,細粒度を識別することを目的としている。
しかし、非対称なクロスモーダルシナリオ下でのFGVCは、ペアビデオとオーディオは厳密に同期せず、同一の個人や瞬間とさえ対応しないという、限定的な注目を集めている。
このような弱であいまいな相互モーダル対応は、効果的な表現学習とモダリティアライメントに重大な課題をもたらす。
これらの問題に対処するために,非対称な視覚的微粒化学習のための光フロー誘導フレームワークであるACF-Netを提案する。
ACF-Netは光学フロー誘導運動(OFGM)と非対称CrossModal Adaptive Fusion(ACAF)の2つの主要なモジュールから構成されている。
OFGMは、動きに敏感な視覚的手がかりを捉え、無関係な背景干渉を抑え、ビデオにおける識別動的表現を強化する。
ACAFは、弱いマッチングのオーディオビデオ対の下でのモダリティの信頼性を推定し、不確実性を認識した適応融合を行い、カテゴリーレベルの認識堅牢性を改善する。
非対称なクロスモーダルFGVCの研究を支援するために,既存のデータセットでは非制限時間とインスタンス対応の大規模カテゴリレベルのオーディオビデオアソシエーションが欠落しているため,鳥指向オーディオ視覚ベンチマークのBirdProを構築した。
BirdProには1,919のオーディオ録音と194種の鳥類をカバーした11,965の動画が含まれている。
大規模な実験により、ACF-Netは代表的ベースライン法と比較して最良の結果が得られることが示され、それぞれ、融合された設定とミスマッチした設定において、最強のベースラインを2.97%、そして1.92%上回った。
関連論文リスト
- V-Co: A Closer Look at Visual Representation Alignment via Co-Denoising [65.5867130156805]
統合JTフレームワークにおける視覚的コデノゲーションの体系的研究であるV-Coについて述べる。
本研究は,視覚的コデノジングを効果的に行うための4つの重要な要素を明らかにする。
V-Coは、基礎となる画素空間拡散ベースラインと強い前の画素拡散法より優れている。
論文 参考訳（メタデータ） (2026-03-17T17:01:54Z) - A Two-Stage Dual-Modality Model for Facial Emotional Expression Recognition [5.014305646574725]
本稿では,第10回ABAWワークショップおよびコンペティションにおけるEXPR認識課題について論じる。
拘束されていないビデオから8つの顔の感情表現をフレームレベルで分類する必要がある。
これらの問題に対処する2段階のデュアルモーダル(音響・視覚)モデルを提案する。
論文 参考訳（メタデータ） (2026-03-12T17:45:12Z) - Representation-Regularized Convolutional Audio Transformer for Audio Understanding [53.092757178419355]
スクラッチからのブートストラップ表現は計算に高価で、しばしば収束するために広範囲のトレーニングを必要とします。
本稿では,これらの課題に対処するための統合フレームワークであるConvolutional Audio Transformer (CAT)を提案する。
論文 参考訳（メタデータ） (2026-01-29T12:16:19Z) - Complementary and Contrastive Learning for Audio-Visual Segmentation [74.11434759171199]
本稿では,ローカル情報とグローバル情報の両方を処理可能な新しいフレームワークであるComplementary and Contrastive Transformer(CCFormer)を提案する。
提案手法は,S4, MS3, AVSSデータセットにまたがる最先端のベンチマークを新たに設定する。
論文 参考訳（メタデータ） (2025-10-11T06:36:59Z) - High-Quality Sound Separation Across Diverse Categories via Visually-Guided Generative Modeling [65.02357548201188]
DAVIS(Diffusion-based Audio-VIsual separation framework)を提案する。
本フレームワークは、混合音声入力と関連する視覚情報に基づいて、ノイズ分布から直接、所望の分離音スペクトルを合成することによって機能する。
論文 参考訳（メタデータ） (2025-09-26T08:46:00Z) - Mitigating Audiovisual Mismatch in Visual-Guide Audio Captioning [37.17910848101769]
現在の視覚誘導型オーディオキャプションシステムは、現実のシナリオにおけるオーディオヴィジュアル・アライメントに対処できない。
本稿では,モーダルな不確実性定量化を通じて視覚情報の流れを動的に変調するエントロピー対応ゲート融合フレームワークを提案する。
また,合成ミスマッチ学習ペアを生成するバッチワイドオーディオ視覚シャッフル技術を開発した。
論文 参考訳（メタデータ） (2025-05-28T07:08:17Z) - $C^2$AV-TSE: Context and Confidence-aware Audio Visual Target Speaker Extraction [80.57232374640911]
我々はMask-And-Recover (MAR)と呼ばれるモデルに依存しない戦略を提案する。
MARは、モダリティ間およびモダリティ間コンテキスト相関を統合し、抽出モジュール内の大域的推論を可能にする。
各サンプルの難易度を向上するために, 精細信頼スコア(FCS)モデルを導入する。
論文 参考訳（メタデータ） (2025-04-01T13:01:30Z) - DeepSound-V1: Start to Think Step-by-Step in the Audio Generation from Videos [4.452513686760606]
マルチモーダル大言語モデル(MLLM)の内部連鎖(CoT)を利用したビデオから音声を生成するフレームワークを提案する。
対応するマルチモーダル推論データセットを構築し、音声生成における初期推論の学習を容易にする。
実験では,提案手法が生成した音声の不一致(発声)の低減に有効であることを示す。
論文 参考訳（メタデータ） (2025-03-28T07:56:19Z) - Improving Audio-Visual Speech Recognition by Lip-Subword Correlation
Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。
まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。
次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-08-14T08:19:24Z) - How to Teach DNNs to Pay Attention to the Visual Modality in Speech
Recognition [10.74796391075403]
本研究では、AV Alignの内部動作を調査し、オーディオ・視覚アライメントパターンを可視化する。
AV Alignは、一般に単調なパターンで、TD-TIMITのフレームレベルで、音声の音響的および視覚的表現を調整することを学習している。
本稿では,視覚的表現から唇関連行動単位を予測する正規化手法を提案する。
論文 参考訳（メタデータ） (2020-04-17T13:59:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。