論文の概要: Open-Vocabulary Audio-Visual Event Localization via Complex-Valued Fusion

• arxiv url: http://arxiv.org/abs/2610.11846v1
• Date: Thu, 08 Oct 2026 12:34:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:54.02382
• Title: Open-Vocabulary Audio-Visual Event Localization via Complex-Valued Fusion
• Title（参考訳）: 複素値融合によるオープンボキャブラリ・オーディオ・ビジュアルイベントの定位
• Abstract要約: Open-Vocabulary Audio-Visual Event Localization (OV-AVEL)は、トレーニング中に見たことのないクラスを含む、各ビデオセグメントにイベントクラスをラベル付けする。 凍結したマルチモーダル基礎モデルを用いて、視覚的フレーム、音声メルスペクトル、および各候補クラス名を共有空間に埋め込む。 我々は複素値類似性を計算し、複素値ニューラルネットワーク(CVNN)を用いて融合を学習する。 4ストリームの複合アーキテクチャは、両方のOV-AVELベンチマークに新しい技術の状態を設定している。
• 参考スコア（独自算出の注目度）: 5.71829852772231
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open-Vocabulary Audio-Visual Event Localization (OV-AVEL) labels each video segment with an event class, including classes that were never seen during training. The dominant pipeline uses a frozen multimodal foundation model (e.g. ImageBind) to embed the visual frame, the audio mel-spectrogram, and each candidate class name into a shared space, then computes two cosine similarities for each segment against each class: visual-text and audio-text. Existing methods then collapse this pair into a single scalar score with a fixed rule (geometric mean, weighted average) before taking the argmax. Instead, we compute complex-valued similarities and learn their fusion using a complex-valued neural network (CVNN). Each modality's standard representation becomes the real part of our pipeline, and a paired companion stream supplies the imaginary part. We use imaginary part of iHSV for visual modality and CycleGAN-translated phase spectrogram for audio modality as these companion streams. This results in two complex similarities, which are then fused. While the vision and audio encoders remain frozen, only the temporal-attention blocks and the fusion CVNN are trained. The four-stream complex architecture sets a new state of the art on both OV-AVEL benchmarks. On the open (unseen-class) split of OV-AVEBench we reach 66.5/59.1/54.1% Acc/Seg-F1/Event-F1 (+1.6/+4.1/+6.6 over the previously reported fine-tuned baseline), with consistent gains for seen classes as well. We also modify AVE dataset for this task and observe that our architecture reaches 60.7/51.9/50.4% Acc/Seg-F1/Event-F1, achieving state-of-the-art OV-AVEL results on it as well. We also propose a two-stream alternative, which also sees great improvements over the baseline.
• Abstract（参考訳）: Open-Vocabulary Audio-Visual Event Localization (OV-AVEL)は、トレーニング中に見たことのないクラスを含む、各ビデオセグメントにイベントクラスをラベル付けする。 支配的なパイプラインは、凍結したマルチモーダル基盤モデル(例:ImageBind)を使用して、ビジュアルフレーム、オーディオメル・スペクトログラム、および各候補クラス名を共有スペースに埋め込み、各セグメントに対して視覚テキストとオーディオテキストの2つのコサイン類似性を計算する。 既存の方法は、argmaxを取る前に、このペアを固定された規則(幾何学平均、重み付き平均)で1つのスカラースコアに分解する。 代わりに、複素数値類似性を計算し、複素数値ニューラルネットワーク(CVNN)を用いて融合を学習する。 それぞれのモダリティの標準表現がパイプラインの本当の部分となり、ペア化されたコンパニオンストリームが想像的な部分を供給する。 我々は、iHSVの想像的部分を視覚的モダリティに、CycleGAN変換位相スペクトログラムをこれらの伴奏ストリームとして用いた。 この結果、2つの複雑な類似点が融合される。 ビジョンとオーディオエンコーダは凍結されているが、時間的アテンションブロックと融合CVNNのみが訓練されている。 4ストリームの複合アーキテクチャは、両方のOV-AVELベンチマークで新しい最先端を設定できる。 OV-AVEBenchのオープンな(目に見えないクラス)分割では、66.5/59.1/54.1% Acc/Seg-F1/Event-F1 (+1.6/+4.1/+6.6)に達する。 また、このタスクのためにAVEデータセットを変更し、アーキテクチャが60.7/51.9/50.4% Acc/Seg-F1/Event-F1に到達し、最先端のOV-AVEL結果も達成する。 また、ベースラインよりも大幅に改善された2ストリームの代替も提案しています。

関連論文リスト

• MJEPA: A Simple and Scalable Joint-Embedding Predictive Architecture for Audio-Visual Learning [15.707226798418]
  大規模ビデオデータからの自己教師付き学習が視覚表現学習の主流のパラダイムとして浮上している。 既存の方法は、モダリティ固有のエンコーダと、コントラストや再構成目的の複雑な組み合わせに依存している。 両モードで単一の統一エンコーダを使用する音声・視覚学習のための共同埋め込み型予測アーキテクチャであるMJEPAを紹介する。
  論文  参考訳（メタデータ） (2026-06-23T22:48:42Z)
• Hierarchical Semantic-Constrained Heterogeneous Graph for Audio-Visual Event Localization [69.67186845167568]
  Open-vocabulary Audio-visual Event Localization (OV-AVEL) は、音声と視覚のキューを共同でモデル化し、イベントを認識および時間的にローカライズする。 既存の手法は主にユークリッド空間における共同視覚表現を学習する。 音声・視覚イベントの局所化のための階層的セマンティック制約ヘテロジニアスグラフ(HSCHG)を提案する。
  論文  参考訳（メタデータ） (2026-06-05T08:23:58Z)
• Representation-Regularized Convolutional Audio Transformer for Audio Understanding [53.092757178419355]
  スクラッチからのブートストラップ表現は計算に高価で、しばしば収束するために広範囲のトレーニングを必要とします。 本稿では,これらの課題に対処するための統合フレームワークであるConvolutional Audio Transformer (CAT)を提案する。
  論文  参考訳（メタデータ） (2026-01-29T12:16:19Z)
• PrismAudio: Decomposed Chain-of-Thoughts and Multi-dimensional Rewards for Video-to-Audio Generation [57.864929968616586]
  Video-to-Audio (V2A) の生成には、4つの重要な知覚次元のバランスが必要である。 私たちは、強化学習をV2A世代に統合する最初のフレームワークであるPrismAudioを紹介します。
  論文  参考訳（メタデータ） (2025-11-24T07:11:12Z)
• Complementary and Contrastive Learning for Audio-Visual Segmentation [74.11434759171199]
  本稿では,ローカル情報とグローバル情報の両方を処理可能な新しいフレームワークであるComplementary and Contrastive Transformer(CCFormer)を提案する。 提案手法は,S4, MS3, AVSSデータセットにまたがる最先端のベンチマークを新たに設定する。
  論文  参考訳（メタデータ） (2025-10-11T06:36:59Z)
• Normalized Matching Transformer [17.007956857855806]
  画像のペア間の疎鍵点マッチングのための新しい手法を提案する。 提案手法は,Sinkhornアルゴリズムとともにキーポイント対応を復号する正規化トランスフォーマデコーダと,特徴処理のためのSplineCNNグラフニューラルネットワークを組み合わせた完全深層学習に基づくアプローチからなる。
  論文  参考訳（メタデータ） (2025-03-22T10:09:11Z)
• SCVCNet: Sliding cross-vector convolution network for cross-task and inter-individual-set EEG-based cognitive workload recognition [15.537230343119875]
  本稿では,脳波パターンを利用した認知作業量認識装置の汎用的手法を提案する。 パワースペクトル密度の微細な周波数構造を解析することにより,脳波のタスクおよび個々のセットに関する干渉を除去するSCVCNetというニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-09-21T13:06:30Z)
• Cross-modal Audio-visual Co-learning for Text-independent Speaker Verification [55.624946113550195]
  本稿では,モーダルな発話協調学習パラダイムを提案する。 モーダル変換相関を学習するために、2つのクロスモーダルブースターを導入する。 LRSLip3, GridLip, LomGridLip, VoxLip を用いた実験の結果,提案手法は平均相対性能を60%, 20%向上させることがわかった。
  論文  参考訳（メタデータ） (2023-02-22T10:06:37Z)
• Squeeze-Excitation Convolutional Recurrent Neural Networks for Audio-Visual Scene Classification [4.191965713559235]
  本稿では,自動シーン分類のためのマルチモーダルモデルを提案する。 聴覚情報と視覚情報を同時に利用する。 予測性能とシステムの複雑さとの間には、優れたトレードオフがあることが示されている。
  論文  参考訳（メタデータ） (2021-07-28T06:10:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。