論文の概要: SCoPE: Training-Free Audio-Visual Event Perception via Sparse Cross-Modal Prior Exchange

• arxiv url: http://arxiv.org/abs/2608.07923v1
• Date: Sat, 08 Aug 2026 04:59:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.565872
• Title: SCoPE: Training-Free Audio-Visual Event Perception via Sparse Cross-Modal Prior Exchange
• Title（参考訳）: SCoPE:スパース・クロスモーダル事前交換による学習不要のオーディオ・ビジュアルイベント知覚
• Abstract要約: トレーニングフリーメソッドは、凍結したオーディオと視覚的特徴をテキストエンコードされたイベント名とマッチングすることで、新しいイベント語彙をクエリする。 間違ったラベルは、少なくとも正しいラベルのスコアを付けることができる。 トレーニングフリーのフレームワークであるSCoPEを導入し、全ての問合せラベルが共通のエビデンスを競う。
• 参考スコア（独自算出の注目度）: 7.149401911329968
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio-visual event perception (AVEP) determines which events occur in a video, when they occur, and whether they are audible, visible, or both. Training-free methods query new event vocabularies by matching frozen audio and visual features with text-encoded event names. However, related labels share evidence. An incorrect label can then score at least as high as a correct one. We call this a false co-activation (FCA). No scalar cutoff can reject the incorrect label while keeping every correct one. Class-specific thresholds may prevent that label from becoming a final prediction, but the FCA remains in the underlying score vector. We introduce SCoPE, a training-free framework in which all queried labels compete for shared evidence and each modality guides event selection in the other. We derive an exact condition for when this competition removes an FCA in a two-label fit. With identical frozen CLIP+CLAP backbones on LLP, SCoPE improves Type@seg by 7.45 points and Event@seg by 5.04 points compared with the reported AV$^2$A values. The same fixed configuration transfers unchanged to OV-AVEBench and VGGSound-AVEL100k.
• Abstract（参考訳）: AVEP(Audio-visual Event Recognition)は、ビデオ内で発生したイベント、発生時期、可聴性、可視性、またはその両方を決定する。 トレーニングフリーメソッドは、凍結したオーディオと視覚的特徴をテキストエンコードされたイベント名とマッチングすることで、新しいイベント語彙をクエリする。 しかし、関連レーベルは証拠を共有している。 間違ったラベルは、少なくとも正しいラベルのスコアを付けることができる。 これをfalse co-activation(FCA)と呼ぶ。 正しいラベルを保持しながら、間違ったラベルを拒否するスカラーカットオフはない。 クラス固有の閾値は、そのラベルが最終的な予測になるのを防ぐが、FCAは基礎となるスコアベクトルに留まる。 SCoPEは、全ての問合せラベルが共通のエビデンスを競い合い、各モダリティがイベント選択をガイドする、トレーニング不要のフレームワークである。 この競合が2ラベルのフィットでFCAを取り除いた場合の正確な条件を導出する。 LLP上の同じ凍結されたCLIP+CLAPバックボーンにより、SCoPEは、報告されたAV$^2$A値と比較して、Type@segを7.45ポイント、Event@segを5.04ポイント改善する。 同じ固定配置はOV-AVEBenchとVGGSound-AVEL100kに変化しない。

関連論文リスト

• Same Target, Different Basins: Hard vs. Soft Labels for Annotator Distributions [0.0]
  実験的なソフトラベル分布に基づいて,1つのラベルに投票をラップするか,直接訓練するかの選択肢として,ハードラベル配信について検討した。 我々は,マルチパスのアブレーションとして決定論的制御を用い,実例と分配の一致を破る制御としてSLSをシャッフルする。
  論文  参考訳（メタデータ） (2026-05-20T03:02:20Z)
• UWAV: Uncertainty-weighted Weakly-supervised Audio-Visual Video Parsing [27.60266755835337]
  本研究は,Uncertainty-weighted Weakly-supervised Audio-visual Video Parsing (UWAV)と呼ばれる,これらの弱点を克服するための新しいアプローチを提案する。 我々の革新的なアプローチは、これらの評価された擬似ラベルに関連する不確実性に影響を及ぼし、改良トレーニングのための機能ミックスアップベースのトレーニングレギュラー化を取り入れている。 実験の結果,UWAVは2つの異なるデータセットにまたがって,複数のメトリクス上でAVVPタスクの最先端の手法より優れており,その有効性と一般化性を示している。
  論文  参考訳（メタデータ） (2025-05-14T17:59:55Z)
• Label-anticipated Event Disentanglement for Audio-Visual Video Parsing [61.08434062821899]
  我々は新しいデコードパラダイムであるアンダーライン・サンダーライン・エンダーライン・アンダーライン・インダーライン・プロジェクション(LEAP)を導入する。 LEAPは、音声/視覚セグメントの符号化された潜在機能を意味的に独立したラベル埋め込みに反復的に投影する。 LEAPパラダイムを促進するために,新しい音声・視覚的類似性損失関数を含むセマンティック・アウェア・最適化戦略を提案する。
  論文  参考訳（メタデータ） (2024-07-11T01:57:08Z)
• Advancing Weakly-Supervised Audio-Visual Video Parsing via Segment-wise Pseudo Labeling [31.197074786874943]
  オーディオ・ビジュアル・ビデオ・パーシング(Audio-Visual Video Parsing)タスクは、可聴ビデオの音声ストリームと視覚ストリームの両方で発生する事象を特定し、時間的にローカライズすることを目的としている。 高度に注釈付けされたラベルがないため、最近の研究は偽のラベルを活用して監督を強化しようとしている。 本稿では,各ビデオセグメントにラベルを明示的に割り当てる擬似ラベル生成戦略を提案する。
  論文  参考訳（メタデータ） (2024-06-03T01:09:15Z)
• From Weak to Strong Sound Event Labels using Adaptive Change-Point Detection and Active Learning [11.312115846980602]
  音声録音セグメントの弱いラベルアノテーションを機械誘導する適応的変化点検出法(A-CPD)を提案する。 ラベルのない音声記録毎に,アノテーションを導くために使用する確率曲線の導出に予測モデルを用いる。 アノテーション予算の制限により,高品質なラベルを抽出し,A-CPDに好適な結果を示すことができることを示す。
  論文  参考訳（メタデータ） (2024-03-13T13:33:35Z)
• Appeal: Allow Mislabeled Samples the Chance to be Rectified in Partial Label Learning [55.4510979153023]
  部分ラベル学習(PLL)では、各インスタンスは候補ラベルのセットに関連付けられ、そのうち1つだけが接地真実である。 誤記されたサンプルの「アペアル」を支援するため,最初の魅力に基づくフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-18T09:09:52Z)
• Revisit Weakly-Supervised Audio-Visual Video Parsing from the Language Perspective [41.07880755312204]
  本稿では,音声・視覚的モダリティのすべての事象を特定し,特定することを目的とした,弱教師付き音声・視覚的ビデオ解析タスク(AVVP)に焦点を当てる。 AVVPを言語の観点から扱うことを考える。なぜなら言語は固定ラベルを超えて各セグメントにどのように様々なイベントが現れるかを自由に記述できるからである。 我々の単純で効果的なアプローチは、最先端の手法を大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2023-06-01T12:12:22Z)
• Complementary Classifier Induced Partial Label Learning [54.61668156386079]
  部分ラベル学習(PLL)では、各トレーニングサンプルは候補ラベルのセットに関連付けられ、そのうち1つのみが有効である。 曖昧さでは、既存の研究は通常、非候補ラベルセットの有効性を十分に調査しない。 本稿では,非候補ラベルを用いて補完的分類器を誘導し,従来の分類器に対する逆関係を自然に形成する。
  論文  参考訳（メタデータ） (2023-05-17T02:13:23Z)
• Speaker Embedding-aware Neural Diarization: a Novel Framework for Overlapped Speech Diarization in the Meeting Scenario [51.5031673695118]
  重なり合う音声のダイアリゼーションを単一ラベル予測問題として再構成する。 話者埋め込み認識型ニューラルダイアリゼーション(SEND)システムを提案する。
  論文  参考訳（メタデータ） (2022-03-18T06:40:39Z)
• Instance-Dependent Partial Label Learning [69.49681837908511]
  部分ラベル学習は、典型的には弱教師付き学習問題である。 既存のほとんどのアプローチでは、トレーニングサンプルの間違ったラベルがランダムに候補ラベルとして選択されていると仮定している。 本稿では,各例が実数で構成された潜在ラベル分布と関連していると仮定する。
  論文  参考訳（メタデータ） (2021-10-25T12:50:26Z)
• Cross-domain Speech Recognition with Unsupervised Character-level Distribution Matching [60.8427677151492]
  2つの領域における各文字間の微粒化適応を行うための文字レベルの分布マッチング手法であるCMatchを提案する。 Libri-Adaptデータセットを用いた実験の結果,提案手法はクロスデバイスとクロス環境の両方で14.39%,16.50%の単語誤り率(WER)を低減できることがわかった。
  論文  参考訳（メタデータ） (2021-04-15T14:36:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。