論文の概要: UniSkip-Mamba: A Frequency-Aware State Space Model for Audio-Visual Temporal Forgery Localization
- arxiv url: http://arxiv.org/abs/2607.04498v1
- Date: Sun, 05 Jul 2026 20:51:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.949679
- Title: UniSkip-Mamba: A Frequency-Aware State Space Model for Audio-Visual Temporal Forgery Localization
- Title（参考訳）: UniSkip-Mamba: 時空間定位のための周波数対応状態空間モデル
- Abstract要約: 周波数対応状態空間モデルフレームワークUniSkip-Mambaを提案する。
AV-Deepfake1Mでは63.4%のAP@0.95,63.58%のmAP,6倍の高速化を実現した。
- 参考スコア（独自算出の注目度）: 13.738195795114516
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the proliferation of AI-generated content, sophisticated multimedia manipulation has raised critical concerns about malicious applications such as opinion manipulation and evidence fabrication, making Audio-Visual Temporal Forgery Localization (AV-TFL) an urgent research frontier. Existing TFL methods have progressed along two main paradigms: Transformer-based temporal modeling and channel-wise multimodal fusion. While these approaches capture temporal dependencies and cross-modal correlations, they process all frequency components indiscriminately, leading to overfitting on high-frequency noise and limited robustness under real-world data degradation. Through systematic frequency domain analysis, we find that forgery-discriminative patterns concentrate in the low/mid-frequency range (normalized frequency 0-0.15), while high-frequency components primarily introduce noise, removing them even improves detection performance by +1.4%. Based on this phenomenon, we propose UniSkip-Mamba, a frequency-aware State Space Model framework that incorporates Unified Multimodal Sequence Fusion to preserve cross-modal phase relationships, and Skip-Scanning Mamba Blocks that implement frequency-aware regularization through a novel Group-Scan-Merge mechanism, naturally biasing learning toward discriminative low/mid-frequency patterns (0-0.15) while maintaining representational completeness. We achieve state-of-the-art (SOTA) performance: 63.4% AP@0.95 on LAV-DF (+9.8% improvement) and 63.58% mAP on AV-Deepfake1M (+14.32% improvement), with 6x faster inference. Our frequency-domain analysis provides theoretical justification from a signal processing perspective for why skip-scanning inherently improves both accuracy and robustness.
- Abstract（参考訳）: AI生成コンテンツの普及に伴い、高度なマルチメディア操作は、意見操作や証拠作成などの悪意あるアプリケーションに対して重要な懸念を提起し、オーディオ・ビジュアル・テンポラル・フォージェリ・ローカライゼーション(AV-TFL)を緊急の研究フロンティアにしている。
既存のTFL法は、トランスフォーマーベースの時間モデリングとチャネルワイドマルチモーダル融合の2つのパラダイムに沿って進歩している。
これらの手法は時間的依存関係と時間的相互相関を捉えるが、全ての周波数成分を無差別に処理し、実世界のデータ劣化下では高周波数ノイズと限られたロバスト性に過度に適合する。
周波数領域の系統的解析により、偽識別パターンは低/中周波数域(正規化周波数0-0.15)に集中し、高周波成分はノイズを主に導入し、検出性能を+1.4%向上させる。
この現象に基づいて、多モード位相関係を維持するためにUnixi Multimodal Sequence Fusionを組み込んだ周波数認識状態空間モデルフレームワークUniSkip-Mambaと、新しいGroup-Scan-Merge機構による周波数認識正則化を実装したSkip-Scanning Mambaブロックを提案し、表現完全性を維持しつつ、識別的低周波パターン(0-0.15)への学習を自然にバイアスする。
LAV-DFでは63.4% AP@0.95(+9.8%改善)、AV-Deepfake1Mでは63.58% mAP(+14.32%改善)、推論では6倍高速である。
我々の周波数領域分析は、スキップスキャンが本質的に精度とロバスト性の両方を改善する理由を信号処理の観点から理論的に正当化する。
関連論文リスト
- S$^3$AM: A Single-Stream SAM with Reliability-Calibrated Frequency Adapter for Multi-modal Salient Object Detection [74.15663758681849]
シングルストリームフレームワークは、信頼性キャリブレーションされた周波数適応をMSOD用のSAMバックボーンに組み込む。
RGB-D、RGB-T、RGB-NIRの正当性オブジェクト検出ベンチマークの実験により、提案フレームワークが競合性能を達成することを確認した。
論文 参考訳（メタデータ） (2026-08-18T08:05:00Z) - HyFAD: Hybrid Time-Frequency Diffusion with Frequency-Aware Embedding for Time Series Imputation [10.212955864311589]
時系列計算のための時間周波数拡散モデルである textbfHyFAD を提案する。
周波数領域拡散プロセスは高周波スペクトル成分を洗練させる一方、低周波グローバルトレンドを捉える。
複数のベンチマークデータセットの実験は、HyFADが最先端のパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2026-06-03T06:03:37Z) - FusAD: Time-Frequency Fusion with Adaptive Denoising for General Time Series Analysis [92.23551599659186]
時系列分析は、金融、医療、産業、気象学などの分野において重要な役割を果たす。
FusADは多様な時系列タスク用に設計された統合分析フレームワークである。
論文 参考訳（メタデータ） (2025-12-16T04:34:27Z) - SONAR: Spectral-Contrastive Audio Residuals for Generalizable Deepfake Detection [6.042897432654865]
Spectral-cONtrastive Audio Residuals (AR)は、ディープフェイクオーディオ検出器のための周波数誘導フレームワークである。
ARは音声信号を補完表現に切り離す。
ASVspoof 2021およびin-the-wildベンチマークで評価した。
論文 参考訳（メタデータ） (2025-11-26T12:16:38Z) - FAIM: Frequency-Aware Interactive Mamba for Time Series Classification [87.84511960413715]
時系列分類(TSC)は、環境モニタリング、診断、姿勢認識など、多くの実世界の応用において重要である。
本稿では,周波数対応対話型マンバモデルであるFAIMを提案する。
FAIMは既存の最先端(SOTA)手法を一貫して上回り、精度と効率のトレードオフが優れていることを示す。
論文 参考訳（メタデータ） (2025-11-26T08:36:33Z) - Cross-Attention with Confidence Weighting for Multi-Channel Audio Alignment [5.380078543698624]
マルチチャンネルオーディオアライメントは、生体音響モニタリング、空間オーディオシステム、音響ローカライゼーションにおいて重要な要件である。
マルチチャンネル音声同期を改善するために,クロスアテンション機構と信頼度重み付けスコアリングを組み合わせた手法を提案する。
提案手法は,BioDCASE 2025 Task 1 チャレンジにおいて,ディープラーニングベースラインの 0.58 に対して,テストデータセットの平均 0.30 MSE で1位となった。
論文 参考訳（メタデータ） (2025-09-21T05:14:06Z) - A novel fast short-time root music method for vibration monitoring of high-speed spindles [5.048369760845484]
本稿では,FFT高速化したLaczosの対角化を利用して計算複雑性を低減する高速短時間ルートMUMU (fSTrM) を提案する。
本研究では,fSTrMが1.2Hzの周波数分解能(vs.12.5 Hz),93%の検知レートを5dB SNRで達成し,高調波コンテンツ解析により欠陥重大度を定量化することを示した。
論文 参考訳（メタデータ） (2025-06-21T05:35:38Z) - LSCD: Lomb-Scargle Conditioned Diffusion for Time series Imputation [55.800319453296886]
欠落または不規則なサンプルデータを持つ時系列は、機械学習において永続的な課題である。
我々は,不規則サンプルデータのパワースペクトルの信頼性の高い計算を可能にする,異なるLombiable-Scargle層を導入する。
論文 参考訳（メタデータ） (2025-06-20T14:48:42Z) - FADPNet: Frequency-Aware Dual-Path Network for Face Super-Resolution [70.61549422952193]
計算コストの制限による顔超解像(FSR)は未解決の問題である。
既存のアプローチでは、全ての顔のピクセルを等しく扱い、計算資源を最適以下に割り当てる。
本稿では、低周波成分と高周波成分に顔の特徴を分解する周波数対応デュアルパスネットワークであるFADPNetを提案する。
論文 参考訳（メタデータ） (2025-06-17T02:33:42Z) - FlowTS: Time Series Generation via Rectified Flow [67.41208519939626]
FlowTSは、確率空間における直線輸送を伴う整流フローを利用するODEベースのモデルである。
非条件設定では、FlowTSは最先端のパフォーマンスを達成し、コンテキストFIDスコアはStockとETThデータセットで0.019と0.011である。
条件設定では、太陽予測において優れた性能を達成している。
論文 参考訳（メタデータ） (2024-11-12T03:03:23Z) - CATCH: Channel-Aware multivariate Time Series Anomaly Detection via Frequency Patching [24.927390742543707]
周波数パッチに基づくフレームワークであるCATCHを紹介する。
本稿では,パッチワイドマスクジェネレータとマスクアテンション機構を備えたChannel Fusion Module (CFM)を提案する。
10の現実世界のデータセットと12の合成データセットの実験は、CATCHが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2024-10-16T05:58:55Z) - Frequency-Aware Deepfake Detection: Improving Generalizability through
Frequency Space Learning [81.98675881423131]
この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。
既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。
本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
論文 参考訳（メタデータ） (2024-03-12T01:28:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。