論文の概要: Inconsistency-aware Multimodal Schrödinger Bridge for Deepfake Localization
- arxiv url: http://arxiv.org/abs/2605.23113v1
- Date: Fri, 22 May 2026 00:17:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-25 17:29:20.138758
- Title: Inconsistency-aware Multimodal Schrödinger Bridge for Deepfake Localization
- Title(参考訳): 不整合性を考慮したマルチモーダルシュレーディンガー橋の深部局部化
- Abstract要約: IaMSBは一貫性のないマルチモーダル・シュルディンガー橋である。
一貫性推定、クロスモーダル情報選択、ブリッジステップスケジューリングを統一する。
厳密なIoU境界精度を安定させ、AP@0.95を3%上昇させ、高精度な局在を向上させる。
- 参考スコア(独自算出の注目度): 11.418398950934671
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Audio-visual deepfake localization demands interval-level outputs that serve as temporal evidence. Despite recent progress, symmetric fusion under single-sided or asynchronous forgeries propagates cross-modal noise, degrading high-precision localization. We present IaMSB, an inconsistency-aware multimodal Schrödinger Bridge (SB) that jointly estimates cross-modal consistency and performs interval-level localization. Unlike diffusion models, SB minimizes path-distribution discrepancy and yields consistency scores without explicit noise injection or denoising. With the Schrödinger Bridge (SB), IaMSB unifies consistency estimation, cross-modal information selection, and bridge-step scheduling in one framework. Specifically, a lightweight coarse bridge first proposes candidate intervals and estimates cross-modal consistency; these statistics select cross-modal witness signals and allocate bridge steps asymmetrically across modalities. A refinement bridge then performs step-tuned fusion and outputs refined, time-aligned intervals. IaMSB anticipates single-sided and asynchronous forgeries and, using bottlenecked cross-modal interaction with step allocation, suppresses noise transfer, avoids unnecessary iterations. Across benchmarks, IaMSB stabilizes strict-IoU boundary precision, raising AP@0.95 by 3%~10%, and yields improved high-precision localization, particularly for single-sided forgeries.
- Abstract(参考訳): オーディオ・ビジュアル・ディープフェイク・ローカライゼーションは、時間的証拠として機能するインターバルレベルの出力を要求する。
近年の進歩にもかかわらず、シングルサイドまたは非同期フォージェリーの対称融合はクロスモーダルノイズを伝播させ、高精度な局所化を低下させる。
Inconsistency-aware multimodal Schrödinger Bridge (SB) を提案する。
拡散モデルとは異なり、SBは経路分布の分散を最小化し、明確なノイズ注入やノイズ発生なしに一貫性のスコアを得る。
Schrödinger Bridge (SB)により、IaMSBは一貫性推定、クロスモーダル情報選択、ブリッジステップスケジューリングをひとつのフレームワークに統合する。
具体的には、まず、軽量な粗い橋が候補間隔を提案し、クロスモーダルな一貫性を推定し、これらの統計はクロスモーダルな目撃信号を選択し、モダリティ間で対称に橋脚を割り当てる。
精製ブリッジはステップチューニングされた融合を行い、精製された時間整合間隔を出力する。
IaMSBは、シングルサイドおよび非同期のフォージェリーを予測し、ステップ割り当てとボトルネック化されたクロスモーダルインタラクションを使用してノイズ伝達を抑制し、不要なイテレーションを回避する。
ベンチマーク全体で、IaMSBは厳密なIoU境界の精度を安定させ、AP@0.95を3%から10%引き上げ、特に片側フォージェリーの高精度なローカライゼーションを改善する。
関連論文リスト
- Reliable Near-Field Multi-User Positioning Informed by Two-Stage MUSIC [52.33021019321273]
近距離場ローカライゼーションは、将来の無線システムにおける高解像度マルチユーザ位置決めのための有望な技術である。
パラメータ推定とパス/ソースアソシエーションを分離する必要のある既存のニアフィールドローカライズ手法では,オーバヘッドと累積誤差に悩まされている。
本稿では,2段階のMUltiple SIgnal Classification (MUSIC) を用いて,Lose-of-sight (LoS) とNon-LoS (NLoS) の混在シナリオにおいてエンド・ツー・エンドな位置決め型ディープラーニング(DL) フレームワークを提案する。
論文 参考訳(メタデータ) (2026-09-08T20:03:33Z) - S$^3$AM: A Single-Stream SAM with Reliability-Calibrated Frequency Adapter for Multi-modal Salient Object Detection [74.15663758681849]
シングルストリームフレームワークは、信頼性キャリブレーションされた周波数適応をMSOD用のSAMバックボーンに組み込む。
RGB-D、RGB-T、RGB-NIRの正当性オブジェクト検出ベンチマークの実験により、提案フレームワークが競合性能を達成することを確認した。
論文 参考訳(メタデータ) (2026-08-18T08:05:00Z) - HybridSB-MoE: Dual-Domain Schrödinger Bridges with Scene-Adaptive Expert Routing for Speech Enhancement [8.444837651455275]
HybridSB-MoEは、生成音声強調のための二重ドメインフレームワークである。
スペクトルモデルはハーモニック構造を捉えるが、しばしば位相を乱す、波形モデルは位相を保ち、ハーモニックを見逃す、シュルディンガー橋(SB)はノイズからクリーンな音声への輸送を短縮するが、コストは訓練にゆるやかに結びついているだけである。
VoiceBank+DEMANDでは、HybridSB-MoEは、ステップ予算で拡散ベースラインとSBベースベースラインを上回っている。
論文 参考訳(メタデータ) (2026-08-13T02:00:52Z) - Twisted Schrödinger Bridge Matching [34.126987447337534]
拡散に基づくシュルディンガー橋模型は、2つの所定の境界分布間の最適輸送ダイナミクスを近似するために提案されている。
連続時間と離散時間の両方を扱うために設計された拡散法であるTwisted Schrdinger Bridge Matchingを紹介する。
論文 参考訳(メタデータ) (2026-07-18T22:30:43Z) - OmniForcing: Unleashing Real-time Joint Audio-Visual Generation [51.031726911410594]
最近のジョイントオーディオ・視覚拡散モデルは、優れた生成品質を実現するが、高いレイテンシーに悩まされる。
OmniForcingは、オフラインの双方向拡散モデルを高忠実度ストリーミングオートレジェネレータに蒸留する最初のフレームワークである。
論文 参考訳(メタデータ) (2026-03-12T08:17:36Z) - Learning to Separate RF Signals Under Uncertainty: Detect-Then-Separate vs. Unified Joint Models [53.79667447811139]
受信した信号に直接適用した場合、単一のディープニューラルネットワークアーキテクチャが共同で検出および分離することを学習していることを示す。
これらの結果から,UJM は DTS に代わるスケーラブルで実用的な代替品であり,広範に推定された統合分離のための新たな方向を開拓した。
論文 参考訳(メタデータ) (2026-02-04T15:25:02Z) - Neighbor-aware Instance Refining with Noisy Labels for Cross-Modal Retrieval [12.062625455647265]
CMR(Cross-Modal Retrieval)はマルチモーダル解析の分野で大きな進歩を遂げている。
CMR法は、モデル性能天井、校正信頼性、データ利用率を同時に満たさないことが多い。
我々は,Nighbor-aware Instance Refining with Noisy Labels (NIRNL) という,より堅牢なクロスモーダル学習フレームワークを提案する。
論文 参考訳(メタデータ) (2025-12-30T08:19:07Z) - Cross-Attention with Confidence Weighting for Multi-Channel Audio Alignment [5.380078543698624]
マルチチャンネルオーディオアライメントは、生体音響モニタリング、空間オーディオシステム、音響ローカライゼーションにおいて重要な要件である。
マルチチャンネル音声同期を改善するために,クロスアテンション機構と信頼度重み付けスコアリングを組み合わせた手法を提案する。
提案手法は,BioDCASE 2025 Task 1 チャレンジにおいて,ディープラーニングベースラインの 0.58 に対して,テストデータセットの平均 0.30 MSE で1位となった。
論文 参考訳(メタデータ) (2025-09-21T05:14:06Z) - Momentum Multi-Marginal Schrödinger Bridge Matching [20.53138254276056]
textbfMomentum Multi-Marginal Schr"odinger Bridge Matching (3MSBM)を導入する。
一致したアプローチとして、3MSBMはトレーニングを通して中間限界を保存するトランスポートマップを学習し、収束とスケーラビリティを著しく改善する。
論文 参考訳(メタデータ) (2025-06-11T20:41:23Z) - Branched Schrödinger Bridge Matching [45.105452288011726]
分岐Schr"odinger Bridge Matching (BranchSBM)は,分岐Schr"odinger Bridgesを学習する新しいフレームワークである。
BranchSBMは、複数の時間依存速度場と成長過程をパラメータ化し、終端分布への人口レベルのばらつきを表現する。
分岐SBMは, 多経路表面ナビゲーション, 均一な前駆体状態からの細胞運命分岐のモデル化, 摂動による細胞応答の変動をシミュレーションするタスクにおいて, より表現力が高いだけでなく, 必要であることを示す。
論文 参考訳(メタデータ) (2025-06-10T17:29:48Z) - Dequantified Diffusion-Schr{ö}dinger Bridge for Density Ratio Estimation [15.067770053726534]
密度比の推定は$f$-divergencesを含むタスクの基本である。
我々は,textbfrobust, textbfstable, textbfefficient 密度比推定のための統一的なフレームワークを提案する。
論文 参考訳(メタデータ) (2025-05-08T08:12:16Z) - Single-Step Bidirectional Unpaired Image Translation Using Implicit Bridge Consistency Distillation [55.45188329646137]
Implicit Bridge Consistency Distillation (IBCD) は、対向損失を使わずに、単段階の双方向無ペア翻訳を可能にする。
IBCDは、ベンチマークデータセットの最先端のパフォーマンスを1世代で達成する。
論文 参考訳(メタデータ) (2025-03-19T09:48:04Z) - Diffusion Bridge Implicit Models [25.213664260896103]
分散ブリッジモデル(DDBM)は、2つの任意の対の分布を補間するための拡散モデルの強力な変種である。
我々は,拡散モデルで確立されたレシピに動機づけられた,余分な訓練を伴わないDDBMの高速サンプリングの第一歩を踏み出す。
我々は、高次数値解法を誘導する、新しい、単純で洞察に富んだ常微分方程式(ODE)を誘導する。
論文 参考訳(メタデータ) (2024-05-24T19:08:30Z) - Adversarial Schrödinger Bridge Matching [66.39774923893103]
反復マルコフフィッティング(IMF)手順は、マルコフ過程の相互射影と相互射影を交互に交互に行う。
本稿では、プロセスの学習を離散時間でほんの少しの遷移確率の学習に置き換える新しい離散時間IMF(D-IMF)手順を提案する。
D-IMFの手続きは、数百ではなく数世代のステップで、IMFと同じ品質の未完成のドメイン翻訳を提供できることを示す。
論文 参考訳(メタデータ) (2024-05-23T11:29:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。