論文の概要: Honest Fusion Evaluation for Cross-Domain Deepfake Detection: Leakage Audits and Tail Robustness
- arxiv url: http://arxiv.org/abs/2611.14856v1
- Date: Wed, 11 Nov 2026 00:10:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.970158
- Title: Honest Fusion Evaluation for Cross-Domain Deepfake Detection: Leakage Audits and Tail Robustness
- Title(参考訳): クロスドメインディープフェイク検出のための正直な融合評価:漏洩聴取と触覚のロバスト性
- Abstract要約: 表現的ルーティングと特徴融合は、しばしば平均値を上回ると報告される。
22データセットの凍結エキスパートテストベッド全体で、これらの成果は大部分が評価アーティファクトであることに気付きました。
ランキングの基準の下でのスコア空間のルーティングでは、正直な評価と専門家の多様性はコンバインダーの複雑さよりも重要である。
- 参考スコア(独自算出の注目度): 11.208535103975265
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cross-domain video deepfake detection increasingly uses frozen foundation-model experts, combined by calibrated score averaging, a per-video router picking one expert, or a learned head over concatenated features. Expressive routing and feature fusion are often reported to beat plain averaging. Across a 22-dataset frozen-expert testbed, we find those gains are largely evaluation artifacts. A corner theorem locates the gap routing aims to close: because AUC depends only on score ordering, the best any score-space router can do is an oracle reading the test label to pick each video's expert, a ceiling no realisable, label-blind router reaches. The theorem does not order real routers against a calibrated global average; the case against routing is empirical, and no router we test beats that average. Feature fusion reads raw features, falls outside the theorem, and is audited empirically. Reported gains trace to leakage: holding out one dataset leaks siblings sharing identities and reals (over-crediting routing), while holding out one manipulation keeps that dataset's reals in training (over-crediting feature fusion). A $2\times 2$ over fold and evaluation granularity pins the $+2.6$pp feature-fusion "win" to the fold alone: 12/12 significant under leaky folds vs. 0/12 under honest family-held-out folds, where both gains vanish. Fusion still pays off in the tail of hard videos and families: as experts are added, videos every expert misclassifies drop from 15.2% to 2.3%, and global calibrated fusion (InvB) beats the best single expert on worst-family AUC, selective risk (AURC), and low-false-positive recall, stably across protocols. Practitioners should calibrate and combine globally, hold out whole dataset families, and measure tail performance. For score-space routing under ranking metrics, honest evaluation and expert diversity matter more than combiner complexity.
- Abstract(参考訳): クロスドメインビデオのディープフェイク検出では、フリーズファンデーションモデルの専門家の利用が増えている。
表現的ルーティングと特徴融合は、しばしば平均値を上回ると報告される。
22データセットの凍結エキスパートテストベッド全体で、これらの成果は大部分が評価アーティファクトであることに気付きました。
コーナー定理はギャップルーティングを閉じることを目的としている: AUCはスコアオーダにのみ依存するため、スコアスペースルータができる最善の方法は、テストラベルを読んで各ビデオの専門家を選ぶためのオラクルであり、天井は実現不可能なラベルブラインドルータが到達する。
この定理は、実際のルータを校正されたグローバル平均に対して順序付けしない。
特徴融合は生の特徴を読み出し、定理の外に落ち、経験的に監査される。
1つのデータセットをリークして、IDとレアルを共有する兄弟(オーバークレジットルーティング)をリークさせ、一方、1つの操作でデータセットのレアルをトレーニング中に保持する(オーバークレジット機能融合)。
2ドル(約2,200円)のオーバーフォールドと評価粒度は、$2.6ドル(約2,800円)のフィーチャフュージョンを折りたたみだけで「勝利」する: 漏れた折りたみでは12/12、正直な家族持ちの折りたたみでは0/12、両方の利得は消える。
フュージョンは依然としてハードビデオや家族の尻尾で成り立っている: 専門家が追加されるにつれて、専門家が誤って15.2%から2.3%に減少し、グローバル・キャリブレーション・フュージョン(InvB)は、最悪の家族のAUC、選択リスク(AURC)、低偽陽性リコールにおいて、安定して、最高の単一専門家を破る。
実践者は、グローバルなキャリブレーションと組み合わせ、データセットファミリー全体を保持し、テールパフォーマンスを測定する必要があります。
ランキングの基準の下でのスコア空間のルーティングでは、正直な評価と専門家の多様性はコンバインダーの複雑さよりも重要である。
関連論文リスト
- Closed-Loop Agent Evaluation: Layered Measurement and Self-Calibration [2.3204178451683264]
本稿では,デプロイエージェントの評価手法であるクローズドループ評価を提案する。
評価をバイアス付きレーダと検閲された結果の下での性能評価としてモデル化する。
内部ループはエビデンス、ルール、メトリクス自体を監査し、外部ループはエージェントの改善を促進するためにコンポーネントごとの回帰チェックを使用する。
論文 参考訳(メタデータ) (2026-11-04T19:11:47Z) - Auditing Routing Entropy as an Uncertainty Signal in Attention-Residual Transformers [14.727396825167917]
We audit that reading for routing entropy in Attention-Residual (AR)variants of Swin-Tiny and DeiT-Small。
我々は、このトレースが、モデル自身の自信が明らかにしている以上の正確性に関する情報を持っているかどうかを問う。
論文 参考訳(メタデータ) (2026-10-01T11:37:19Z) - CART: Closed-Loop Adaptive Red Teaming for Large Language Models [91.66397227953821]
CART(Closed-Loop Adaptive Red Teaming)は、各結果を使用して、次にテストするものをガイドするフレームワークである。
テストを生成するChallengeと、テスト中のTarget、テキストのみのモデルや境界ツール使用エージェント、結果を評価するJuiceを分離する。
論文 参考訳(メタデータ) (2026-09-23T04:16:46Z) - Consolidating RLVR Capabilities Across Domains: A Deep Dive into Fusion Paradigms [50.28963615440865]
再利用した人工物によって3つの融合パラダイムを編成する。
モデルスケールとマルチベンチマークスイートで、共有専門家とデータを使用して、これら3つを比較します。
論文 参考訳(メタデータ) (2026-08-27T17:38:04Z) - PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception [75.70273182182397]
PerceptionRubricsはルーブリックベースの評価フレームワークである。
飽和ベンチマークスコアと現実世界の脆さのギャップに対処する。
1,038枚のインフォメーションセンス画像と1万個以上のインスタンス固有のルーリックをペアリングする。
論文 参考訳(メタデータ) (2026-06-26T17:59:15Z) - Beyond Logprobs: A Multi-Signal Confidence Engine for LLM-Based Document Field Extraction [2.1997815944423516]
ExtractConfはクロスドメインでフィールドに依存しない信頼性エンジンである。
同じ文書の2つの構造的に異なる読影において、信頼度を推定する。
0.928ROC AUCを達成し、logprob-meanよりも選択的な予測リスクを70%削減する。
論文 参考訳(メタデータ) (2026-06-23T10:58:08Z) - Validation-Stage Combinatorial Fusion Analysis for Imbalanced Credit-Card Fraud Detection [8.713333739961403]
本稿では, Combinatorial Fusion Analysis (CFA) がIEEE-CIS Fraud Detectionベンチマークに価値を付加できるかどうかを検討する。
CFA は AUC-ROC のソフト投票と一致し、AUPRC と F1 を改善し、この設定では勾配の積み重ねを上回ります。
論文 参考訳(メタデータ) (2026-06-09T04:14:59Z) - Unsolvability Ceiling in Multi-LLM Routing: An Empirical Study of Evaluation Artifacts [0.07812854697536452]
6つのベンチマークで206,000のクエリモデルペアを持つマルチ層LSMルーティングについて大規模に検討する。
報告された未解決性のかなりの部分は, 評価成果物に起因していることが示されている。
論文 参考訳(メタデータ) (2026-05-08T07:49:24Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳(メタデータ) (2025-09-25T14:05:55Z) - Generalized Differentiable RANSAC [95.95627475224231]
$nabla$-RANSACは、ランダム化された堅牢な推定パイプライン全体を学ぶことができる、微分可能なRANSACである。
$nabla$-RANSACは、精度という点では最先端のシステムよりも優れているが、精度は低い。
論文 参考訳(メタデータ) (2022-12-26T15:13:13Z) - Towards Semi-Supervised Deep Facial Expression Recognition with An
Adaptive Confidence Margin [92.76372026435858]
Ada-CM(Adaptive Confidence Margin)を学習し、ラベルのないすべてのデータを半教師付き深層表情認識に活用する。
すべてのラベルなしサンプルは、信頼スコアと適応的に学習された信頼マージンを比較して、2つのサブセットに分割される。
提案手法は最先端の性能,特に半教師付きベースラインを超越した性能を実現する。
論文 参考訳(メタデータ) (2022-03-23T11:43:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。