論文の概要: Auditing Generalization in AI-Generated Video Detection: A Six-Control Protocol and the VidAudit Toolkit
- arxiv url: http://arxiv.org/abs/2606.31004v1
- Date: Tue, 30 Jun 2026 00:29:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.034953
- Title: Auditing Generalization in AI-Generated Video Detection: A Six-Control Protocol and the VidAudit Toolkit
- Title(参考訳): AI生成ビデオ検出における一般化の検証:六言語プロトコルとVidAudit Toolkit
- Abstract要約: AI生成ビデオ検出のGenVidBenchとAIGVDBenchが事実上のリーダーボードだ。
ほとんどの評価プロトコルは、報告された一般化を拡大できる制御されていない欠点を残している。
20紙の調査では、これをキャッチする標準的な6つのコントロールをすべて適用していない。
それらを監査プロトコルに組み合わせて、6つの代表的な特徴源に適用する。
- 参考スコア(独自算出の注目度): 8.665845754660458
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI-generated video detection benchmarks such as GenVidBench and AIGVDBench are the de facto leaderboards, yet most evaluation protocols leave uncontrolled confounds that can inflate reported generalization. As an existence proof, a three-feature clip-length classifier reaches a leave-one-generator-out (LOGO) AUC of 0.998 on GenVidBench under unaudited evaluation, while measuring nothing about motion. A 20-paper survey finds none applying all six standard controls that would catch this, so we combine them into an audited protocol and apply it to six representative feature sources (three published detectors and three repurposed signal sources), re-running it cross-dataset on AIGVDBench. The audit both debunks and certifies: the trivial classifier collapses to near chance (0.529), a CLIP baseline is caught carrying dataset identity, and the 2025 forensic detector WaveRep clears the floor at out-of-distribution LOGO AUC 0.996 with chance-level real-vs-real coherence. At a deployable FPR of 0.1%, multiple high-AUC methods fall to single-digit recall and the leaderboard order changes, so we recommend an audited tuple (AUC, above-floor margin, operating-point recall, and calibration) over a single number. As a white-box positive control, we add TemporalSpec (codec motion vectors); via cross-substrate feature fusion (XSFF), a second substrate adds genuine complementarity that survives the audit. We release VidAudit, to our knowledge the largest unified and audited detector collection for this task, providing 14 detectors behind one plugin API, a leaderboard, and Croissant metadata, available at https://github.com/KurbanIntelligenceLab/vidaudit. Together, the protocol and toolkit move evaluation from leaderboard rank toward whether a result measures what it claims.
- Abstract(参考訳): GenVidBenchやAIGVDBenchといったAI生成のビデオ検出ベンチマークは事実上のリーダーボードだが、ほとんどの評価プロトコルは、報告された一般化をインフレーションできる制御されていない欠点を残している。
実存証明として,GenVidBench上での3機能クリップ長分類器は,動作について何も測定せず,0.998AUCに到達した。
20紙の調査では、これをキャッチする6つの標準制御をすべて適用していないため、監査済みのプロトコルと組み合わせて、6つの代表的な特徴源(3つの検知器と3つの再使用信号源)に適用し、AIGVDBenchでクロスデータセットを再実行します。
自明な分類器が崩壊し(0.529)、CLIPのベースラインがデータセットの同一性を持ち、2025年の法医学的検出器WaveRepは、チャンスレベルのリアルタイムコヒーレンスで、フロアを配布外 LOGO AUC 0.996 でクリアする。
デプロイ可能なFPRの0.1%では、複数のハイAUCメソッドが1桁のリコールに陥り、リーダーボードの順序が変更されるため、監査タプル(AUC、オーバーフロアマージン、オペレーティングポイントリコール、キャリブレーション)を1つ以上の数値で推奨する。
ホワイトボックス正の制御として、TemporalSpec(コーデックモーションベクトル)を追加し、クロス基板機能融合(XSFF)により、監査を生き残る真の相補性を第2の基板に追加する。
VidAuditは、このタスクの最大の統合および監査された検出器コレクションであり、1つのプラグインAPI、リーダーボード、Cloissantメタデータの背後にある14の検出器を提供し、https://github.com/KurbanIntelligenceLab/vidaudit.comで利用可能です。
プロトコルとツールキットは共に、評価をリーダボードのランクから、結果が主張するものを測定するかどうかに移行する。
関連論文リスト
- ArguLens: An Open-Source System for Automated Essay Scoring and Label-Aware Feedback Generation [9.677955445684686]
ArguLensは、自動エッセイスコア(AES)を3つの分離されたコンポーネントに分解するオープンソースシステムである。
ラベル対応フィードバックジェネレータは、Qwen2.5-14BInstructバックボーンでvLLMを介して機能する。
Gradio Web UIはプラグイン可能な推論バックエンドを公開し、単一評価とバッチスコアをサポートする。
論文 参考訳(メタデータ) (2026-08-18T04:23:50Z) - Graph Is the Verifier: Agentic Reinforcement Learning for Interprocedural Vulnerability Detection [13.409515289348532]
VulAgentRLは、コードプロパティグラフ(CPG)上に構築された、相互の脆弱性検出のためのフレームワークである。
VulAgentRLは、フロンティアモデルを含む最先端のベースラインを厳密なペアワイズ補正基準で上回り、より少ないツールコールを発行する。
論文 参考訳(メタデータ) (2026-07-29T09:16:54Z) - Mapping CVEs to MITRE ATT&CK Techniques: A Curated Gold-Set Classifier and the Limits of LLM-Assisted Label Expansion [46.262619407930266]
我々は、専門家のMITRE Center for Threat-Informed Defense mappingsから1,207 CVEのキュレートされた金のデータセットにマルチラベル分類器をトレーニングする。
その結果得られたモデルは、ゼロショットの埋め込み類似性のベースラインと比較して、おおよそdoubles recall@5である。
次に,LLMによるラベリングが金のデータセットを拡張できるかどうかを検討する。
論文 参考訳(メタデータ) (2026-07-28T10:59:04Z) - DynaKRAG: A Unified Framework for Learnable Evidence Control in Multi-Hop Retrieval-Augmented Generation [12.710406983346013]
DynaKRAGは、原子のエビデンス操作に対する状態条件制御として、マルチホップエビデンス獲得を定式化している。
Qwen2.5-7B-Instructでは、DynaKRAGはHotpotQAで0.5998、2Wikiで0.5340、MuSiQueで0.3061のスコアを達成している。
論文 参考訳(メタデータ) (2026-07-07T17:09:36Z) - Decoding Hidden Deception in Reasoning LLMs: Activation Explainers for Deception Auditing [22.30404793367838]
本稿では,騙し監査のためのアクティベーション説明器STATEWITNESSを紹介する。
個別のデコーダはターゲットモデルの隠れた状態を読み、自然言語クエリに答えるか、それらに関する構造化されたレポートを出力する。
本研究では,7つの偽装データセットを対象とする2つのLLMに対するSTATEWITNESSの評価を行った。
論文 参考訳(メタデータ) (2026-06-16T03:41:29Z) - CIAware-Bench: Benchmarking Control Intervention Awareness Across Frontier LLMs [100.38986535324284]
我々は、フロンティアモデル全体でのtextbfcontrol textbfintervention (CI) の認識を測定するベンチマークである textbfCIAware-Bench を紹介する。
CIAware-Benchは、モデルが自身の軌跡を制御介入によって修正されたものと区別できるかどうかをテストする。
論文 参考訳(メタデータ) (2026-06-09T16:24:16Z) - Pretrained, Frozen, Still Leaking: Auditing Cross-Encoder Attribute Transfer in EEG Foundation Models [0.0]
各単一エンドポイント監査は、スペクトル特性を漏洩させるリリースをクリアする。
コントリビューションは、散在する単一エンドポイントのディフェンスを共同リリース決定に変換する監査フレームワークである。
論文 参考訳(メタデータ) (2026-06-08T08:24:03Z) - PInVerify: An Offline Embodied Benchmark for Active Instance Verification [8.403971471573607]
エージェントは対象物へのナビゲートに強い進歩を遂げているが、目標付近に到達しても、エージェントが正しいインスタンスを見つけたことを保証していない。
このギャップを、エージェントが候補オブジェクトの周囲の視点を積極的に選択し、それがきめ細かい自然言語記述と一致するかどうかを判断するタスクであるActive Instance Verification (AIV)で解決する。
我々は、AIVのオフライン実施ベンチマークであるPInVerifyを紹介した。18のオブジェクトカテゴリにわたる3000の評価エピソードは、マルチビューキャプチャとして配信される。
論文 参考訳(メタデータ) (2026-05-28T22:42:38Z) - SURE-RAG: Sufficiency and Uncertainty-Aware Evidence Verification for Selective Retrieval-Augmented Generation [6.604874054866016]
本稿では,証拠満足度がセットレベル特性であることを示す,透過的なアグリゲーションプロトコルSURE-RAGを提案する。
共有ペアレベルのクレームエビデンス検証器は、SURE-RAGが集約した局所的関係分布を解釈可能な応答レベル信号に生成する。
制御されたマルチホップベンチマークであるHotpotQA-RAG v3をアーティファクト・アウェア・プロトコルで評価した。
論文 参考訳(メタデータ) (2026-05-05T09:05:40Z) - Governing Dynamic Capabilities: Cryptographic Binding and Reproducibility Verification for AI Agent Tool Use [0.0]
既存のセキュリティレイヤでは、AIエージェントに何ができるか、それが主張するものを実行したのか、マルチエージェントインタラクションで何が起きたのかを検証できない。
既存のフレームワークはこれら2つを詳述し、サイレントな能力のエスカレーションを可能にし、検証済みの証明なしに相互作用を残す。
我々は3つのエージェントガバナンス要件を導出する:能力の完全性(G1)、行動の妥当性(G2)、相互作用監査性(G3)。
基本(Ed25519, SHA-256; 97 us verify)と拡張(BBS+選択開示、Groth16 DV-SNARK; 13.8 ms)の2つの暗号に依存しないインスタンス化で検証する。
論文 参考訳(メタデータ) (2026-03-15T11:46:57Z) - CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。
エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。
CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
論文 参考訳(メタデータ) (2025-12-22T16:34:21Z) - DeepfakeBench: A Comprehensive Benchmark of Deepfake Detection [55.70982767084996]
ディープフェイク検出の分野で見落とされがちな課題は、標準化され、統一され、包括的なベンチマークがないことである。
DeepfakeBenchと呼ばれる,3つの重要なコントリビューションを提供するディープフェイク検出のための,最初の包括的なベンチマークを提示する。
DeepfakeBenchには15の最先端検出方法、9CLデータセット、一連のDeepfake検出評価プロトコルと分析ツール、包括的な評価ツールが含まれている。
論文 参考訳(メタデータ) (2023-07-04T01:34:41Z) - Box-Level Active Detection [47.41635810670186]
ボックスベース1サイクル当たりの予算を制御する,ボックスレベルのアクティブ検出フレームワークを導入する。
我々は,人間のアノテーションとモデルインテリジェンスの両方を活用するために,補完的擬似アクティブストラテジー(ComPAS)を提案する。
ComPASは、統一された設定で4つの設定で10の競争相手を上回っている。
論文 参考訳(メタデータ) (2023-03-23T08:06:10Z) - Disentangle Your Dense Object Detector [82.22771433419727]
深層学習に基づく高密度物体検出器はここ数年で大きな成功を収め、ビデオ理解などのマルチメディアアプリケーションにも応用されてきた。
しかし、現在の高密度検出器の訓練パイプラインは、保持できない多くの接続に妥協されている。
そこで本研究では, 簡易かつ効果的な遠心分離機構を設計し, 現在の最先端検出器に統合するDED(Disentangled Dense Object Detector)を提案する。
論文 参考訳(メタデータ) (2021-07-07T00:52:16Z) - EHSOD: CAM-Guided End-to-end Hybrid-Supervised Object Detection with
Cascade Refinement [53.69674636044927]
本稿では,エンド・ツー・エンドのハイブリッド型オブジェクト検出システムであるEHSODについて述べる。
完全なアノテートと弱いアノテートの両方で、ワンショットでトレーニングすることができる。
完全なアノテートされたデータの30%しか持たない複数のオブジェクト検出ベンチマークで、同等の結果が得られる。
論文 参考訳(メタデータ) (2020-02-18T08:04:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。