論文の概要: VCR-Bench: A Modular Open-Source Benchmark for Video Classification Robustness
- arxiv url: http://arxiv.org/abs/2610.08936v1
- Date: Tue, 06 Oct 2026 18:03:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.533886
- Title: VCR-Bench: A Modular Open-Source Benchmark for Video Classification Robustness
- Title（参考訳）: VCR-Bench: ビデオ分類ロバストネスのためのモジュール型オープンソースベンチマーク
- Abstract要約: ビデオ分類のためのモジュール型オープンソースベンチマークフレームワークであるVCR-Benchを紹介する。
VCR-Benchは、共通の評価プロトコルの下で、30の動画分類モデル、14の敵攻撃、10の防衛ラッパーを統合している。
我々は、Kinetics-400サブセットの代表的なビデオ分類器、攻撃、防御機能を評価し、クリーンな精度、攻撃成功率、知覚品質、実行時、メモリ使用率を報告する。
- 参考スコア（独自算出の注目度）: 44.4178789392522
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Robustness of image classification has several benchmarks, but their video counterparts are absent. In video classification temporal dimension introduces additional degrees of freedom for adversarial attacks, defenses, and preprocessing. Temporal sampling, perturbation budgets, and metric aggregation also interact in ways with no direct analogue in the image setting. Therefore, robustness for video classifiers is studied across scattered, incompatible implementations, making reported numbers hard to reproduce and analyze. We introduce VCR-Bench, a modular open-source benchmark framework that standardizes video loading, wrappers for classifiers, adversarial attacks and defenses, perceptual metrics, configuration presets, and result logging. VCR-Bench currently integrates 30 video classification models, 14 adversarial attacks, and 10 defense wrappers under a common evaluation protocol. We evaluate representative video classifiers, attacks, and defenses on Kinetics-400 subset, reporting clean accuracy, attack success rate, perceptual quality, runtime, and memory usage. VCR-Bench is released with documented installation, reproducible run presets, component-extension interfaces, and scripts for reproducing the reported results at https://github.com/msu-video-group/vcr-bench.
- Abstract（参考訳）: 画像分類のロバスト性にはいくつかのベンチマークがあるが、そのビデオは欠落している。
ビデオ分類において、時間次元は敵の攻撃、防御、前処理のための追加の自由度を導入する。
時間サンプリング、摂動予算、およびメートル法集約もまた、画像設定に直接的な類似のない方法で相互作用する。
したがって、ビデオ分類器のロバスト性は、ばらばらで互換性のない実装にまたがって研究され、報告された数値の再現や解析が困難になる。
VCR-Benchは、ビデオローディングの標準化、分類器のラッパー、敵攻撃と防御、知覚メトリクス、設定プリセット、結果のロギングを行うモジュール型オープンソースベンチマークフレームワークである。
VCR-Benchは現在、30の動画分類モデル、14の敵攻撃、10の防衛ラッパーを共通の評価プロトコルで統合している。
我々は、Kinetics-400サブセットの代表的なビデオ分類器、攻撃、防御機能を評価し、クリーンな精度、攻撃成功率、知覚品質、実行時、メモリ使用率を報告する。
VCR-Benchはドキュメント化されたインストール、再現可能な実行プリセット、コンポーネント拡張インターフェース、報告された結果をhttps://github.com/msu-video-group/vcr-benchで再現するためのスクリプトと共にリリースされた。
関連論文リスト
- Intrinsic Temporal Adaptation of CLIP for Partially Relevant Video Retrieval [40.983482307220676]
PRVRは、テキストクエリに関連するモーメントを含む未編集のビデオを検索することを目的としている。
Intrinsic Temporal Adaptation (ITA) framework for PRVRを提案する。
提案手法は,PRVRベンチマーク上での最先端性能を実現する。
論文 参考訳（メタデータ） (2026-09-04T06:58:59Z) - CLIP-CC-Bench: Evaluating Paragraph-Level Video Descriptions in Video-Language Models [3.1498833540989413]
CLIP-CC-Benchは5時間の映画コンテンツから構築した長文ビデオ記述のための評価スイートである。
評価スイートは、信頼性と単一モデルのバイアスを高めるために、5つの最先端の埋め込みモデルのアンサンブルを使用する。
このフレームワークを用いて、17の最先端ビデオ言語モデルを評価し、Borda集約ランキングとCLIP-CC-Benchの平均スコアの両方を報告する。
論文 参考訳（メタデータ） (2026-08-05T00:20:23Z) - Reasoning as Intersection: Consensus-Frame Alignment for Visual Focus in Video-MLLMs [81.04673240949074]
強化学習は、大規模言語モデルの推論能力を改善した。
結果のみの報酬をビデオマルチモーダルな大規模言語モデルに適用することは、どの視覚的証拠が答えを支持するべきかを限定的なガイダンスを提供する。
本稿では,エビデンス対応ビデオ推論のための時間アノテーションフリープロセスレベル報酬フレームワークであるConsensus Frame GRPOを紹介する。
論文 参考訳（メタデータ） (2026-06-16T19:42:54Z) - MSAVBench: Towards Comprehensive and Reliable Evaluation of Multi-Shot Audio-Video Generation [88.7702943548674]
マルチショットオーディオビデオ生成のための,初の総合的なベンチマークと適応型ハイブリッド評価フレームワークであるMSAVBenchを紹介する。
私たちのベンチマークでは、ビデオ、オーディオ、ショット、参照の4つの重要な領域にまたがっており、多様なタスク設定、最大15のショット数、非現実的なシナリオに挑戦しています。
MSAVBenchは人間の判断と高度に一致し、スピアマンのランク相関は91.5%に達する。
論文 参考訳（メタデータ） (2026-05-19T17:59:33Z) - VC-Bench: Pioneering the Video Connecting Benchmark with a Dataset and Evaluation Metrics [83.61875204972465]
ビデオ接続(Video Connecting)は,ビデオクリップの開始と終了の間にスムーズな中間映像コンテンツを生成するタスクである。
このギャップを埋めるため、私たちはビデオ接続に特化した新しいベンチマークであるVC-Benchを提案しました。
VC-Benchは、ビデオ品質スコアVQS、スタート-エンド一貫性スコアSECS、トランジッションスムースネススコアSSの3つの中核的な側面に焦点を当てている。
論文 参考訳（メタデータ） (2026-01-27T06:15:12Z) - Frame Sampling Strategies Matter: A Benchmark for small vision language models [3.719563722270237]
ビデオ質問応答のための最先端の小型視覚言語モデルのフレーム精度の最初のベンチマークを提案する。
その結果,疑わしいバイアスが確認され,異なるフレームサンプリング手法によるSVLMのデータ固有動作とタスク固有動作の両方が強調された。
論文 参考訳（メタデータ） (2025-09-18T09:18:42Z) - Motion-Aware Concept Alignment for Consistent Video Editing [57.08108545219043]
MoCA-Video (Motion-Aware Concept Alignment in Video) は、画像ドメインのセマンティックミキシングとビデオのギャップを埋めるトレーニング不要のフレームワークである。
生成されたビデオとユーザが提供した参照画像が与えられた後、MoCA-Videoは参照画像のセマンティックな特徴をビデオ内の特定のオブジェクトに注入する。
我々は、標準SSIM、画像レベルLPIPS、時間LPIPSを用いてMoCAの性能を評価し、新しいメトリクスCASS(Conceptual Alignment Shift Score)を導入し、ソースプロンプトと修正ビデオフレーム間の視覚的シフトの一貫性と有効性を評価する。
論文 参考訳（メタデータ） (2025-06-01T13:28:04Z) - SSVOD: Semi-Supervised Video Object Detection with Sparse Annotations [12.139451002212063]
SSVODはビデオのモーションダイナミクスを利用して、スパースアノテーション付き大規模未ラベルフレームを利用する。
提案手法は,ImageNet-VID, Epic-KITCHENS, YouTube-VISの既存手法に比べて,大幅な性能向上を実現している。
論文 参考訳（メタデータ） (2023-09-04T06:41:33Z) - Temporal Context Aggregation for Video Retrieval with Contrastive
Learning [81.12514007044456]
フレームレベルの特徴間の時間的長距離情報を組み込んだビデオ表現学習フレームワークTCAを提案する。
提案手法は,映像レベルの特徴を持つ最先端の手法に対して,FIVR-200Kでは17% mAPの大幅な性能上の優位性を示す。
論文 参考訳（メタデータ） (2020-08-04T05:24:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。