論文の概要: VTO: Visual Tool Orchestration for Video Anomaly Detection
- arxiv url: http://arxiv.org/abs/2608.08219v1
- Date: Sat, 08 Aug 2026 16:28:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.726831
- Title: VTO: Visual Tool Orchestration for Video Anomaly Detection
- Title（参考訳）: VTO:ビデオ異常検出のためのビジュアルツールオーケストレーション
- Abstract要約: ビデオ異常検出(VAD)は、現実のシナリオの複雑で多様な性質のため、重要な課題である。
プロセス教師付き強化学習フレームワークであるVTOを提案する。
VTOは、エージェントが環境を動的に探索し、相互作用することを可能にする。
- 参考スコア（独自算出の注目度）: 16.135543208452308
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video anomaly detection (VAD) is a critical yet challenging task due to the complex and diverse nature of real-world scenarios. Traditional deep learning approaches are fundamentally limited by poor generalization across diverse scenarios. While multimodal agents offer a promising tool-learning paradigm for VAD, current systems relying on supervised fine-tuning struggle with complex orchestration, and standard reinforcement learning often causes premature termination due to coarse-grained outcome rewards. To address these challenges, we propose VTO, a process-supervised reinforcement learning framework. Moving beyond static tool usage, VTO enables the agent to dynamically explore and interact with the environment. Specifically, we introduce a foundation model-driven cognitive evaluator to provide context-aware semantic feedback, which is seamlessly integrated into a Process-Supervised Cognitive Alignment that delivers fine-grained, step-wise supervision. By explicitly penalizing logical truncation and rewarding complete causal chains, the agent optimizes its multi-step reasoning policy for interrelated tool orchestration. To support our proposed framework, we meticulously crafted VAD-Tool, a hierarchical visual tool set comprising 12 specialized vision tools spanning from entity tracking to high-stakes hazard detection, and established the corresponding benchmark for rigorous multi-step reasoning evaluation. Extensive experiments on VAD-Tool demonstrate that VTO significantly outperforms baselines, achieving up to a 10.2\% absolute accuracy improvement in tool scheduling. Code and data are available at https://github.com/MICLAB-BUPT/VTO.
- Abstract（参考訳）: ビデオ異常検出(VAD)は、現実のシナリオの複雑で多様な性質のため、重要な課題である。
従来のディープラーニングアプローチは、さまざまなシナリオをまたいだ一般化の貧弱さによって、基本的に制限されている。
マルチモーダルエージェントは、VADに有望なツール学習パラダイムを提供する一方で、現在のシステムは、複雑なオーケストレーションに対する教師付き微調整の苦労に依存しており、標準的な強化学習は、粗大な結果の報奨によって、早々に終了することが多い。
これらの課題に対処するため,プロセス教師付き強化学習フレームワークであるVTOを提案する。
静的ツールの使用を超えて、VTOはエージェントが環境を動的に探索し、操作することを可能にする。
具体的には、コンテキスト対応のセマンティックフィードバックを提供するための基礎モデル駆動型認知評価器を導入し、プロセススーパービジョン型認知アライメントにシームレスに統合することで、きめ細かい、ステップワイドな監視を実現する。
論理的トランケーションを明示的に罰し、完全な因果連鎖を報いることにより、エージェントは関連ツールオーケストレーションのための多段階推論ポリシーを最適化する。
提案するフレームワークをサポートするために,エンティティトラッキングから高リスク検出に至るまで,12種類の視覚ツールからなる階層型視覚ツールセットであるVAD-Toolを開発し,厳密な多段階推論評価のための対応するベンチマークを構築した。
VAD-Toolの大規模な実験により、VTOはベースラインを大幅に上回り、ツールスケジューリングの絶対精度を10.2倍に向上することを示した。
コードとデータはhttps://github.com/MICLAB-BUPT/VTOで公開されている。
関連論文リスト
- Learning to Watch: Active Video Anomaly Understanding via Interleaved Policy Optimization [56.150184676745205]
ビデオ異常理解(VAU)は、スパースでコンテキストに依存した手がかりに依存している。
本稿では,映像理解をアクティブな逐次意思決定プロセスとして再認識するクローズドループフレームワークである$Anomtext-$を提案する。
人間のビデオレビュー行動に触発されたこのフレームワークは、内部の認知的推論と戦略的エビデンスを、インターリーブされたポリシーに統一する。
論文 参考訳（メタデータ） (2026-07-01T08:41:49Z) - OmniVL-Guard Pro: A Tool-Augmented Agent for Omnibus Vision-Language Forensics [63.13200245209719]
ツール拡張エージェントである textbf OmniVL-Guard Pro を提案する。
高品質なツール推論トラジェクトリを生成するために,textbfTree-Structured Self-Evolving Tool Trajectory Generationを導入する。
また,回答が正しいが推論が歪んだ場合に対して,プロセスレベルの監督を行うためのtextbfChecker-Guided Agentic Reinforcement Learningを提案する。
論文 参考訳（メタデータ） (2026-05-16T12:26:04Z) - Insight-V++: Towards Advanced Long-Chain Visual Reasoning with Multimodal Large Language Models [65.4947731385794]
基礎画像中心モデルであるInsight-Vから進化した統合多エージェント視覚推論フレームワークを提案する。
空間的時間的推論を強化し、評価ロバスト性を向上させる2つの新しいアルゴリズムST-GRPOとJ-GRPOを導入する。
LLaVA-NeXTやQwen2.5-VLといったベースモデルの実験は、挑戦的な画像とビデオの推論ベンチマーク間で大きなパフォーマンス向上を示している。
論文 参考訳（メタデータ） (2026-03-18T15:28:07Z) - Act, Think or Abstain: Complexity-Aware Adaptive Inference for Vision-Language-Action Models [7.802379200026965]
認識状態の複雑さに基づいてVLA実行を動的にルーティングする適応型フレームワークを提案する。
我々のアプローチは、VLAの視覚言語バックボーンを、パラメトリックおよび非パラメトリック推定器のアンサンブルに潜伏埋め込みを投影することにより、アクティブな検出ツールに変換する。
論文 参考訳（メタデータ） (2026-03-05T13:14:41Z) - Steering LLMs via Scalable Interactive Oversight [74.12746881843044]
大規模な言語モデルは、エンフェーブコーディングのような複雑で長期にわたるタスクをますます自動化し、監督のギャップが生まれています。
スケーラブルな監視において重要な課題は、人間が責任を持ってAIシステムを、特定または検証する能力を超えたタスクで操ることができることだ。
論文 参考訳（メタデータ） (2026-02-04T04:52:00Z) - Agentic Reward Modeling: Verifying GUI Agent via Online Proactive Interaction [7.731207237810125]
VAGENは、対話ツールを備えた検証エージェントを使用して、自律的に検証戦略を計画するフレームワークである。
VAGEN は LLM-as-a-Judge ベースラインと比較して評価精度が有意に向上することを示す。
論文 参考訳（メタデータ） (2026-01-31T07:36:54Z) - Code-in-the-Loop Forensics: Agentic Tool Use for Image Forgery Detection [59.04089915447622]
ForenAgentはインタラクティブなIFDフレームワークで、MLLMが検出対象に関するPythonベースの低レベルツールを自律的に生成、実行、洗練することができる。
人間の推論にインスパイアされた我々は、グローバルな認識、局所的な焦点、反復的探索、そして全体論的偏見を含む動的推論ループを設計する。
実験の結果,ForenAgent は IFD 課題に対する創発的なツール利用能力と反射的推論を示すことがわかった。
論文 参考訳（メタデータ） (2025-12-18T08:38:44Z) - VICoT-Agent: A Vision-Interleaved Chain-of-Thought Framework for Interpretable Multimodal Reasoning and Scalable Remote Sensing Analysis [10.584087870930354]
新たなマルチモーダルエージェントフレームワークVision-Interleaved Chain-of-Thought Framework (VICoT)を提案する。
VICoTは、視覚ツールを思考の連鎖に動的に組み込むことにより、明示的な多ラウンド推論を実装している。
また, 複雑なエージェントの挙動を小型軽量モデルに移行するためのReasoning Stack蒸留法を提案する。
論文 参考訳（メタデータ） (2025-11-25T09:00:28Z) - SOI is the Root of All Evil: Quantifying and Breaking Similar Object Interference in Single Object Tracking [25.076012214989433]
類似オブジェクト干渉(SOI)の最初の体系的研究と定量化について述べる。
干渉源の除去は、全てのSOTAトラッカーで大幅な性能改善(AUCは4.35まで向上)をもたらす。
SOIBenchは,SOI課題を対象とする最初の意味認知指導ベンチマークである。
論文 参考訳（メタデータ） (2025-08-13T06:12:43Z) - OpenThinkIMG: Learning to Think with Images via Visual Tool Reinforcement Learning [57.89304342666846]
OpenThinkIMGは、ツール拡張LVLMのための、最初のオープンソースで包括的なエンドツーエンドフレームワークです。
本稿では,LVLMを学習し,外部視覚ツールを起動するための適応的なポリシーを学ぶための,新しい強化学習フレームワークV-ToolRLを提案する。
V-ToolRLにより、LVLMは最適なツール利用戦略を自律的に発見できる。
論文 参考訳（メタデータ） (2025-05-13T14:35:51Z) - VIBR: Learning View-Invariant Value Functions for Robust Visual Control [3.2307366446033945]
VIBR (View-Invariant Bellman Residuals) は、マルチビュートレーニングと不変予測を組み合わせて、RLベースのビジュモータ制御における分配ギャップを削減する手法である。
視覚摂動の高い複雑なビジュオモータ制御環境において,VIBRは既存の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-06-14T14:37:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。