論文の概要: VQ-Jarvis: Retrieval-Augmented Video Restoration Agent with Sharp Vision and Fast Thought

• arxiv url: http://arxiv.org/abs/2603.22998v1
• Date: Tue, 24 Mar 2026 09:40:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.410367
• Title: VQ-Jarvis: Retrieval-Augmented Video Restoration Agent with Sharp Vision and Fast Thought
• Title（参考訳）: VQ-Jarvis:シャープビジョンと高速思考を備えた検索強化ビデオ復元エージェント
• Authors: Xuanyu Zhang, Weiqi Li, Qunliang Xing, Jingfen Xie, Bin Chen, Junlin Li, Li Zhang, Jian Zhang, Shijie Zhao,
• Abstract要約: VQ-Jarvisは、検索強化されたオールインワンのインテリジェントビデオ復元エージェントである。 一対の修復結果の劣化や微妙な違いを正確に知覚するように設計されている。 VQ-Jarvisは、複雑な劣化したビデオの既存の手法を一貫して上回っている。
• 参考スコア（独自算出の注目度）: 37.22422653058898
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video restoration in real-world scenarios is challenged by heterogeneous degradations, where static architectures and fixed inference pipelines often fail to generalize. Recent agent-based approaches offer dynamic decision making, yet existing video restoration agents remain limited by insufficient quality perception and inefficient search strategies. We propose VQ-Jarvis, a retrieval-augmented, all-in-one intelligent video restoration agent with sharper vision and faster thought. VQ-Jarvis is designed to accurately perceive degradations and subtle differences among paired restoration results, while efficiently discovering optimal restoration trajectories. To enable sharp vision, we construct VSR-Compare, the first large-scale video paired enhancement dataset with 20K comparison pairs covering 7 degradation types, 11 enhancement operators, and diverse content domains. Based on this dataset, we train a multiple operator judge model and a degradation perception model to guide agent decisions. To achieve fast thought, we introduce a hierarchical operator scheduling strategy that adapts to video difficulty: for easy cases, optimal restoration trajectories are retrieved in a one-step manner from a retrieval-augmented generation (RAG) library; for harder cases, a step-by-step greedy search is performed to balance efficiency and accuracy. Extensive experiments demonstrate that VQ-Jarvis consistently outperforms existing methods on complex degraded videos.
• Abstract（参考訳）: 実世界のシナリオにおけるビデオ復元は、静的アーキテクチャと固定推論パイプラインが一般化に失敗する不均一な劣化によって挑戦される。 最近のエージェントベースのアプローチは動的意思決定を提供するが、既存のビデオ復元エージェントは品質認識の不十分さと非効率な検索戦略によって制限されている。 VQ-Jarvisは、よりシャープな視覚とより高速な思考を備えた、検索強化されたオールインワンのインテリジェントビデオ復元エージェントである。 VQ-Jarvisは、最適な復元軌道を効率よく発見しながら、ペアの修復結果の劣化や微妙な違いを正確に知覚するように設計されている。 シャープ・ビジョンを実現するため、我々はVSR-Compareを構築した。VSR-Compareは7種類の劣化型、11個の拡張演算子、および多様なコンテンツ領域をカバーする20Kの比較ペアを備えた、最初の大規模ビデオペア拡張データセットである。 このデータセットに基づいて、エージェント決定を導くために、複数の演算子判断モデルと劣化知覚モデルを訓練する。 迅速な思考を実現するために,ビデオの難易度に適応する階層型演算子スケジューリング手法を導入する。簡単なケースでは,検索拡張世代(RAG)ライブラリから,一段階的に最適な復元軌道を検索し,より難しいケースでは,効率と精度のバランスをとるために,ステップバイステップの欲求探索を行う。 大規模な実験により、VQ-Jarvisは複雑な劣化したビデオの既存の手法より一貫して優れていることが示された。

関連論文リスト

• RANKVIDEO: Reasoning Reranking for Text-to-Video Retrieval [99.33724613432922]
  本稿では,ビデオ検索のための推論に基づくリランカであるRANKVIDEOを紹介する。 RANKVIDEOは、関連性を評価するためにビデオコンテンツを使用するクエリ-ビデオペアを明示的に理由付けている。 大規模なMultiVENT 2.0ベンチマークの実験では、RANKVIDEOは2段階のフレームワーク内での検索性能を一貫して改善している。
  論文  参考訳（メタデータ） (2026-02-02T18:40:37Z)
• FastV-RAG: Towards Fast and Fine-Grained Video QA with Retrieval-Augmented Generation [8.684174208244483]
  VideoSpeculateRAGは、2つの主要なアイデアに基づいて構築された効率的なVLMベースのRAGフレームワークである。 我々は、抽出された知識において、誤認識という大きなエラーの原因を識別する。 実験により、VideoSpeculateRAGは標準的なRAGアプローチと同等または高い精度を達成することが示された。
  論文  参考訳（メタデータ） (2026-01-04T12:46:35Z)
• MoA-VR: A Mixture-of-Agents System Towards All-in-One Video Restoration [62.929029990341796]
  実世界のビデオは、ノイズ、圧縮アーティファクト、低照度歪みなどの複雑な劣化に悩まされることが多い。 3つの協調エージェントによる人間のプロの推論・処理手順を模倣したMoA-VRを提案する。 具体的には、大規模かつ高解像度なビデオ劣化認識ベンチマークを構築し、視覚言語モデル(VLM)による劣化識別子を構築する。
  論文  参考訳（メタデータ） (2025-10-09T17:42:51Z)
• LVTINO: LAtent Video consisTency INverse sOlver for High Definition Video Restoration [3.2944592608677614]
  本稿では,VCMで符号化された先行画像を用いた高精細ビデオ再生のための,最初のゼロショット・プラグ・アンド・プレイ逆解器であるLVTINOを提案する。 我々の条件付け機構は、自動微分の必要性を回避し、少数のニューラルファンクション評価で最先端のビデオ再構成品質を達成する。
  論文  参考訳（メタデータ） (2025-10-01T18:10:08Z)
• Low-Cost Test-Time Adaptation for Robust Video Editing [4.707015344498921]
  ビデオ編集は、生の映像を特定の視覚的・物語的目的に沿ったコヒーレントな作品に変換するコンテンツ創造の重要な要素である。 既存のアプローチでは、複雑なモーションパターンのキャプチャの失敗による時間的不整合、UNetバックボーンアーキテクチャの制限による単純なプロンプトへの過度な適合、という2つの大きな課題に直面している。 自己教師型補助タスクによる推論中に各テストビデオの最適化をパーソナライズする軽量なテスト時間適応フレームワークであるVid-TTAを提案する。
  論文  参考訳（メタデータ） (2025-07-29T14:31:17Z)
• ReAgent-V: A Reward-Driven Multi-Agent Framework for Video Understanding [71.654781631463]
  ReAgent-Vは、新しいエージェントビデオ理解フレームワークである。 推論中に効率の良いフレーム選択とリアルタイムの報酬生成を統合する。 12のデータセットに対する大規模な実験は、一般化と推論において大きな成果を上げている。
  論文  参考訳（メタデータ） (2025-06-02T04:23:21Z)
• Investigating Tradeoffs in Real-World Video Super-Resolution [90.81396836308085]
  実世界のビデオ超解像(VSR)モデルは、一般化性を改善するために様々な劣化で訓練されることが多い。 最初のトレードオフを軽減するために,性能を犠牲にすることなく,最大40%のトレーニング時間を削減できる劣化手法を提案する。 そこで本研究では,多種多様な実世界の低品質映像系列を含むビデオLQデータセットを提案する。
  論文  参考訳（メタデータ） (2021-11-24T18:58:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。