論文の概要: ViQAgent: Zero-Shot Video Question Answering via Agent with Open-Vocabulary Grounding Validation

• arxiv url: http://arxiv.org/abs/2505.15928v1
• Date: Wed, 21 May 2025 18:32:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:47.865219
• Title: ViQAgent: Zero-Shot Video Question Answering via Agent with Open-Vocabulary Grounding Validation
• Title（参考訳）: ViQAgent: オープン語彙接地検証によるゼロショットビデオ質問応答
• Authors: Tony Montes, Fernando Lozano,
• Abstract要約: 本研究は、ゼロショットビデオ質問応答(VideoQA)のためのLCMブラインドエージェントを提案する。 Chain-of-Thoughtフレームワークと、YOLO-Worldと組み合わせて、オブジェクトのトラッキングとアライメントを強化する。 このアプローチは、NExT-QA、iVQA、ActivityNet-QAベンチマークのパフォーマンスを向上した、ビデオQAおよびビデオ理解における新しい最先端技術を確立する。
• 参考スコア（独自算出の注目度）: 49.1574468325115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in Video Question Answering (VideoQA) have introduced LLM-based agents, modular frameworks, and procedural solutions, yielding promising results. These systems use dynamic agents and memory-based mechanisms to break down complex tasks and refine answers. However, significant improvements remain in tracking objects for grounding over time and decision-making based on reasoning to better align object references with language model outputs, as newer models get better at both tasks. This work presents an LLM-brained agent for zero-shot Video Question Answering (VideoQA) that combines a Chain-of-Thought framework with grounding reasoning alongside YOLO-World to enhance object tracking and alignment. This approach establishes a new state-of-the-art in VideoQA and Video Understanding, showing enhanced performance on NExT-QA, iVQA, and ActivityNet-QA benchmarks. Our framework also enables cross-checking of grounding timeframes, improving accuracy and providing valuable support for verification and increased output reliability across multiple video domains. The code is available at https://github.com/t-montes/viqagent.
• Abstract（参考訳）: Video Question Answering (VideoQA)の最近の進歩は、LCMベースのエージェント、モジュラーフレームワーク、手続き型ソリューションを導入し、有望な結果をもたらしている。 これらのシステムは動的エージェントとメモリベースのメカニズムを使用して複雑なタスクを分解し、答えを洗練する。 しかしながら、新しいモデルが両方のタスクで改善されるにつれて、オブジェクト参照と言語モデルの出力との整合性を改善するための推論に基づく、時間とともにグラウンドングするオブジェクトのトラッキングと意思決定において、大きな改善が残っています。 本研究は,ゼロショットビデオ質問回答(VideoQA)のためのLCMブラインドエージェントを提案する。これはChain-of-Thoughtフレームワークと,YOLO-Worldと併用してオブジェクトのトラッキングとアライメントを強化する基礎的推論を組み合わせたものだ。 このアプローチは、NExT-QA、iVQA、ActivityNet-QAベンチマークのパフォーマンスを向上した、ビデオQAおよびビデオ理解における新しい最先端技術を確立する。 また,本フレームワークでは,グラウンドタイムフレームのクロスチェック,精度の向上,検証と複数のビデオ領域間の出力信頼性向上に有効なサポートを提供する。 コードはhttps://github.com/t-montes/viqagent.comから入手できる。

関連論文リスト

• VideoMultiAgents: A Multi-Agent Framework for Video Question Answering [11.514596823413736]
  Video Question Answering (VQA) は本質的にマルチモーダル推論に依存している。 本稿では,視覚,シーングラフ解析,テキスト処理などの特殊エージェントを統合するフレームワークであるVideoMultiAgentsを紹介する。 提案手法は, 対象, 行動, 時間的遷移をハイライトするキャプションを生成する, 質問誘導キャプション生成を補足する。
  論文  参考訳（メタデータ） (2025-04-25T22:08:09Z)
• ReasVQA: Advancing VideoQA with Imperfect Reasoning Process [38.4638171723351]
  textbfReasVQA (Reasoning-enhanced Video Question Answering) は、MLLM(Multimodal Large Language Models)が生成する推論プロセスを活用して、ビデオQAモデルの性能を向上させる新しい手法である。 NExT-QAでは+2.9、STARでは+7.3、IntentQAでは+5.9が大幅に改善された。
  論文  参考訳（メタデータ） (2025-01-23T10:35:22Z)
• Eyes on the Road: State-of-the-Art Video Question Answering Models Assessment for Traffic Monitoring Tasks [0.0]
  本研究では、非ベンチマーク合成および実世界のトラフィックシーケンスを用いて、最先端のビデオQAモデルの評価を行う。 VideoLLaMA-2は57%の精度で進行する。 これらの知見は、トラフィック監視におけるVideoQAの可能性を裏付けるだけでなく、多目的追跡、時間的推論、合成機能の改善の必要性も強調している。
  論文  参考訳（メタデータ） (2024-12-02T05:15:32Z)
• VideoEspresso: A Large-Scale Chain-of-Thought Dataset for Fine-Grained Video Reasoning via Core Frame Selection [61.54044967253421]
  空間的詳細と時間的コヒーレンスを保持するビデオQAペアを特徴とする,新しいデータセットであるVideoEspressoを紹介する。 GPT-4o を用いた QA ペア生成にあたり, 冗長性を抑えるためにセマンティック・アウェア法を用いて構成パイプラインを構築した。 フレームセレクタと2段階の命令微調整推論LVLMを備えたハイブリッドLVLM協調フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-11-22T08:33:36Z)
• DVIS-DAQ: Improving Video Segmentation via Dynamic Anchor Queries [60.09774333024783]
  動的アンカークエリ(DAQ)を導入し、アンカーとターゲットクエリ間の遷移ギャップを短くする。 また,クエリレベルのオブジェクトEmergence and Disappearance Simulation(EDS)戦略を導入する。 実験により、DVIS-DAQは5つの主流ビデオセグメンテーションベンチマーク上で、新しい最先端(SOTA)性能を達成することが示された。
  論文  参考訳（メタデータ） (2024-03-29T17:58:50Z)
• Can I Trust Your Answer? Visually Grounded Video Question Answering [88.11169242115416]
  本稿では,ビデオ言語理解のための事前学習技術を活用したビデオQAについて検討する。 NExT-GQA - NExT-QAの拡張で、10.5$K$の時間的グラウンドラベルを元のQAペアに結び付ける。
  論文  参考訳（メタデータ） (2023-09-04T03:06:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。