論文の概要: OmAgent: A Multi-modal Agent Framework for Complex Video Understanding with Task Divide-and-Conquer

• arxiv url: http://arxiv.org/abs/2406.16620v2
• Date: Tue, 25 Jun 2024 02:43:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 13:02:11.182461
• Title: OmAgent: A Multi-modal Agent Framework for Complex Video Understanding with Task Divide-and-Conquer
• Title（参考訳）: OmAgent:タスク分割型複雑なビデオ理解のためのマルチモーダルエージェントフレームワーク
• Authors: Lu Zhang, Tiancheng Zhao, Heting Ying, Yibo Ma, Kyusong Lee,
• Abstract要約: 広範なビデオの処理は、膨大なデータと処理要求のために大きな課題をもたらします。 我々はOmAgentを開発し、特定のクエリの関連ビデオフレームを効率的に保存し、検索する。 自律推論が可能なDivide-and-Conquer Loopを備えている。 より高度な自律性と堅牢なツールコールシステムを備えており、さらに複雑なタスクを達成できます。
• 参考スコア（独自算出の注目度）: 14.503628667535425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advancements in Large Language Models (LLMs) have expanded their capabilities to multimodal contexts, including comprehensive video understanding. However, processing extensive videos such as 24-hour CCTV footage or full-length films presents significant challenges due to the vast data and processing demands. Traditional methods, like extracting key frames or converting frames to text, often result in substantial information loss. To address these shortcomings, we develop OmAgent, efficiently stores and retrieves relevant video frames for specific queries, preserving the detailed content of videos. Additionally, it features an Divide-and-Conquer Loop capable of autonomous reasoning, dynamically invoking APIs and tools to enhance query processing and accuracy. This approach ensures robust video understanding, significantly reducing information loss. Experimental results affirm OmAgent's efficacy in handling various types of videos and complex tasks. Moreover, we have endowed it with greater autonomy and a robust tool-calling system, enabling it to accomplish even more intricate tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、包括的なビデオ理解を含むマルチモーダルなコンテキストにその能力を拡張している。 しかし,24時間CCTV映像やフル長フィルムなどの広帯域ビデオの処理は,膨大なデータと処理要求のために大きな課題を生んでいる。 キーフレームを抽出したり、フレームをテキストに変換するといった従来の手法は、しばしばかなりの情報損失をもたらす。 これらの欠点に対処するため、我々はOmAgentを開発し、ビデオの詳細な内容を保存し、特定のクエリの関連ビデオフレームを効率的に保存し、検索する。 さらにDivide-and-Conquer Loopは、自律的な推論、動的呼び出しAPIとクエリ処理と精度を高めるツールを備えている。 このアプローチにより、堅牢なビデオ理解が保証され、情報損失が大幅に減少する。 実験の結果、OmAgentが様々な種類のビデオや複雑なタスクを処理できることが確認された。 さらに、より高度な自律性と堅牢なツールコールシステムを備えており、さらに複雑なタスクを達成できます。

関連論文リスト

• How Good is my Video LMM? Complex Video Reasoning and Robustness Evaluation Suite for Video-LMMs [98.37571997794072]
  CVRR-ES(Complex Video Reasoning and Robustness Evaluation Suite)について紹介する。 CVRR-ESは、11種類の実世界のビデオ次元にわたるビデオLMMの性能を包括的に評価する。 我々の発見は、次世代の人間中心AIシステムを構築する上で貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-05-06T17:59:45Z)
• LongVLM: Efficient Long Video Understanding via Large Language Models [55.813206751150716]
  LongVLMはビデオ理解のためのシンプルだが強力なビデオLLMである。 ローカル情報とグローバル情報の両方を含むビデオ表現をエンコードする。 我々のモデルは、長いビデオ理解のためのより正確な応答を生成する。
  論文  参考訳（メタデータ） (2024-04-04T11:33:29Z)
• Reframe Anything: LLM Agent for Open World Video Reframing [0.8424099022563256]
  ビデオリフレーミングのためのビジュアルコンテンツを再構成するAIベースのエージェントであるReframe Any Video Agent (RAVA)を紹介する。 RAVAは、ユーザーの指示やビデオコンテンツを解釈する知覚、アスペクト比やフレーミング戦略を決定する計画、最終映像を作成するための編集ツールを呼び出す実行の3段階からなる。 我々の実験は、AIを利用したビデオ編集ツールとしての可能性を実証し、ビデオの有能なオブジェクト検出と現実世界のリフレーミングタスクにおけるRAVAの有効性を検証した。
  論文  参考訳（メタデータ） (2024-03-10T03:29:56Z)
• Spatio-temporal Prompting Network for Robust Video Feature Extraction [74.54597668310707]
  フレームテンポラリ(Frametemporal)は、ビデオ理解の分野における大きな課題の1つだ。 最近のアプローチでは、トランスフォーマーベースの統合モジュールを活用して、時間的品質情報を得る。 N-Temporal Prompting Network (NNSTP) という,クリーンで統一されたフレームワークを提案する。 ネットワークバックボーン内の入力特徴を調整することで,映像特徴の抽出を効率的に行うことができる。
  論文  参考訳（メタデータ） (2024-02-04T17:52:04Z)
• Retrieval-based Video Language Model for Efficient Long Video Question Answering [39.474247695753725]
  本稿では,検索型ビデオ言語モデル(R-VLM)を提案する。 具体的には、質問(クエリ)と長いビデオから、我々のモデルは最も関連性の高い$K$のビデオチャンクを特定し、選択する。 実験の結果,長編動画の編集におけるフレームワークの有効性が検証された。
  論文  参考訳（メタデータ） (2023-12-08T09:48:36Z)
• MVBench: A Comprehensive Multi-modal Video Understanding Benchmark [63.14000659130736]
  本稿では、MVBenchという総合的なマルチモーダルビデオ理解ベンチマークを紹介する。 まず、これらの時間的タスクを定義するための新しい静的-動的手法を提案する。 そして,タスク定義に従って,公開ビデオアノテーションを複数選択QAに自動的に変換し,各タスクを評価する。
  論文  参考訳（メタデータ） (2023-11-28T17:59:04Z)
• Query-aware Long Video Localization and Relation Discrimination for Deep Video Understanding [15.697251303126874]
  Deep Video Understanding (DVU) Challengeは、マルチモーダル抽出、融合、分析の境界を推し進めることを目的としている。 本稿では,画像言語事前学習モデルを利用して,長時間の動画のローカライゼーションと関係の識別を行うクエリアウェア手法を提案する。 本手法は,映画レベルの問合せの2つのグループにおいて,第1位と第4位を達成した。
  論文  参考訳（メタデータ） (2023-10-19T13:26:02Z)
• InternVid: A Large-scale Video-Text Dataset for Multimodal Understanding and Generation [90.71796406228265]
  InternVidは大規模なビデオ中心のマルチモーダルデータセットで、強力で転送可能なビデオテキスト表現の学習を可能にする。 InternVidデータセットは700万本以上のビデオが760万時間近く持続し、合計4.1Bワードの詳細な記述を伴う234万本のビデオクリップが生成される。
  論文  参考訳（メタデータ） (2023-07-13T17:58:32Z)
• VideoLLM: Modeling Video Sequence with Large Language Models [70.32832021713864]
  既存のビデオ理解モデルは、しばしばタスク固有であり、多様なタスクを扱う包括的な能力に欠ける。 我々は,事前学習したLLMのシーケンス推論機能を活用する,VideoLLMという新しいフレームワークを提案する。 VideoLLMは慎重に設計されたModality and Semantic Translatorを組み込んでおり、様々なモードからの入力を統一されたトークンシーケンスに変換する。
  論文  参考訳（メタデータ） (2023-05-22T17:51:22Z)
• Deep Multimodal Feature Encoding for Video Ordering [34.27175264084648]
  これらすべてのモダリティを符号化するコンパクトなマルチモーダル特徴表現を学習する方法を提案する。 我々のモデルパラメータは、時系列内の順序のない一連のビデオの時間的順序を推測するプロキシタスクによって学習される。 課題3つの課題,すなわち,ビデオの時間的順序を推定すること,および(ii)行動認識について,個人と共同のモダリティを分析し,評価する。
  論文  参考訳（メタデータ） (2020-04-05T14:02:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。