論文の概要: RAG-Adapter: A Plug-and-Play RAG-enhanced Framework for Long Video Understanding

• arxiv url: http://arxiv.org/abs/2503.08576v1
• Date: Tue, 11 Mar 2025 16:10:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:42:31.849480
• Title: RAG-Adapter: A Plug-and-Play RAG-enhanced Framework for Long Video Understanding
• Title（参考訳）: RAG-Adapter: 長期ビデオ理解のためのプラグインとプレイのRAG拡張フレームワーク
• Authors: Xichen Tan, Yunfan Ye, Yuanjing Luo, Qian Wan, Fang Liu, Zhiping Cai,
• Abstract要約: 提案するRAG-Adapterは,与えられた質問に最も関係のあるフレームをサンプリングすることで,テスト中の情報損失を低減するためのプラグイン・アンド・プレイ・フレームワークである。 また、RAG-Adapterのサンプリング効率をさらに高めるために、GCL(Grouped-supervised Contrastive Learning)手法も導入する。
• 参考スコア（独自算出の注目度）: 12.617410132077854
• License:
• Abstract: Multi-modal Large Language Models (MLLMs) capable of video understanding are advancing rapidly. To effectively assess their video comprehension capabilities, long video understanding benchmarks, such as Video-MME and MLVU, are proposed. However, these benchmarks directly use uniform frame sampling for testing, which results in significant information loss and affects the accuracy of the evaluations in reflecting the true abilities of MLLMs. To address this, we propose RAG-Adapter, a plug-and-play framework that reduces information loss during testing by sampling frames most relevant to the given question. Additionally, we introduce a Grouped-supervised Contrastive Learning (GCL) method to further enhance sampling effectiveness of RAG-Adapter through fine-tuning on our constructed MMAT dataset. Finally, we test numerous baseline MLLMs on various video understanding benchmarks, finding that RAG-Adapter sampling consistently outperforms uniform sampling (e.g., Accuracy of GPT-4o increases by 9.3 percent on Video-MME), providing a more accurate testing method for long video benchmarks.
• Abstract（参考訳）: ビデオ理解が可能なマルチモーダル大言語モデル(MLLM)は急速に進歩している。 映像理解能力を効果的に評価するために,ビデオMMEやMLVUといった長大な映像理解ベンチマークを提案する。 しかし、これらのベンチマークでは、一様フレームサンプリングを直接使用し、結果として情報損失が大きくなり、MLLMの真の性能を反映する評価の精度に影響を及ぼす。 そこで本研究では,与えられた質問に最も関係のあるフレームをサンプリングすることで,テスト中の情報損失を低減するためのプラグイン・アンド・プレイフレームワークであるRAG-Adapterを提案する。 さらに、構築したMMATデータセットの微調整により、RAG-Adapterのサンプリング効率をさらに高めるために、グループ教師付きコントラスト学習(GCL)手法を導入する。 最後に,様々なビデオ理解ベンチマークを用いて多数のベースラインMLLMを試験し,RAG-Adapterサンプリングが一様サンプリング(例えば,ビデオMMEではGPT-4oの精度が9.3%向上)を一貫して上回り,より正確なビデオベンチマーク試験方法を提供する。

関連論文リスト

• MomentSeeker: A Comprehensive Benchmark and A Strong Baseline For Moment Retrieval Within Long Videos [62.01402470874109]
  我々は、一般的な長時間ビデオモーメント検索タスクの処理において、検索モデルの性能を評価するベンチマークであるMomentSeekerを提案する。 平均で500秒を超える長いビデオが組み込まれており、長時間ビデオのモーメント検索に特化した最初のベンチマークとなっている。 幅広いタスクカテゴリ(Moment Search, Caption Alignment, Image-conditioned Moment Search, Video-conditioned Moment Searchなど)と多様なアプリケーションシナリオをカバーする。 さらに、MLLMベースのLVMRレトリバーを合成データ上に微調整し、ベンチマークで高い性能を示す。
  論文  参考訳（メタデータ） (2025-02-18T05:50:23Z)
• A Benchmark for Crime Surveillance Video Analysis with Large Models [22.683394427744616]
  監視ビデオにおける異常解析はコンピュータビジョンにおいて重要なトピックである。 近年,マルチモーダル大規模言語モデル (MLLM) は様々な領域においてタスク固有モデルよりも優れている。 UCVLと表記される大規模モデルを用いた犯罪監視ビデオ分析のベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-02-13T13:38:17Z)
• Toward Robust Hyper-Detailed Image Captioning: A Multiagent Approach and Dual Evaluation Metrics for Factuality and Coverage [50.84150600032693]
  MLLM(Multimodal large language model)は、非常に詳細なキャプションを生成するのに優れるが、幻覚を引き起こすことが多い。 我々は,LLM-MLLM協調を利用して与えられたキャプションを補正するマルチエージェント手法を提案する。 提案手法は, キャプションの精度を向上し, GPT-4Vによるキャプションの精度を向上する。
  論文  参考訳（メタデータ） (2024-12-20T01:37:22Z)
• ChunkRAG: Novel LLM-Chunk Filtering Method for RAG Systems [2.8692611791027893]
  Retrieval-Augmented Generation (RAG) システムは、無関係またはゆるい関連情報の検索によって不正確な応答を生成する。 チャンクレベルで取得した情報を評価・フィルタリングすることでRAGシステムを強化するフレームワークであるChunkRAGを提案する。
  論文  参考訳（メタデータ） (2024-10-25T14:07:53Z)
• Video Instruction Tuning With Synthetic Data [84.64519990333406]
  ビデオ命令追従のための高品質な合成データセット、すなわちLLaVA-Video-178Kを作成する。 このデータセットには、詳細なキャプション、オープンエンド質問回答(QA)、複数選択QAといった重要なタスクが含まれている。 このデータセットをトレーニングすることにより、既存の視覚的インストラクションチューニングデータと組み合わせて、新しいビデオLMMであるLLaVA-Videoを導入する。
  論文  参考訳（メタデータ） (2024-10-03T17:36:49Z)
• Fact, Fetch, and Reason: A Unified Evaluation of Retrieval-Augmented Generation [19.312330150540912]
  新たなアプリケーションは、Large Language Models(LLMs)を使用して、検索強化世代(RAG)機能を強化している。 FRAMESは,LLMが現実的な応答を提供する能力をテストするために設計された高品質な評価データセットである。 本稿では,最先端のLLMでもこの課題に対処し,0.40の精度で検索を行なわないことを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:52:07Z)
• An Empirical Comparison of Video Frame Sampling Methods for Multi-Modal RAG Retrieval [1.6581184950812533]
  自然言語質問を用いたビデオ・フレーム検索におけるフレームサンプリング手法のトレードオフについて検討する。 本稿では,ビデオRAGパターンが必要とするベクトルデータベース内の画像データ(ビデオフレーム)の保存と検索に焦点を当てた。
  論文  参考訳（メタデータ） (2024-07-22T11:44:08Z)
• MMBench-Video: A Long-Form Multi-Shot Benchmark for Holistic Video Understanding [67.56182262082729]
  本稿では,ビデオ理解において大規模視覚言語モデル(LVLM)を厳格に評価するための定量的なベンチマークであるMMBench-Videoを紹介する。 MMBench-VideoにはYouTubeの長いビデオが組み込まれており、フリーフォームの質問を採用し、実用的なユースケースを反映している。 ベンチマークは、慎重に構築された能力の分類に従って人間に注釈を付けることで、モデルの時間的推論スキルを調査するために慎重に作成されている。
  論文  参考訳（メタデータ） (2024-06-20T17:26:01Z)
• Direct Preference Optimization of Video Large Multimodal Models from Language Model Reward [118.65089648651308]
  本稿では,映像コンテンツのプロキシとして詳細な動画キャプションを利用する新しいフレームワークを提案する。 本稿では,DPOによる報酬の調整により,ビデオ質問応答(QA)タスクにおけるビデオLMMの性能が著しく向上することを示す。
  論文  参考訳（メタデータ） (2024-04-01T17:28:16Z)
• Understanding Long Videos with Multimodal Language Models [44.78900245769057]
  LLM(Large Language Models)は、長いビデオ理解ベンチマークにおいて優れたパフォーマンスを達成するために、最近のアプローチを可能にしている。 本研究では,LLMの広範な世界知識と強力な推論能力が,この強みにどのように影響するかを考察する。 得られたマルチモーダルビデオ理解フレームワークは、複数のビデオ理解ベンチマークで最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-03-25T17:59:09Z)
• VaQuitA: Enhancing Alignment in LLM-Assisted Video Understanding [63.075626670943116]
  本稿では,映像情報とテキスト情報の相乗効果を向上するための最先端フレームワークであるVaQuitAを紹介する。 データレベルでは、フレームを均一にサンプリングする代わりに、CLIPスコアランキングでガイドされるサンプリング手法を実装している。 機能レベルでは、Visual-Query Transformerと一緒にトレーニング可能なVideo Perceiverを統合します。
  論文  参考訳（メタデータ） (2023-12-04T19:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。