論文の概要: From Trial to Triumph: Advancing Long Video Understanding via Visual Context Sample Scaling and Self-reward Alignment

• arxiv url: http://arxiv.org/abs/2503.20472v1
• Date: Wed, 26 Mar 2025 11:53:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:21:56.974575
• Title: From Trial to Triumph: Advancing Long Video Understanding via Visual Context Sample Scaling and Self-reward Alignment
• Title（参考訳）: 試行錯誤:ビジュアルコンテキストのスケーリングと自己回帰によるロングビデオ理解の促進
• Authors: Yucheng Suo, Fan Ma, Linchao Zhu, Tianyi Wang, Fengyun Rao, Yi Yang,
• Abstract要約: 大規模言語モデルは単一の推論で有限フレームしか処理できない。 視覚的コンテキストサンプリングにより複数の予測を提案し,次に最終的な予測を選択するためのスコアリング機構を提案する。 実験により,この手法がビデオ質問の回答の正解を高い割合でカバーしていることが示されている。
• 参考スコア（独自算出の注目度）: 51.3011761744484
• License:
• Abstract: Multi-modal Large language models (MLLMs) show remarkable ability in video understanding. Nevertheless, understanding long videos remains challenging as the models can only process a finite number of frames in a single inference, potentially omitting crucial visual information. To address the challenge, we propose generating multiple predictions through visual context sampling, followed by a scoring mechanism to select the final prediction. Specifically, we devise a bin-wise sampling strategy that enables MLLMs to generate diverse answers based on various combinations of keyframes, thereby enriching the visual context. To determine the final prediction from the sampled answers, we employ a self-reward by linearly combining three scores: (1) a frequency score indicating the prevalence of each option, (2) a marginal confidence score reflecting the inter-intra sample certainty of MLLM predictions, and (3) a reasoning score for different question types, including clue-guided answering for global questions and temporal self-refocusing for local questions. The frequency score ensures robustness through majority correctness, the confidence-aligned score reflects prediction certainty, and the typed-reasoning score addresses cases with sparse key visual information using tailored strategies. Experiments show that this approach covers the correct answer for a high percentage of long video questions, on seven datasets show that our method improves the performance of three MLLMs.
• Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)はビデオ理解において顕著な能力を示す。 しかし、長いビデオを理解することは、モデルが単一の推論で有限のフレームしか処理できず、重要な視覚情報を省略できるため、依然として困難である。 この課題に対処するため、視覚的コンテキストサンプリングにより複数の予測を生成し、次に最終的な予測を選択するためのスコアリング機構を提案する。 具体的には、キーフレームの様々な組み合わせに基づいてMLLMが多様な回答を生成できるようにし、視覚的コンテキストを豊かにするバイナリワイズサンプリング戦略を考案する。 サンプル回答から最終予測を決定するために,(1)各選択肢の有病率を示す周波数スコア,(2)MLLM予測のイントラ標本間確信度を反映した限界信頼スコア,(3)グローバルな質問に対する手がかり誘導応答,および局所的な質問に対する時間的自己評価を含む,様々な質問タイプに対する推論スコアの3つのスコアを線形に組み合わせて自己回帰を用いる。 周波数スコアは、多数決正当性を通じて頑健性を確保し、信頼一致スコアは予測確実性を反映し、型推論スコアは、調整された戦略を用いて、少ないキー情報を持つケースに対処する。 7つのデータセットから,本手法が3つのMLLMの性能を向上させることを示す。

関連論文リスト

• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Unveiling the Ignorance of MLLMs: Seeing Clearly, Answering Incorrectly [44.31985939516153]
  MLLM(Multimodal Large Language Models)は、マルチモーダルタスクにおいて顕著な性能を示す。 MLLMは、視覚的内容を理解した場合でも、誤った回答をしばしば生成することを示す。 テキストと視覚的プロンプトを精細化し,デコード中の視覚的コンテンツに焦点を当てることを提案する。
  論文  参考訳（メタデータ） (2024-06-15T13:58:26Z)
• CinePile: A Long Video Question Answering Dataset and Benchmark [55.30860239555001]
  我々は、CinePileという新しいデータセットとベンチマークを提示する。 包括的データセットは305,000の多重選択質問(MCQ)から構成されており、様々な視覚的・マルチモーダル的な側面をカバーしている。 トレーニングスプリットに関して、オープンソースのVideo-LLMを微調整し、データセットのテストスプリット上で、オープンソースとプロプライエタリなビデオ中心LLMの両方を評価しました。
  論文  参考訳（メタデータ） (2024-05-14T17:59:02Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• Weakly Supervised Gaussian Contrastive Grounding with Large Multimodal Models for Video Question Answering [11.244643114253773]
  Video Question(ビデオQA)は、ビデオで観察される情報に基づいて、自然言語の質問に答えることを目的としている。 視覚的な入力として疑問クリティカルな瞬間に答えを推論するために,LMMを強制する,弱い教師付きフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-19T14:21:46Z)
• VaQuitA: Enhancing Alignment in LLM-Assisted Video Understanding [63.075626670943116]
  本稿では,映像情報とテキスト情報の相乗効果を向上するための最先端フレームワークであるVaQuitAを紹介する。 データレベルでは、フレームを均一にサンプリングする代わりに、CLIPスコアランキングでガイドされるサンプリング手法を実装している。 機能レベルでは、Visual-Query Transformerと一緒にトレーニング可能なVideo Perceiverを統合します。
  論文  参考訳（メタデータ） (2023-12-04T19:48:02Z)
• Interventional Video Grounding with Dual Contrastive Learning [16.0734337895897]
  ビデオグラウンドティングは、与えられたテキストクエリのために、未編集のビデオから瞬間をローカライズすることを目的としている。 本稿では、因果推論の観点から新しいパラダイムを提案し、モデルとデータの背後にある因果関係を明らかにする。 また、テキストとビデオの整合性を改善するために、二重のコントラスト学習アプローチを導入しています。
  論文  参考訳（メタデータ） (2021-06-21T12:11:28Z)
• DeepQAMVS: Query-Aware Hierarchical Pointer Networks for Multi-Video Summarization [127.16984421969529]
  DeepQAMVSと呼ばれるマルチビデオ要約のための新しいQuery-Aware階層型ポインタネットワークを紹介します。 DeepQAMVSは強化学習で訓練され、代表性、多様性、クエリ適応性、時間的コヒーレンスを捉えた報酬を取り入れている。 MVS1Kデータセットで最新の結果を達成し、入力されたビデオフレームの数と線形に推論時間をスケーリングします。
  論文  参考訳（メタデータ） (2021-05-13T17:33:26Z)
• Self-supervised pre-training and contrastive representation learning for multiple-choice video QA [39.78914328623504]
  Video Question Answering (ビデオQA)は、与えられた質問に答えるために、ビデオと言語の両方の微妙な理解を必要とする。 本稿では,自己指導型事前学習段階と主段階における教師付きコントラスト学習を補助学習として,複数選択型ビデオ質問応答のための新しい学習手法を提案する。 提案手法は,TVQA,TVQA+,DramaQAといったマルチチョイスビデオQAに関連する高競争性ベンチマークデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2020-09-17T03:37:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。