論文の概要: Behavior Pack Optimization for Video MLLM Post-Training
- arxiv url: http://arxiv.org/abs/2610.03141v1
- Date: Fri, 02 Oct 2026 11:06:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:14:30.339958
- Title: Behavior Pack Optimization for Video MLLM Post-Training
- Title（参考訳）: ビデオMLLMポストトレーニングにおける動作パック最適化
- Abstract要約: ビデオマルチモーダル大言語モデル(MLLM)は、ビデオ質問応答ベンチマークを上昇し続けるが、フレームをシャッフルし、応答をサポートするセグメントを隠蔽する。
本稿では,BPO(Behavior Pack Optimization)を提案する。このBPOは,単一応答を質問タイプによって選択された対実的なビューにまたがる出力の振る舞いパックに置き換える。
- 参考スコア（独自算出の注目度）: 15.043954862242133
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Video multimodal large language models (MLLMs) keep climbing video question answering benchmarks, yet shuffling the frames, masking the segment that supports the answer, or occluding the target object barely changes their predictions. The accuracy rests on appearance and language priors, not on the temporal evidence the question asks for. We trace this to the unit of post-training: rewards are computed on a single response to the original clip, so the model is never asked to behave consistently across views. We propose Behavior Pack Optimization (BPO), which replaces the single response with a behavior pack of outputs across counterfactual views chosen by question type, scored jointly. The pack reward asks for stability when the intervention is irrelevant, sensitivity when key evidence is removed, and abstention when no evidence remains. To keep this objective stable at small pack sizes, BPO uses an anchor-relative advantage: the response on the original view serves as a per-prompt reference instead of a group mean over mixed views. On TempCompass, MVBench, and NExT-QA, BPO improves the macro accuracy of Qwen2.5-VL-7B-Instruct by 4.7 pp, the temporal-hard subset by 7.8 pp, and abstention F1 by 20.0 pp over a budget-matched vanilla GRPO baseline from the same SFT checkpoint. The gains transfer to Video-MME, LongVideoBench, and to LLaVA-Video-7B; ablations confirm they follow the view sets, not the rollout count. We hope this pack-level perspective offers a useful starting point for the video MLLM and multimodal post-training community as the field moves toward evidence-grounded video reasoning.
- Abstract（参考訳）: ビデオマルチモーダル大言語モデル(MLLM)は、ビデオ質問応答ベンチマークを上昇し続けるが、フレームをシャッフルし、応答をサポートするセグメントを隠蔽し、ターゲットオブジェクトを隠蔽することは、予測をほとんど変更しない。
正確性は、質問される時間的証拠ではなく、外見や言語の先行にかかっている。
報酬は元のクリップに対する1つのレスポンスで計算されるので、モデルがビュー全体にわたって一貫して振る舞うように要求されることは決してありません。
本稿では,単一応答を,質問タイプによって選択された対実的なビューの出力の振る舞いパックに置き換える行動パケット最適化(BPO)を提案する。
パック報酬は、介入が無関係である場合、重要な証拠が取り除かれた場合の感度、証拠が残らない場合の棄権などの安定性を求める。
この目的を小さなパックサイズで安定させるために、BPOはアンカー相対的な利点を使用する。
TempCompass、MVBench、NEXT-QAでは、BPOはQwen2.5-VL-7B-インストラクションのマクロ精度を4.7pp、時間ハードサブセットは7.8pp、禁制F1を20.0ppで改善する。
Video-MME、LongVideoBench、LLaVA-Video-7Bに転送される。
このパックレベルの視点は、ビデオMLLMとマルチモーダルなポストトレーニングコミュニティにとって有用な出発点となることを願っている。
関連論文リスト
- When to Retrieve, When to Stay: Uncertainty-Aware Temporal Evidence Allocation for Streaming Video-LLMs [55.016033209274376]
WRWS(When to Retrieve, When to Stay)は、不確実性適応型エビデンスアロケーションのためのトレーニング不要のフレームワークである。
WRWSは、関連手段が信頼性が高い場合に意味検索を好んでおり、不確実性の下での精度を高める。
我々の効率評価において、WRWSは、平均視覚から回答までの時間を、最先端手法の47.93%に削減する。
論文 参考訳（メタデータ） (2026-09-29T12:13:56Z) - VideoScout: Learning Agentic Active Exploration with Adaptive Reasoning Pacing for Long Video Understanding [61.00809248898572]
ロングビデオ理解(英: Long video understanding)とは、エージェントが時間軸に沿って回転してビデオを読み取る問題である。
適応推論によるSEAパラダイムをインスタンス化するマルチターン推論エージェントである textbfVideoScout を提案する。
長いビデオ理解と推論のベンチマーク実験により、我々の7Bモデルは、既存の訓練された7Bエージェントモデルと比較して、強い性能を発揮することが示された。
論文 参考訳（メタデータ） (2026-09-14T14:04:03Z) - VADER: Adaptive Debiasing for Hallucination Mitigation in Video Large Language Models [30.792102059830274]
Video-Adaptive Debiasing via Evidence Reweighting (VADER)は、2つの補完モジュールを持つトレーニング不要のフレームワークである。
Visual Focus Reallocation (VFR)は、ビデオ検索の各入力に対する介入ポリシーを自動的にインスタンス化する。
SEE(Selective Evidence Erasure)は、フレーム毎に高重要性の視覚トークンを隠蔽する。
論文 参考訳（メタデータ） (2026-08-09T10:09:11Z) - TimeLens2: Generalist Video Temporal Grounding with Multimodal LLMs [36.2604844032041]
ビデオマルチモーダル大言語モデル(MLLM)は、ビデオ内で何が起こるかを記述することができるが、支持された証拠がいつ発生したかを特定することは滅多にない。
本研究では,ビデオの長さ,領域,クエリフォーム,視点をまたいだエビデンス間隔の変動心電図を1つのモデルで予測する一般的なビデオ時間的グラウンドについて検討する。
TimeLens2は、時間的エビデンスを、監督と最適化を通じて設定されたインターバルとして扱う。
論文 参考訳（メタデータ） (2026-07-19T22:04:33Z) - Learning Spatiotemporal Sensitivity in Video LLMs via Counterfactual Reinforcement Learning [24.29101453473451]
ビデオ大言語モデル(ビデオモデル)は、強力なベンチマーク精度を達成するが、ダイナミックスを追跡するのではなく、シングルフレームキューや言語先行といったショートカットを通じてビデオ質問に答えることが多い。
この問題はRLポストトレーニングにおいてさらに悪化しており、ビデオダイナミクスを追跡せずに高い報酬を得るショートカットポリシーをさらに強化することができる。
視覚世界が変化したとしても、答えは変わっているか、同じままか、という問題に対処する。
論文 参考訳（メタデータ） (2026-05-21T04:38:02Z) - Event-Anchored Frame Selection for Effective Long-Video Understanding [67.56884568828508]
Event-Anchored Frame Selection (EFS)は階層的なイベント認識パイプラインである。
トレーニング不要のプラグイン・アンド・プレイモジュールとして、EFSは既製のLVLMにシームレスに統合できる。
論文 参考訳（メタデータ） (2026-03-01T08:25:37Z) - PaMi-VDPO: Mitigating Video Hallucinations by Prompt-Aware Multi-Instance Video Preference Learning [50.81779197183613]
ビデオマルチモーダル大言語モデル(VLLM)における幻覚の低減を支援する直接選好最適化(DPO)
本稿では、嗜好アノテーションの不要なオンライン嗜好学習フレームワークであるVDPO(Video Direct Preference Optimization)を提案する。
本稿では,Prompt-aware Multi-instance Learning VDPOを提案する。
論文 参考訳（メタデータ） (2025-04-08T08:41:41Z) - BOLT: Boost Large Vision-Language Model Without Training for Long-form Video Understanding [51.49345400300556]
大規模ビデオ言語モデル (VLM) は様々なビデオ理解タスクにおいて有望な進歩を示した。
均一なフレームサンプリングのような伝統的なアプローチは、必然的に無関係なコンテンツにリソースを割り当てる。
本稿では,フレーム選択戦略の総合的研究を通じて,付加的なトレーニングを伴わずに大規模VLMをブーストする方法であるBOLTを紹介する。
論文 参考訳（メタデータ） (2025-03-27T13:18:40Z) - Weakly Supervised Gaussian Contrastive Grounding with Large Multimodal Models for Video Question Answering [11.244643114253773]
Video Question(ビデオQA)は、ビデオで観察される情報に基づいて、自然言語の質問に答えることを目的としている。
視覚的な入力として疑問クリティカルな瞬間に答えを推論するために,LMMを強制する,弱い教師付きフレームワークを提案する。
論文 参考訳（メタデータ） (2024-01-19T14:21:46Z) - VaQuitA: Enhancing Alignment in LLM-Assisted Video Understanding [63.075626670943116]
本稿では,映像情報とテキスト情報の相乗効果を向上するための最先端フレームワークであるVaQuitAを紹介する。
データレベルでは、フレームを均一にサンプリングする代わりに、CLIPスコアランキングでガイドされるサンプリング手法を実装している。
機能レベルでは、Visual-Query Transformerと一緒にトレーニング可能なVideo Perceiverを統合します。
論文 参考訳（メタデータ） (2023-12-04T19:48:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。