論文の概要: One Skill Does Not Fit All: Automatic Discovery and Taxonomy-Guided Routing of Frame-Selection Skills for Long-Video Question Answering
- arxiv url: http://arxiv.org/abs/2609.12517v1
- Date: Fri, 11 Sep 2026 07:24:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.653538
- Title: One Skill Does Not Fit All: Automatic Discovery and Taxonomy-Guided Routing of Frame-Selection Skills for Long-Video Question Answering
- Title（参考訳）: 1つのスキルがすべてに合わない: ビデオによる質問応答のための自動発見と分類指導によるフレーム選択スキルのルーティング
- Abstract要約: LVQA(Long-Video Question Answering)は、フレーム予算に制限された時間スケールのビデオに決定的な証拠を見つける必要がある。
ほとんどのトレーニングフリー手法は、異なる質問タイプで要求される証拠にかなりの変化があるにもかかわらず、全ての質問に対して同じフレーム選択戦略を適用している。
本稿では,実行可能フレーム選択スキルの自動検出とルーティングを行うソース管理フレームワークであるAutoSkillを紹介する。
- 参考スコア（独自算出の注目度）: 36.15937247044457
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Long-Video Question Answering (LVQA) requires locating decisive evidence in hour-scale videos under a limited frame budget. Most training-free methods apply the same frame-selection strategy to all questions, despite substantial variation in the evidence required by different question types. Our analysis shows that the relative effectiveness of frame-selection strategies varies across semantic categories and benchmarks, motivating adaptive evidence acquisition. In this paper, we introduce AutoSkill, a source-supervised framework for automatically discovering and routing executable frame-selection skills. Starting from a small labelled source pool, LLM agents iteratively propose, implement, evaluate, and refine candidate skills. For a target benchmark, AutoSkill uses only unlabelled question and option text to induce a shared semantic taxonomy, rewrite labelled source examples into the target style, and estimate a category-to-skill mapping. Neither target videos nor target answers are used in this process. At inference time, each question is assigned one skill, which selects the frames used in a single inference of the frozen video MLLM. Across five long-video benchmark splits, AutoSkill improves Qwen2.5-VL-7B and Qwen3.5-4B by 2.4% and 1.2%, respectively, demonstrating the effectiveness of our AutoSkill.
- Abstract（参考訳）: LVQA(Long-Video Question Answering)は、フレーム予算に制限された時間スケールのビデオに決定的な証拠を見つける必要がある。
ほとんどのトレーニングフリー手法は、異なる質問タイプで要求される証拠にかなりの変化があるにもかかわらず、全ての質問に対して同じフレーム選択戦略を適用している。
分析の結果、フレーム選択戦略の相対的有効性はセマンティックカテゴリやベンチマークによって異なり、アダプティブエビデンス獲得を動機付けていることがわかった。
本稿では,実行可能フレーム選択スキルを自動的に検出し,ルーティングするソース管理フレームワークであるAutoSkillを紹介する。
小さなラベル付きソースプールから始めて、LLMエージェントは反復的に候補スキルを提案し、実装し、評価し、洗練する。
ターゲットのベンチマークでは、AutoSkillは、共有セマンティックな分類を誘導し、ラベル付きソースの例をターゲットのスタイルに書き直し、カテゴリからスキルへのマッピングを見積もるために、ラベルなしの質問とオプションのテキストのみを使用する。
このプロセスでは、対象の動画も対象の回答も使用されない。
推論時、各質問には1つのスキルが割り当てられ、冷凍ビデオMLLMの1つの推論で使用されるフレームを選択する。
5つの長ビデオベンチマークで、AutoSkillはQwen2.5-VL-7BとQwen3.5-4Bをそれぞれ2.4%と1.2%改善し、AutoSkillの有効性を示しています。
関連論文リスト
- Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors [69.75895255395702]
MLLMの検証選択抽出層におけるクロスモーダルな注意は、自己回帰生成を必要とせずに、クエリ関連フレーム証拠を既に提供している。
2Bパラメータしか持たない軽量MLLMセレクタは、クエリ条件アグリゲーションにより、選択した層注目値を関連スコアに変換することにより、フレームレベルのエビデンスを抽出することができる。
32フレームの予算下では,ビデオMMEで最大6.4ポイントの均一サンプリングを改良し,フレーム予算の一致したトレーニングベースセレクタよりも優れていた。
論文 参考訳（メタデータ） (2026-07-17T07:04:31Z) - Learning Question-Aware Keyframe Selection with Synthetic Supervision for Video Question Answering [11.557860792712171]
キーフレームの選択は効率性とよりシャープな推論を提供するが、画像とテキストの類似性に依存する場合、監督や冗長なフレーム選択に悩まされる。
情報的監視を提供するLMMから派生した擬似ラベルと,多種多様な補完的証拠を促進するカバーレギュラー化の2つのコンポーネントからなる質問認識選択フレームワークを提案する。
論文 参考訳（メタデータ） (2026-03-16T08:07:14Z) - Improving Video Question Answering through query-based frame selection [15.416301612152004]
Video Question Answering (VideoQA) モデルは、視聴覚コンテンツに対する理解とインタラクションを強化する。
重い計算要求のため、ビデオQAのほとんどの大きなビジュアル言語モデル(VLM)は、動画を一様にサンプリングすることで固定数のフレームに依存している。
本稿では,サブモジュール相互情報(SMI)関数に基づいて,質問に関連のある新しい問合せベースのフレーム選択を提案する。
論文 参考訳（メタデータ） (2026-01-12T12:10:20Z) - End-to-End Video Question Answering with Frame Scoring Mechanisms and Adaptive Sampling [43.024232182899354]
そこで我々は,VidF4を提案する。VidF4は,ビデオQAを効果的かつ効率的に選択するためのフレーム選択戦略を備えた,新しいビデオQAフレームワークである。
本稿では,ビデオ上での質問に対する各フレームの重要性を評価するために,質問関連性とフレーム間類似性の両方を考慮した3つのフレーム照合機構を提案する。
広く採用されている3つのベンチマークによる実験結果から,我々のモデルは既存のビデオQA手法より一貫して優れていることが示された。
論文 参考訳（メタデータ） (2024-07-21T04:09:37Z) - Characterizing Video Question Answering with Sparsified Inputs [55.7455981156755]
我々は、異なる入力間隔のタスクを特徴付け、それを行うためのツールを提供する。
具体的には、Gumbelベースの学習可能な選択モジュールを使用して、最終タスクに最適な入力を適応的に選択する。
実験の結果,5.2%～5.8%のパフォーマンス低下がみられ,ビデオの長さは10%に過ぎなかった。
論文 参考訳（メタデータ） (2023-11-27T21:00:20Z) - Temporal Saliency Query Network for Efficient Video Recognition [82.52760040577864]
ビデオ認識は、インターネットやモバイルデバイス上でのマルチメディアデータの爆発的な成長に関するホットスポット研究のトピックである。
既存の方法の多くは、クラス固有のサリエンシスコアを意識せずに、サリエントフレームを選択する。
そこで我々は,Saliency Query (TSQ) 機構を提案する。
論文 参考訳（メタデータ） (2022-07-21T09:23:34Z) - Temporal Query Networks for Fine-grained Video Understanding [88.9877174286279]
我々はこれをクエリ応答機構にキャストし、各クエリが特定の質問に対処し、独自の応答ラベルセットを持つ。
本手法は,細粒度動作分類のためのファインガイムおよびダイビング48ベンチマークを広範囲に評価し,rgb機能のみを用いて最先端の動作分類を克服した。
論文 参考訳（メタデータ） (2021-04-19T17:58:48Z) - Dense-Caption Matching and Frame-Selection Gating for Temporal
Localization in VideoQA [96.10612095576333]
本稿では,マルチモーダルな入力源を効果的に統合し,時間的関連情報から質問に答えるビデオ質問応答モデルを提案する。
また,2レベルアテンション(単語・オブジェクト・フレームレベル),異なるソース(ビデオ・高密度キャプション)に対するマルチヘッド自己統合,ゲートへのより関連性の高い情報伝達などで構成されている。
当社のモデルは,各モデルコンポーネントが大きな利益をもたらす,難易度の高いTVQAデータセット上で評価され,全体的なモデルでは,最先端のモデルよりも大きなマージンで優れています。
論文 参考訳（メタデータ） (2020-05-13T16:35:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。