論文の概要: Decomposing Queries into Tool Calls for Long-Video Keyframe Retrieval

• arxiv url: http://arxiv.org/abs/2605.23826v1
• Date: Fri, 22 May 2026 16:29:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.430925
• Title: Decomposing Queries into Tool Calls for Long-Video Keyframe Retrieval
• Title（参考訳）: 長いビデオのキーフレーム検索のためのツールコールにクエリを分解する
• Authors: Michal Shlapentokh-Rothman, Prachi Garg, Yu-Xiong Wang, Derek Hoiem,
• Abstract要約: KeyMergeは、分解とマージに基づく検索方法である。 我々はM2M(Momo-2 Moments)という,各質問を特定の時間間隔に設定するベンチマークを構築した。 質問検索、キャプション検索など、ToolMergeは以前のセレクタと競合するが、特にキャプション検索では、他のメソッドよりも5%上回っている。
• 参考スコア（独自算出の注目度）: 54.00389718500861
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Keyframe selection is a direct way to provide verifiable visual evidence for long-video question answering (QA). Queries differ in what they require, and finding the right frames depends on knowing what to look for. Existing keyframe selectors either score every frame against a single query, or decompose the query into a fixed schema evaluated by a single visual tool. We propose ToolMerge, a keyframe retrieval method based on decomposition and merging: an Large Language Model (LLM) based planner decomposes the query into tool calls and specifies how their per-tool rankings are merged using boolean operators. To evaluate retrieval directly, we construct Molmo-2 Moments (M2M), a benchmark in which every question is anchored to a specific time interval by construction. Across QA, question retrieval, and caption retrieval, ToolMerge is competitive with prior keyframe selectors, most notably on caption retrieval, outperforming other methods by 5%. Code and data can be found at https://github.com/michalsr/ToolMerge .
• Abstract（参考訳）: キーフレームの選択は、長いビデオ質問応答(QA)の検証可能な視覚的証拠を提供する直接的な方法である。 クエリは必要なものによって異なり、適切なフレームを見つけるには、何を探すかを知る必要がある。 既存のキーフレームセレクタは、1つのクエリに対して各フレームをスコアするか、クエリを1つのビジュアルツールで評価された固定スキーマに分解する。 LLM(Large Language Model)ベースのプランナは、クエリをツールコールに分解し、ツールごとのランキングをブール演算子を使ってマージする方法を指定する。 検索を直接評価するために,M2M (Momo-2 Moments) を構築する。 QA、質問検索、キャプション検索を通じて、ToolMergeは以前のキーフレームセレクタと競合する。 コードとデータはhttps://github.com/michalsr/ToolMerge で見ることができる。

関連論文リスト

• Beyond Caption-Based Queries for Video Moment Retrieval [60.31221310786333]
  キャプションベースのクエリでトレーニングしたVMR手法の劣化について検討するが,検索クエリで評価した。 3つのパブリックVMRデータセットでテキストクエリを変更することで、3つのベンチマークを導入する。 提案手法は,検索クエリの性能を最大14.82% mAP_m,マルチモーメント検索クエリ最大21.83% mAP_mで改善する。
  論文  参考訳（メタデータ） (2026-03-02T20:06:41Z)
• Improving Video Question Answering through query-based frame selection [15.416301612152004]
  Video Question Answering (VideoQA) モデルは、視聴覚コンテンツに対する理解とインタラクションを強化する。 重い計算要求のため、ビデオQAのほとんどの大きなビジュアル言語モデル(VLM)は、動画を一様にサンプリングすることで固定数のフレームに依存している。 本稿では,サブモジュール相互情報(SMI)関数に基づいて,質問に関連のある新しい問合せベースのフレーム選択を提案する。
  論文  参考訳（メタデータ） (2026-01-12T12:10:20Z)
• The benefits of query-based KGQA systems for complex and temporal questions in LLM era [55.20230501807337]
  大規模言語モデルは質問回答(QA)に優れていますが、マルチホップ推論や時間的質問には苦戦しています。 クエリベースの知識グラフ QA (KGQA) は、直接回答の代わりに実行可能なクエリを生成するモジュール形式の代替手段を提供する。 WikiData QAのためのマルチステージクエリベースのフレームワークについて検討し、課題のあるマルチホップと時間ベンチマークのパフォーマンスを向上させるマルチステージアプローチを提案する。
  論文  参考訳（メタデータ） (2025-07-16T06:41:03Z)
• Logic-in-Frames: Dynamic Keyframe Search via Visual Semantic-Logical Verification for Long Video Understanding [23.022070084937603]
  本稿では,視覚意味論理探索のパラダイムの下で選択を再構成する意味論的検索フレームワークを提案する。 提案手法は,キーフレーム選択の指標を手動でアノテートしたベンチマーク上で,新たなSOTA性能を確立する。
  論文  参考訳（メタデータ） (2025-03-17T13:07:34Z)
• Action tube generation by person query matching for spatio-temporal action detection [0.0]
  方法は、IoUベースのリンクやクリップ分割のような後処理ステップに頼ることなく、オリジナルビデオからアクションチューブを生成する。 提案手法では,各フレームに問合せに基づく検出(DETR)を適用し,同一人物をフレーム間でリンクするDETRクエリとマッチングする。 アクションクラスはQMMマッチングから得られたクエリのシーケンスを用いて予測され、単一のクリップよりも長いビデオから可変長の入力が可能になる。
  論文  参考訳（メタデータ） (2025-03-17T09:26:06Z)
• Single-Stage Visual Query Localization in Egocentric Videos [79.71065005161566]
  エンドツーエンドのトレーニングが可能なシングルステージのVQLフレームワークを提案する。 我々は,クエリとビデオフレーム間の問合せ対応を考慮し,問合せとビデオの関係を確立する。 実験により,提案手法の精度は従来のVQL手法よりも20%向上し,推論速度は10倍向上した。
  論文  参考訳（メタデータ） (2023-06-15T17:57:28Z)
• Temporal Query Networks for Fine-grained Video Understanding [88.9877174286279]
  我々はこれをクエリ応答機構にキャストし、各クエリが特定の質問に対処し、独自の応答ラベルセットを持つ。 本手法は,細粒度動作分類のためのファインガイムおよびダイビング48ベンチマークを広範囲に評価し,rgb機能のみを用いて最先端の動作分類を克服した。
  論文  参考訳（メタデータ） (2021-04-19T17:58:48Z)
• Query Focused Multi-Document Summarization with Distant Supervision [88.39032981994535]
  既存の作業は、クエリとテキストセグメント間の関連性を推定する検索スタイルの手法に大きく依存している。 本稿では,クエリに関連するセグメントを推定するための個別モジュールを導入した粗大なモデリングフレームワークを提案する。 我々のフレームワークは、標準QFSベンチマークにおいて、強力な比較システムよりも優れていることを実証する。
  論文  参考訳（メタデータ） (2020-04-06T22:35:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。