論文の概要: GridProbe: Posterior-Probing for Adaptive Test-Time Compute in Long-Video VLMs
- arxiv url: http://arxiv.org/abs/2605.10762v1
- Date: Mon, 11 May 2026 15:57:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.959852
- Title: GridProbe: Posterior-Probing for Adaptive Test-Time Compute in Long-Video VLMs
- Title(参考訳): GridProbe: 長時間ビデオVLMにおける適応テスト時間計算のための後処理
- Abstract要約: GridProbeは、効率的なトレーニング不要な後処理推論パラダイムである。
解答空間における証拠は、凍結したVLM自身の推論を用いて得られる。
疑似関連フレームを適応的に選択し、精度の損失が少なくて、準四分法的な注意コストをもたらす。
- 参考スコア(独自算出の注目度): 3.9266376632068485
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-video understanding in VLMs is bottlenecked by a single monolithic forward pass over thousands of frames at quadratic attention cost. A common mitigation is to first select a small subset of informative frames before the forward pass; common for training-free selectors via auxiliary encoder-space similarities. Such signals are capped by contrastive pretraining, which usually fails on reasoning-heavy queries (negation, cross-frame counting, holistic summarization). We propose GridProbe, an efficient training-free posterior-probing inference paradigm that scores evidence in answer space using a frozen VLM's own reasoning and then selects question-relevant frames adaptively, resulting in sub-quadratic attention cost with little to no accuracy loss. We arrange frames on a $K{\times}K$ grid and run lightweight row R and column C probes, where each probe reads its peak posterior as a query-conditioned confidence. The outer product of R and C yields an interpretable importance map whose skewness and kurtosis drive Shape-Adaptive Selection, a closed-form rule that reliably replaces the fixed frame budget $M$ with a per-question $M_{\mathrm{eff}}$. We show empirically that $M_{\mathrm{eff}}$ tracks intrinsic question difficulty without ever seeing the answer, a sign of test-time adaptive compute. On Video-MME-v2, GridProbe matches the monolithic baseline within $1.6$ pp Avg Acc at $3.36\times$ TFLOPs reduction, while on LongVideoBench it Pareto-dominates the baseline ($+0.9$ pp at $0.35\times$ compute). Because the selector and QA models can be decoupled, pairing a small 2B selector with a stronger 4B or 8B QA is strictly Pareto-dominant over the 2B monolithic baseline (up to $+4.0$ pp at $0.52\times$ compute, on average), with no retraining. Finally, the interpretability of the importance maps opens future avenues for behavioral diagnostics, grounding, and frame-selection distillation.
- Abstract(参考訳): VLMの長時間の理解は、二次的注意コストで数千フレームを超える単一のモノリシックフォワードパスによってボトルネックされる。
一般的な緩和策は、最初にフォワードパスの前に情報フレームの小さなサブセットを選択することである。
このような信号は対照的な事前訓練によって捕捉され、通常は推論が重いクエリ(ネゲーション、クロスフレームカウント、全体的要約)で失敗する。
凍結したVLMの推論を用いて解答空間のエビデンスをスコアリングし,質問関連フレームを適応的に選択し,精度の低下を伴わずに準四分法的な注意を伴わない,効率的な学習自由な後処理推論パラダイムであるGridProbeを提案する。
K{\times}K$グリッド上にフレームを配置し、軽量な行RとカラムCプローブを実行する。
R と C の外積は、スキューネスとクルトシスが、固定フレーム予算$M$をクエスト当たり$M_{\mathrm{eff}}$に確実に置き換える閉形式規則であるシェープ・アダプティブ・セレクション(Shape-Adaptive Selection)を駆動する解釈可能な重要写像を与える。
M_{\mathrm{eff}}$は、テスト時間適応計算の兆候である解を見ずに、本質的な疑問の難しさをトラックする。
Video-MME-v2では、GridProbeはモノリシックなベースラインを$16$ pp Avg Accで$3.36\times$TFLOPsで、LongVideoBenchでは$0.35\times$で$+0.9$ ppで支配している。
セレクタとQAモデルは分離可能であるため、より強い4Bまたは8BのQAを持つ小さな2Bセレクタをペアリングすることは、2Bモノリシックベースライン(平均0.52\times$計算で最大$4.0$ pp)に対して厳密にパレート優位である。
最後に、重要地図の解釈性は、行動診断、接地、フレーム選択蒸留のための将来の道を開く。
関連論文リスト
- Stable Curves, Unstable Items: Item-Level Scaling Heterogeneity in Video LLMs [16.31176289941024]
ビデオLLMは、視覚的予算が大きくなるにつれて、スムーズに改善されるか、飽和していることを示す。
制御された視覚的予算の下で,各凍結モデルペアを応答軌道で表現する。
我々は、構成の相補性、有害な遷移、およびテキスト上書きの一致したグリッド測度を導出する。
論文 参考訳(メタデータ) (2026-08-07T09:25:20Z) - Coverage-Driven Adaptive Keyframe Selection for Video Understanding [12.078063042214573]
そこで我々はCSESを提案する。CSESは学習不要なセマンティックセレクタで、スコアとセレクトのためのフレームの数を適応的に決定する。
CSESはフレームクエリの優位性を推定し、アクティブな取得を誘導し、各入力の時間的カバレッジを適応させる。
次に、意味的関連性、時間的冗長性、視覚的冗長性を共同で説明するカバレッジ問題として、選択の妥当性を定式化する。
論文 参考訳(メタデータ) (2026-08-01T15:24:06Z) - Conditioning Tree-Based Diffusions and Flows for Probabilistic Tabular Regression [0.0]
木に基づく拡散モデルは、神経密度推定器を使わずに回帰の柔軟な条件付き予測分布に適合する。
これらのデフォルトはバインディングの制約であることを示す: 勾配のブーストされたアンサンブルが実際に解決するのは、教師付き回帰問題である。
DiffGBM を2つの軸に沿って明示する。
論文 参考訳(メタデータ) (2026-07-30T22:08:02Z) - Beyond Frame Selection: Generative Latent Evidence Aggregation for Long-Video Understanding [17.716106078756066]
ロングビデオ理解は、動画を小さなフレームや視覚トークンに圧縮して回答を生成するのが一般的である。
私たちのキーとなる考え方は、選択したフレームを生成前にクエリ関連クロスフレームエビデンスにまとめることです。
4つのベンチマークと2つのVideo-MLLMバックボーンで、GenEvAは一致したフレームのベースラインを一貫して改善している。
論文 参考訳(メタデータ) (2026-07-30T16:55:00Z) - PCA: Persistence-Aware Compression and Aggregation for Fast Video Large Language Models [63.31550146180189]
本稿では、エンコーディングステージの前に、高サンプリングの生の視覚情報を保存するためのトレーニング不要な$mathbfP$ersistence-Aware $mathbfC$ompressionと$mathbfA$ggregation (PCA)手法を提案する。
PCAは、既存の最先端のアプローチを効率と精度の両方で一貫して上回っている。
論文 参考訳(メタデータ) (2026-07-22T05:17:38Z) - Efficient Frame Selection for Long Videos at Test Time with Attention-Based MLLM Selectors [69.75895255395702]
MLLMの検証選択抽出層におけるクロスモーダルな注意は、自己回帰生成を必要とせずに、クエリ関連フレーム証拠を既に提供している。
2Bパラメータしか持たない軽量MLLMセレクタは、クエリ条件アグリゲーションにより、選択した層注目値を関連スコアに変換することにより、フレームレベルのエビデンスを抽出することができる。
32フレームの予算下では,ビデオMMEで最大6.4ポイントの均一サンプリングを改良し,フレーム予算の一致したトレーニングベースセレクタよりも優れていた。
論文 参考訳(メタデータ) (2026-07-17T07:04:31Z) - Compander-Aligned Query Geometry for Quantized Zeroth-Order Optimization [12.92201130466754]
CAQ-ZO は 1-grid-step Rademacher stencils $z pm r$ in $z = (x)$,map endpoints back through $-1$, update in $z$ となる。
提案理論は, グリッドの分散性を証明し, 終端を囲む推定器残差を分解し, 一般のオフグリッドクエリが2/2$残差チャネルを保持するステーション境界を与える一方で, CAQ-ZO はクエリ時間残差を正確にゼロにする。
論文 参考訳(メタデータ) (2026-05-11T14:55:20Z) - Total Generalized Variation regularization closes the gap between neural-eld and classical methods in seismic travel-time tomography [0.0]
トモグラフィーはメッシュ分解能と安定性のトレードオフを強制し、レギュレータの選択が回復可能なものを支配します。
本稿では,Fourier-Feature Neural Networkとして,2次元速度場を表す差別化可能なフレームワークMIMIRを紹介する。
論文 参考訳(メタデータ) (2026-05-11T04:13:52Z) - Scaling Federated Linear Contextual Bandits via Sketching [49.12000877146222]
本稿では,FSCLB(Federated Sketch Contextual Linear Bandits)を提案する。
合成と実世界の両方のデータセットの実験では、FSCLBは計算と通信のコストを90%以上削減している。
論文 参考訳(メタデータ) (2026-05-01T08:22:06Z) - CRPS-Optimal Binning for Conformal Regression [0.0]
そこで本研究では,共分類観測を連続したビンに分割した非パラメトリック条件分布推定法を提案する。
非整合性スコアとしてCRPSに基づくVenn予測バンドと共形予測セットの2つの補完的予測オブジェクトを形成する。
論文 参考訳(メタデータ) (2026-03-23T14:07:09Z) - Adaptive Greedy Frame Selection for Long Video Understanding [11.923839324117674]
大規模視覚言語モデル(VLM)は、長ビデオ質問応答にますます応用されている。
推論は入力フレームの数と結果の視覚トークンによってボトルネックとなることが多い。
固定フレーム予算下でのクエリ関連性とセマンティックな表現性を協調的に最適化する問合せ適応型グレディフレーム選択法を提案する。
論文 参考訳(メタデータ) (2026-03-20T17:55:32Z) - Post-Training with Policy Gradients: Optimality and the Base Model Barrier [27.674563695368665]
結果とプロセス報酬を伴う線形自己回帰モデルの訓練後評価について検討する。
我々は、ポリシー勾配(PG)の変種が、本質的に最小限の報酬クエリ数を持つ1-varepsilon$を実現できることを証明した。
論文 参考訳(メタデータ) (2026-03-07T00:25:53Z) - DISCO: Diversifying Sample Condensation for Efficient Model Evaluation [59.01400190971061]
コスト評価は傾向を低下させ、イノベーションのサイクルを遅くし、環境への影響を悪化させる。
モデル応答の多様性を最大化するサンプルを選択することが重要となる。
我々のメソッドである$textbfDiversifying Sample Condensation (DISCO)$は、最も大きなモデル不一致を持つトップkサンプルを選択します。
論文 参考訳(メタデータ) (2025-10-09T08:53:59Z) - Fast Rates for Bandit PAC Multiclass Classification [73.17969992976501]
我々は,帯域幅フィードバックを用いたマルチクラスPAC学習について検討し,入力を$K$ラベルの1つに分類し,予測されたラベルが正しいか否かに制限する。
我々の主な貢献は、問題の無知な$(varepsilon,delta)$PACバージョンのための新しい学習アルゴリズムを設計することである。
論文 参考訳(メタデータ) (2024-06-18T08:54:04Z) - FABind: Fast and Accurate Protein-Ligand Binding [127.7790493202716]
$mathbfFABind$はポケット予測とドッキングを組み合わせたエンドツーエンドモデルで、正確で高速なタンパク質-リガンド結合を実現する。
提案モデルでは,既存手法と比較して有効性と効率性に強い利点が示される。
論文 参考訳(メタデータ) (2023-10-10T16:39:47Z) - Recurrence without Recurrence: Stable Video Landmark Detection with Deep
Equilibrium Models [96.76758318732308]
本稿では,最近提案されたDeep Equilibrium Model (DEQ) が,この計算形式に自然に適応可能であることを示す。
我々のLandmark DEQ(LDEQ)は、WFLW顔ランドマークデータセット上で最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2023-04-02T19:08:02Z) - Revisiting Smoothed Online Learning [70.09792747315323]
オンライン学習者がヒットコストとスイッチングコストの両方に苦しむスムーズなオンライン学習の問題を調査します。
競争比を縛るために、各ラウンドで打つコストが学習者に知られていると仮定し、打つコストと切り換えコストの重み付け合計を単純に最小化する勾配アルゴリズムを調査します。
論文 参考訳(メタデータ) (2021-02-13T14:15:55Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳(メタデータ) (2020-07-16T06:44:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。