論文の概要: BVS: Bayesian Visual Search with Multimodal Large Language Model for Fine-grained Perception
- arxiv url: http://arxiv.org/abs/2607.03184v1
- Date: Fri, 03 Jul 2026 10:42:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.54752
- Title: BVS: Bayesian Visual Search with Multimodal Large Language Model for Fine-grained Perception
- Title(参考訳): BVS: 細粒度知覚のための多モーダル大言語モデルによるベイジアンビジュアル検索
- Abstract要約: 本研究では,連続空間スケール多様体上の大域的最適化問題として知覚を定式化するBayesian Visual Searchを提案する。
また,BVSが精度と効率のトレードオフに優れ,最先端のベースラインを著しく上回ることを示す広範な実験を行った。
- 参考スコア(独自算出の注目度): 54.31138496553705
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While Multimodal Large Language Models (MLLMs) demonstrate impressive general capabilities, they struggle with fine-grained perception in ultra-high-resolution (UHR) images, particularly for tiny objects in cluttered scenes. Existing methods face a dilemma: they either rely on inefficient prior-free scanning, or depend on static prior-driven heuristics that lack posterior correction to rectify initial model biases. To address this, we propose BVS (Bayesian Visual Search), a framework that formulates perception as a global optimization problem over a continuous spatial-scale manifold. Specifically, BVS bridges prior guidance with posterior correction: it utilizes an early-stop attention rollout of MLLM to construct reasoning-aware priors, while employing a scale-aware non-stationary kernel and GP-UCB to dynamically rectify noise and recover missing information in the prior through iterative local observations. We provide theoretical guarantees via sub-linear regret bounds, and extensive experiments demonstrate that BVS significantly outperforms state-of-the-art baselines with a superior trade-off between accuracy and efficiency.
- Abstract(参考訳): MLLM(Multimodal Large Language Models)は印象的な汎用能力を示すが、超高解像度(UHR)画像の微妙な認識に苦慮している。
既存の方法はジレンマに直面している:それらは非効率な非効率な事前スキャンに依存するか、または初期モデルのバイアスを正すために後方修正を欠く静的事前駆動ヒューリスティックに依存している。
そこで我々は,連続空間スケール多様体上の大域的最適化問題として知覚を定式化するBVS(Bayesian Visual Search)を提案する。
具体的には、BVSブリッジは、MLLMの早期の注意ロールアウトを利用して推論を意識した事前情報を構築すると同時に、スケールアウェアな非定常カーネルとGP-UCBを使用して、ノイズを動的に修正し、反復的な局所観測により、事前の行方不明情報を復元する。
また,BVSが精度と効率のトレードオフに優れ,最先端のベースラインを著しく上回っていることを示す広範な実験を行った。
関連論文リスト
- ExACT: Exemplar-Driven Calibrated Refinement for Training-Free Visual Grounding in Remote Sensing Images [51.53960096934913]
リモートセンシングビジュアルグラウンドティング(RSVG)は、自由形式の自然言語記述を用いて、高解像度のRS画像中の特定の物体を特定することを目的としている。
マルチモーダル大言語モデル(MLLM)の最近の進歩は、そのようなオープン語彙RSVGに大きな可能性を示している。
Inemplar-driven Calibrated Refinement (ExACT)を提案する。
論文 参考訳(メタデータ) (2026-06-27T13:50:39Z) - Function-Space Empirical Bayes Regularisation with Large Vision-Language Model Priors [12.285161219785294]
VLM-FS-EBは、新しい関数空間経験的ベイズ正規化フレームワークである。
提案手法は予測性能を継続的に改善し,信頼性の高い不確実性推定値が得られることを示す。
論文 参考訳(メタデータ) (2026-02-03T05:24:11Z) - Multimodal Large Language Models with Adaptive Preference Optimization for Sequential Recommendation [60.33386541343322]
本稿では,Hardness-Aware とNoNoRec (HaNoRec) を併用したマルチモーダル大規模言語モデルフレームワークを提案する。
具体的には、HaNoRecは、各トレーニングサンプルの予測硬度とポリシーモデルのリアルタイム応答性の両方に基づいて、最適化重量を動的に調整する。
論文 参考訳(メタデータ) (2025-11-24T04:10:46Z) - Intern-GS: Vision Model Guided Sparse-View 3D Gaussian Splatting [95.61137026932062]
Intern-GSはスパースビューガウススプラッティングのプロセスを強化する新しいアプローチである。
Intern-GSは多様なデータセットにまたがって最先端のレンダリング品質を実現する。
論文 参考訳(メタデータ) (2025-05-27T05:17:49Z) - Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。
中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。
大規模な実験ではPPADの大幅な改善が示されている。
論文 参考訳(メタデータ) (2025-05-26T14:42:35Z) - Orthogonal Subspace Decomposition for Generalizable AI-Generated Image Detection [58.87142367781417]
航法的に訓練された検出器は、限定的で単調な偽のパターンに過度に適合する傾向にあり、特徴空間は高度に制約され、低ランクになる。
潜在的な治療法の1つは、ビジョンファウンデーションモデルに事前訓練された知識を取り入れて、機能領域を広げることである。
主要なコンポーネントを凍結し、残ったコンポーネントのみを適用することで、フェイクパターンを学習しながら、トレーニング済みの知識を保存します。
論文 参考訳(メタデータ) (2024-11-23T19:10:32Z) - Debiasing Multimodal Large Language Models via Penalization of Language Priors [38.97645845493758]
MLLM(Multimodal Large Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。
生成されたコンテンツは、入力画像よりも、基礎となるLarge Language Models (LLMs) の本質的な先行性によって駆動されることが多い。
本稿では、これらのバイアスを補正し、視覚情報に対するモデルの焦点をリダイレクトするための、単純でトレーニングのない2つの戦略を提案する。
論文 参考訳(メタデータ) (2024-03-08T12:35:07Z) - Denoising Diffusion Restoration Models [110.1244240726802]
Denoising Diffusion Restoration Models (DDRM) は効率的で教師なしの後方サンプリング手法である。
DDRMの汎用性を、超高解像度、デブロアリング、インペイント、カラー化のためにいくつかの画像データセットに示す。
論文 参考訳(メタデータ) (2022-01-27T20:19:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。