論文の概要: Why VLMs Miss Small Objects, and When Zooming In Is Safe

• arxiv url: http://arxiv.org/abs/2610.09313v1
• Date: Wed, 07 Oct 2026 02:10:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 07:15:05.748463
• Title: Why VLMs Miss Small Objects, and When Zooming In Is Safe
• Title（参考訳）: VLMが小さな物体を見逃す理由と、ズームインしても安全
• Abstract要約: 視覚言語モデル(VLM)は、大きな画像の小さなオブジェクトを見逃すことが多い。 どのような制限があるのか、どの制限がより優れたモデルを取り除けるのか、そして、大規模な画像を扱う古典的な方法、局所的な分解には、まだ未来があるのか、という3つの問いに答える。
• 参考スコア（独自算出の注目度）: 2.842028685390758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) often miss small objects in large images. We ask three questions: what limits them, which of these limits better models can remove, and whether the classical way of handling large images, local decomposition, still has a future. We answer them with a theory built on two quantities of the image interface: S, the number of visual tokens across an object's side, and L, the content a call must cover. The limits: a W x H image sent whole within N tokens gives an object of side m at most m*sqrt(N/(WH)) tokens per side. Doubling the token budget N therefore raises the largest S a whole image can reach by only 41%, and seeing an image at the S an object needs costs at least order S^2 tokens whatever the model. If recognition improves gradually with S, any search strategy, zoom agents included, obeys a recall-cost frontier. What better models can change: the S an object needs and how much one call can carry, measured in bits per object found; the coverage cost remains. Decomposition: yes. Assuming only that more tokens per object and less content per call do not hurt on average, splitting an image cannot lower recall if no view zooms out relative to the whole image and views overlap by one object. Neither part of this condition can be dropped; we bound the cost of every such decomposition, and a simple rule approaches the bound as the image grows. We test the theory in about 177,000 requests on 797 images. On controlled images, none of 40 orderings predicted for 8 VLMs is violated. Checked after the fact on drawings, floor plans, natural and synthetic images, 61 of 89 implied orderings hold significantly and 4 fail, all for OpenAI models given more pixels than their default path. On construction drawings the rule never significantly lowered recall relative to the whole image and raised it by up to 0.28. Code and data: https://github.com/shijunzhe/vlm-small-objects
• Abstract（参考訳）: 視覚言語モデル(VLM)は、大きな画像の小さなオブジェクトを見逃すことが多い。 どのような制限があるのか、どの制限がより優れたモデルを取り除けるのか、そして、大規模な画像を扱う古典的な方法、局所的な分解には、まだ未来があるのか、という3つの問いに答える。 S、オブジェクト側を横断する視覚トークンの数、L、呼び出しがカバーしなければならないコンテンツである。 制限: N 個のトークンで送信された W x H 画像は、ほとんどの m*sqrt(N/(WH)) トークンにおいて、サイド m のオブジェクトを与える。 したがって、トークン予算Nを2倍にすることで、全体像が到達できる最大のSがわずか41%上昇し、オブジェクトのSでの画像を見ることは、モデルが何であれ少なくともS^2トークンを注文する。 Sで認識が徐々に改善すると、ズームエージェントを含む任意の検索戦略はリコールコストフロンティアに従う。 オブジェクトが必要とするSと、オブジェクト毎のビット単位で測定された1つの呼び出しの可搬性。 分解: はい。 オブジェクト毎のトークンの数と呼び出し毎のコンテントの減少が平均的に問題にならないと仮定すると、ビューが画像全体に対してズームアウトし、ビューが1つのオブジェクトで重なる場合、イメージを分割してもリコールを下げることはできない。 この条件のどちらの部分も解けず、そのような分解のコストを制限し、画像が大きくなるにつれて単純な規則が境界に近づく。 797枚の画像に対して約177,000件の要求でこの理論を検証した。 制御された画像では、8つのVLMに対して予測される40の注文はいずれも違反しない。 図面、フロアプラン、自然画像、合成画像、89件の命令のうち61件は大幅に保たれ、4件は失敗に終わった。 建設図面では、この規則は画像全体に対するリコールを著しく低下させ、最大0.28まで引き上げることはなかった。 コードとデータ:https://github.com/shijunzhe/vlm-small-jects

関連論文リスト

• Think Before You Paint: Recursive Latent Reasoning for Diffusion Models [10.500652746850106]
  拡散モデルは現実的なイメージを生成するが、視覚的推論タスクでは失敗することが多い。 このような推論を、記号表現が利用できないピクセルにどのように転送できるかを問う。 制御ネットアダプタを用いて凍結拡散モデルを操るネットワークPainterer-Thinker(PaTh)を提案する。
  論文  参考訳（メタデータ） (2026-10-07T11:36:56Z)
• Decide Before You Look: Learning Which Retrieved Memories Deserve Pixels [0.65268245109828]
  検索後、検索された各画像は、ピクセルとして、画像当たり約1000の視覚的トークンとして、または、質問された詳細をしばしば見逃す、格納されたテキストプロキシとして、応答モデルに到達する。 画素の利点は、通常1つか2つの検索された記憶から得られ、全解像度画像を読み取ることなく、解答モデルが実行される前に予測できることが分かる。 PixelTriageは、検索後に配置されたプラグインで、テキストを生成しない小さなモデルは、ダイアログ、短いメモ、検索したメモリのサムネイルを読み、そのピクセルがどれだけ追加するかを予測する。
  論文  参考訳（メタデータ） (2026-10-06T08:47:45Z)
• Not All Error Yields to Scale: Where Scaling Stops in Vision-Language Inference [3.8758084919747655]
  視覚言語モデル(VLM)は、より詳細な知覚のためにより視覚的な情報を処理することと、複雑な推論のためにより大きな言語バックボーンを使用するという、固定予算のトレードオフに直面している。 本稿では,VLMの性能が言語バックボーンサイズや視覚トークン数でどのように変化するかを記述する分離可能な法則を提案する。
  論文  参考訳（メタデータ） (2026-10-01T13:05:39Z)
• The Uncontrolled Variable: Vision-Language Model Refusal Responds to Image Presence in Ways Risk Cannot Explain [23.126203285585934]
  VLM(Vision-Language Model)の安全性は、要求が何を要求するかによって異なります。 安全に整合したVLMは、画像が添付されているかどうかという要求の形式的特性に対する重要な拒絶も示します。
  論文  参考訳（メタデータ） (2026-08-12T15:45:47Z)
• Do Vision-Language Models See or Guess? Measuring and Reducing Textual-Prior Reliance with a Phrasing-Controlled Benchmark [2.379911867541422]
  視覚言語モデル(VLM)は、画像中のものから答えを従わなければならないように、ますます展開されている。 それらはしばしば、画像自体からではなく、記憶された世界の知識と共に表現される、テキストの先行から答える。 既存のベンチマークでは、通常、各イメージは1つの固定された質問とペアリングされるため、この振る舞いを分離することは滅多にない。
  論文  参考訳（メタデータ） (2026-06-09T04:18:38Z)
• Rethinking Discrete Tokens: Treating Them as Conditions for Continuous Autoregressive Image Synthesis [79.98107530577576]
  DisConは、離散トークンを生成ターゲットではなく条件信号として再解釈する新しいフレームワークである。 DisConは、ImageNet 256$times $256 世代で gFID スコアが 1.38 に達し、最先端の自己回帰アプローチよりも明確なマージンで優れている。
  論文  参考訳（メタデータ） (2025-07-02T14:33:52Z)
• PR-MIM: Delving Deeper into Partial Reconstruction in Masked Image Modeling [82.36394157396408]
  マスク付き画像モデリングは、学習表現において大きな成功を収めてきたが、膨大な計算コストによって制限されている。 コスト削減戦略の1つは、デコーダがマスクされたトークンのサブセットだけを再構築し、他のトークンを投げることである。 本稿では, 投棄されたトークンを極めて軽量に再構成するための, プログレッシブ・リコンストラクション・ストラテジとファテスト・サンプリング・ストラテジーを提案する。
  論文  参考訳（メタデータ） (2024-11-24T07:48:20Z)
• $\infty$-Brush: Controllable Large Image Synthesis with Diffusion Models in Infinite Dimensions [58.42011190989414]
  無限次元における新しい条件拡散モデル、制御可能な大画像合成のための$infty$-Brushを導入する。 我々の知る限り、$infty$-Brushは関数空間における最初の条件拡散モデルであり、最大4096times4096$ピクセルの任意の解像度で画像を制御できる。
  論文  参考訳（メタデータ） (2024-07-20T00:04:49Z)
• Matryoshka Query Transformer for Large Vision-Language Models [103.84600181927884]
  我々は,Materyoshka Query Transformer (MQT)を導入し,推論中に画像をmビジュアルトークンにエンコードする。 単一のモデルを一度トレーニングし、フレキシブルかつ劇的に、推論時の視覚トークンの数を削減します。 MQT-LLAVAは,LLaVAの固定576の代わりに最大256トークンを用いて,11ベンチマークでLLaVA-1.5のパフォーマンスと一致した。
  論文  参考訳（メタデータ） (2024-05-29T17:39:42Z)
• SAMURAI: Shape And Material from Unconstrained Real-world Arbitrary Image collections [49.3480550339732]
  完全に未知のキャプチャ条件下でのオブジェクトの逆レンダリングは、コンピュータビジョンとグラフィックスにおける根本的な課題である。 形状, BRDF, 画像当たりのカメラのポーズと照明を推定するための共同最適化フレームワークを提案する。 本手法は,オブジェクトのオンライン画像収集に利用し,AR/VRなどのいくつかのユースケースに対して,再生可能な3Dアセットを生成する。
  論文  参考訳（メタデータ） (2022-05-31T13:16:48Z)
• A Shared Representation for Photorealistic Driving Simulators [83.5985178314263]
  本稿では、識別器アーキテクチャを再考することにより、生成画像の品質を向上させることを提案する。 シーンセグメンテーションマップや人体ポーズといったセマンティックインプットによって画像が生成されるという問題に焦点が当てられている。 我々は,意味的セグメンテーション,コンテンツ再構成,および粗い粒度の逆解析を行うのに十分な情報をエンコードする,共有潜在表現を学習することを目指している。
  論文  参考訳（メタデータ） (2021-12-09T18:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。