論文の概要: Not All Error Yields to Scale: Where Scaling Stops in Vision-Language Inference

• arxiv url: http://arxiv.org/abs/2610.01640v1
• Date: Thu, 01 Oct 2026 13:05:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.143223
• Title: Not All Error Yields to Scale: Where Scaling Stops in Vision-Language Inference
• Title（参考訳）: スケールするすべてのエラー収量 - 視覚-言語推論のスケーリングが停止する理由
• Abstract要約: 視覚言語モデル(VLM)は、より詳細な知覚のためにより視覚的な情報を処理することと、複雑な推論のためにより大きな言語バックボーンを使用するという、固定予算のトレードオフに直面している。 本稿では,VLMの性能が言語バックボーンサイズや視覚トークン数でどのように変化するかを記述する分離可能な法則を提案する。
• 参考スコア（独自算出の注目度）: 3.8758084919747655
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models (VLMs) face a fixed-budget trade-off between processing more visual information for fine-grained perception and using a larger language backbone for complex reasoning. Existing studies do not tell us which combination of backbone size and input resolution to deploy, especially in high-resolution deployments. To address this gap, we propose the Separable Law that describes how VLM performance changes with language backbone size and visual token count. We fit the law to measurements from 26 InternVL and QwenVL models, with language backbone sizes from 1B to 72B, on four high-resolution benchmarks with image sizes from 224 pixels to 8K. We find that the questions responding to scaling can be predicted from the skill they require, while a substantial fraction never responds at all. We also find that the two model families gain similarly from a larger backbone, while their gains from more visual tokens differ sharply. Combined with a cost law, the Separable Law gives a closed-form rule for allocating compute between backbone size and visual tokens. When deployment is limited to available configurations, the law identifies model and image sizes that perform close to the best feasible choice under the same budget. We hope our work offers a principled way to decide how much a model should be allowed to see at high resolution, given what it must reason about.
• Abstract（参考訳）: 視覚言語モデル(VLM)は、より詳細な知覚のためにより視覚的な情報を処理することと、複雑な推論のためにより大きな言語バックボーンを使用するという、固定予算のトレードオフに直面している。 既存の研究では、特に高解像度のデプロイメントにおいて、バックボーンサイズとインプット解像度のどちらの組み合わせをデプロイするかはわかっていません。 このギャップに対処するために,VLMの性能が言語バックボーンサイズや視覚トークン数とともにどのように変化するかを記述する分離可能な法則を提案する。 InternVLとQwenVLの26モデル、言語バックボーンサイズが1Bから72B、画像サイズが224ピクセルから8Kの4つの高解像度ベンチマークに適合する。 スケーリングに応答する質問は、彼らが必要とするスキルから予測できるが、かなりの割合は、まったく応答しない。 また、2つのモデルファミリーは、より大きなバックボーンからも同様に増加し、より視覚的なトークンから得られる利益は、著しく異なることがわかった。 コスト法則と組み合わせて、分離可能な法則は、バックボーンサイズと視覚トークンの間の計算を割り当てるためのクローズドフォームルールを与える。 デプロイが利用可能な構成に限定されている場合、同法はモデルと画像のサイズを特定し、同じ予算の下で最も有効な選択を行う。 私たちの仕事が、高解像度でモデルを見ることを許すべきかどうかを判断するための、原則化された方法を提供してくれることを願っています。

関連論文リスト

• SigLIP-HD by Fine-to-Coarse Supervision [57.114959792871254]
  画像を大きくすることなく、低コストで微視的知覚を実現する方法を示す。 我々は、このフレームワークを高度なSigLIP 2モデルに基づいて構築する。 大規模なMLLMベンチマークで検証され、ベースラインモデルよりもずっと強力な結果が得られます。
  論文  参考訳（メタデータ） (2026-07-10T15:05:21Z)
• Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models [84.78794648147608]
  永続的な幾何学的異常であるモダリティギャップが残っている。 このギャップを埋める以前のアプローチは、過度に単純化された等方的仮定によってほとんど制限されている。 固定フレームモダリティギャップ理論(英語版)を提案し、モダリティギャップを安定バイアスと異方性残差に分解する。 次に、トレーニング不要なモダリティアライメント戦略であるReAlignを紹介します。
  論文  参考訳（メタデータ） (2026-02-02T13:59:39Z)
• Matryoshka Multimodal Models [92.41824727506751]
  我々はM3: Matryoshka Multimodal Modelsを提案する。 COCOスタイルのベンチマークでは,576個のトークンを使用する場合と同様の精度を得るために,9個のビジュアルトークンしか必要としないことがわかった。
  論文  参考訳（メタデータ） (2024-05-27T17:59:56Z)
• Griffon v2: Advancing Multimodal Perception with High-Resolution Scaling and Visual-Language Co-Referring [26.14137626882127]
  我々は、視覚的およびテキスト的プロンプトによるフレキシブルなオブジェクト参照を可能にする、統合された高分解能一般化モデル、Griffon v2を導入する。 我々は,大規模言語モデルにおける入力トークン制約を克服するために,シンプルで軽量なダウンサンプリングプロジェクタを設計する。 実験により、Griffon v2は、視覚的およびテキスト的参照による関心のあるオブジェクトのローカライズ、RECとフレーズグラウンドの最先端のパフォーマンス、オブジェクト検出、オブジェクトカウント、REGのエキスパートモデルよりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-03-14T12:21:37Z)
• xT: Nested Tokenization for Larger Context in Large Images [79.37673340393475]
  xTは、グローバルコンテキストを局所的な詳細で集約するビジョントランスフォーマーのフレームワークである。 我々は、挑戦的な分類タスクにおいて、精度を最大8.6%向上させることができる。
  論文  参考訳（メタデータ） (2024-03-04T10:29:58Z)
• Monkey: Image Resolution and Text Label Are Important Things for Large Multi-modal Models [55.508049882447395]
  大規模マルチモーダルモデル(LMM)は視覚言語タスクにおいて有望であるが、高解像度入力と詳細なシーン理解に苦慮している。 LMM機能を強化するためにMonkeyを導入します。 モンキーは入力画像を均一なパッチに分割して処理し、それぞれのサイズ(例:448x448)をよく訓練されたビジョンエンコーダのトレーニングに使用する。 解像度は1344x896ピクセルまでで、複雑な視覚情報を詳細にキャプチャできる。
  論文  参考訳（メタデータ） (2023-11-11T16:37:41Z)
• Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
  Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。 その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
  論文  参考訳（メタデータ） (2023-10-09T16:57:57Z)
• Scaling Laws for Autoregressive Generative Modeling [30.051804305320424]
  生成画像モデリング,ビデオモデリング,マルチモーダル画像$leftarrow$textモデル,数学的問題解決の4つの領域におけるクロスエントロピー損失に対する経験的スケーリング法則を同定する。 いずれの場合も、モデルのサイズや計算予算が増加するにつれて、自動回帰変換器はパフォーマンスを円滑に改善する。
  論文  参考訳（メタデータ） (2020-10-28T02:17:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。