論文の概要: On the Limits of Scale: Inverse Scaling in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.27360v1
• Date: Mon, 19 Oct 2026 22:39:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.536499
• Title: On the Limits of Scale: Inverse Scaling in Vision-Language Models
• Title（参考訳）: スケールの限界:視覚言語モデルにおける逆スケーリングについて
• Abstract要約: 本稿では,視覚言語モデル(VLM)がサブタスクレベルで逆スケーリングを示すという系統的証拠を示す。 8つのマルチモーダルベンチマークで4つの異なるモデルファミリーから19のモデルを評価する。 本研究で最も影響を受ける領域は,多面的空間推論,視覚知覚,大学レベルのSTEM知識などである。
• 参考スコア（独自算出の注目度）: 67.54189742028566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling laws suggest that increasing model size, training data, and compute generally yields monotonic performance improvements. While this often holds at the aggregate level, we present systematic evidence that vision-language models (VLMs) exhibit inverse scaling at the subtask level: specific question categories on which larger models perform worse than smaller counterparts within the same model family. We evaluate 19 models from four distinct model families across eight multimodal benchmarks (nine evaluation splits), answering 29,386 questions per model, 558,334 model-question evaluations in total. Using per-question pairwise analysis across all model pairs in each family, we identify 375 subtask-model-pair combinations exhibiting inverse scaling, spanning 4,342 unique queries where a smaller model answers correctly but a larger model fails, and we find that these patterns replicate across independently developed architectures. We identify 13 subtask-dataset pairs that show inverse scaling across multiple families, consistent with the phenomenon being task-driven rather than model-specific. The most affected domains in our study include multi-image spatial reasoning, visual perception, and university-level STEM knowledge, with accuracy gaps exceeding 20 percentage points in several cases, while diagram understanding appears comparatively resistant. These findings challenge the assumption that increasing model size uniformly improves multimodal capabilities and suggest that model selection should be task-aware.
• Abstract（参考訳）: スケーリング法則は、モデルのサイズ、トレーニングデータ、計算量の増加が一般的に単調なパフォーマンス改善をもたらすことを示唆している。 これはしばしば集合レベルで成り立つが、視覚言語モデル(VLM)がサブタスクレベルで逆スケーリングを示すという体系的な証拠を示す。 我々は8つのマルチモーダルベンチマーク(9つの評価分割)で4つの異なるモデルファミリーから19のモデルを評価し、29,386の質問に回答し、合計558,334のモデルクエスト評価を行った。 各家系のモデルペアごとのペアワイズ分析を用いて、逆スケーリングを示す375のサブタスク-モデルペアの組み合わせを特定し、より小さなモデルが正しく答えるが、より大きなモデルが失敗する4,342のユニークなクエリにまたがって、これらのパターンが独立に開発されたアーキテクチャ間で複製されることを見出した。 複数のファミリーにまたがる逆スケーリングを示すサブタスク・データセットの組を13個同定する。 本研究で最も影響を受ける領域は,複数画像の空間的推論,視覚知覚,大学レベルのSTEM知識である。 これらの結果は,モデルサイズの増加がマルチモーダル能力を均一に向上させるという仮定に疑問を呈し,モデル選択はタスクアウェアであることが示唆された。

関連論文リスト

• Scaling Vision-Language Models Is Not Enough to Mitigate Bias [17.05392655320793]
  VLM(Vision-Language Models)は、現在ではマルチモーダルシステムの基礎となっているが、素早い相関に対する頑健さは、大規模にはあまり理解されていない。 本報告では, モデルサイズ, 24 のトレーニングデータセット, 3 つの評価ベンチマークを対象とし, 194 の公開 VLM に関する大規模な実証的研究を行った。
  論文  参考訳（メタデータ） (2026-07-30T13:49:16Z)
• The Law of Multi-Model Collaboration: Scaling Limits of Model Ensembling for Large Language Models [54.51795784459866]
  マルチモデル協調のための性能スケーリングの理論的枠組みを提案する。 本稿では,マルチモデルシステムにおいて,パラメータの総数に関して,パワー則のスケーリングが従うことを示す。 不均一なモデルファミリのアンサンブルは、単一のモデルファミリ内で形成されたものよりも優れたパフォーマンスのスケーリングを実現する。
  論文  参考訳（メタデータ） (2025-12-29T09:55:12Z)
• HuggingR$^{4}$: A Progressive Reasoning Framework for Discovering Optimal Model Companions [50.61510609116118]
  HuggingR$4$は、Reasoning、Retrieval、Refinement、Reflectionを組み合わせて効率的にモデルを選択する新しいフレームワークである。 作業性率は92.03%、理性率は82.46%に達し、それぞれ26.51%、33.25%を超える。
  論文  参考訳（メタデータ） (2025-11-24T03:13:45Z)
• VLM2Vec: Training Vision-Language Models for Massive Multimodal Embedding Tasks [60.5257456681402]
  幅広い下流タスクを扱える普遍的な埋め込みを構築する可能性について検討する。 We build a series of VLM2Vec model on SoTA VLMs like Phi-3.5-V, LLaVA-1.6 and evaluate them on MMEB's evaluation split。 以上の結果から,VLM2Vecは既存のマルチモーダル埋め込みモデルよりも10%から20%の絶対的な平均的改善を実現していることがわかった。
  論文  参考訳（メタデータ） (2024-10-07T16:14:05Z)
• What Matters for Model Merging at Scale? [94.26607564817786]
  モデルマージは、複数の専門家モデルとより有能な単一モデルを組み合わせることを目的としている。 これまでの研究は主に、いくつかの小さなモデルをマージすることに焦点を当ててきた。 本研究は,大規模モデルマージの有用性を体系的に評価する。
  論文  参考訳（メタデータ） (2024-10-04T17:17:19Z)
• REBUS: A Robust Evaluation Benchmark of Understanding Symbols [1.90463290938268]
  GPT-4oは他の全てのモデルよりも大幅に優れ、続いてプロプライエタリなモデルも他の評価モデルよりも優れていた。 最高のモデルでさえ、最終的な精度はわずか42%で、ハードパズルでは7%に低下する。 したがって、我々のベンチマークは、マルチモーダルな大言語モデルの知識と推論における大きな欠点を特定するのに利用できる。
  論文  参考訳（メタデータ） (2024-01-11T00:30:28Z)
• MultiViz: An Analysis Benchmark for Visualizing and Understanding Multimodal Models [103.9987158554515]
  MultiVizは、解釈可能性の問題を4段階に足場化することで、マルチモーダルモデルの振る舞いを分析する手法である。 MultiVizの相補的な段階は、モデル予測をシミュレートし、機能に解釈可能な概念を割り当て、モデル誤分類のエラー解析を行い、エラー解析からモデルデバッグへの洞察を利用することを可能にする。
  論文  参考訳（メタデータ） (2022-06-30T18:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。