論文の概要: On Test-Time Scaling for Vision-Language Models

• arxiv url: http://arxiv.org/abs/2606.28864v2
• Date: Wed, 01 Jul 2026 18:10:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-03 15:16:32.24024
• Title: On Test-Time Scaling for Vision-Language Models
• Title（参考訳）: 視覚言語モデルの試験時間スケーリングについて
• Abstract要約: 大型視覚言語モデル(LVLM)におけるテスト時間スケーリングの総合的研究について紹介する。 私たちの主な発見は、小規模で優れたモデルがテスト時のスケーリングの恩恵を最も受けており、パフォーマンスが最大30%向上することです。 視覚情報は推論チェーンの初期にエンコードされ、その後、連鎖はテキストのみの推論によって支配され、画像トークンの寄与は著しく減少する。
• 参考スコア（独自算出の注目度）: 28.89310866658917
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-time scaling is a paradigm where large models use additional compute at inference to achieve better performance, without changing model weights. While it has been widely studied for Large Language Models (LLMs), its applicability to Large Vision-Language Models (LVLMs) remains less explored and analyzed, with limited analysis of whether, when, and to what extent these approaches transfer to LVLMs. In this work, we ask a simple but fundamental question: can conventional test-time scaling methods developed for LLMs be directly applied to LVLMs? We present the first comprehensive study of test-time scaling for LVLMs, spanning multiple models and model sizes, nine test-time scaling methods, and six diverse benchmarks. Our main findings is that 1) different from previous findings, small, well-performing models benefit the most from test-time scaling, enabling performance improvements of up to around 30\%, reaching large models performance, and often outperforming them, 2) LVLMs lose focus when given more compute than necessary, and 3) Visual information is encoded early in the reasoning chain, after which the chain is dominated by text-only reasoning and the contribution of image tokens drops significantly. Finally, we also provide a global and fine-grained analysis on the quality and information sufficiency of the reasoning chains produced. Overall, our findings and analysis provide practical guidance and insights into LVLMs and their deployment in research and industry.
• Abstract（参考訳）: テストタイムスケーリング(Test-time scaling)は、大規模モデルがモデル重みを変更することなく、推論時に追加の計算を使用してより良いパフォーマンスを達成するパラダイムである。 LLM (Large Language Models) に対して広く研究されているが、LVLM (Large Vision-Language Models) の適用性は、LVLM (Large Vision-Language Models) の適用性に乏しい。 LLM向けに開発された従来のテスト時間スケーリング手法は、LVLMに直接適用できるのか? 複数のモデルとモデルサイズ、9つのテストタイムスケーリング方法、および6つの多様なベンチマークを網羅した、LVLMのテストタイムスケーリングに関する最初の包括的研究を示す。 私たちの主な発見は 1) 以前の結果とは違って、小規模で優れたモデルは、テスト時のスケーリングの恩恵を最も受け、パフォーマンスが最大30%向上し、大きなモデルのパフォーマンスに到達し、多くの場合、パフォーマンスが向上します。 2)LVLMは、必要以上の演算を与えられた場合、焦点を失う。 3)視覚情報は推論チェーンの初期にエンコードされ,その後,テキストのみの推論によって連鎖が支配され,画像トークンの寄与が著しく減少する。 最後に、我々は、生成した推論チェーンの品質と情報満足度に関する、グローバルかつきめ細かな分析も提供する。 総じて,本研究の成果と分析は,LVLMとその研究・産業への展開に関する実践的なガイダンスと洞察を提供するものである。

関連論文リスト

• A Comprehensive Information-Decomposition Analysis of Large Vision-Language Models [24.18585407100395]
  大規模視覚言語モデル(LVLM)は優れた性能を発揮するが、内部決定プロセスは不透明である。 本稿では,LVLMの「情報スペクトル」を定量的に測定するために,部分情報分解(PID)を用いた新しいフレームワークを提案する。 分析の結果,2つの重要な結果が明らかになった: (i)2つのタスク・レジーム (synergy-driven vs. knowledge-driven) と (ii) 2つの安定な家族レベルの戦略 (fusion-centric vs. language-centric) である。
  論文  参考訳（メタデータ） (2026-03-31T12:32:29Z)
• Quantization Meets dLLMs: A Systematic Study of Post-training Quantization for Diffusion LLMs [78.09559830840595]
  本稿では拡散に基づく言語モデルの定量化に関する最初の体系的研究について述べる。 異常に大きなアクティベーション値によって特徴付けられるアクティベーションアウトリーチの存在を同定する。 我々は最先端のPTQ手法を実装し、包括的な評価を行う。
  論文  参考訳（メタデータ） (2025-08-20T17:59:51Z)
• Test-Time Learning for Large Language Models [33.11605667376906]
  大規模言語モデル(LLM)のためのテスト時間学習(TTL)パラダイムを提案する。 LLMはテスト中にラベルなしのテストデータのみを使用してターゲットドメインに動的に適応する。 TLMはドメイン知識適応における元のLLMと比較して少なくとも20%性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-05-27T02:18:59Z)
• LLaVA-MORE: A Comparative Study of LLMs and Visual Backbones for Enhanced Visual Instruction Tuning [39.54891426369773]
  モデルのサイズ、アーキテクチャ、パフォーマンスのトレードオフについては、まだ未検討のままです。 本稿では,近年の言語モデルと多様な視覚的バックボーンを統合したMLLMの新しいファミリーであるLLaVA-MOREを紹介する。 公平な比較を保証するため、すべてのアーキテクチャで一貫して適用される統一的なトレーニングプロトコルを使用します。
  論文  参考訳（メタデータ） (2025-03-19T18:10:12Z)
• Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data [76.90128359866462]
  本稿では,出力確率と事前学習データ頻度の相関を計測する,記憶化,分布記憶化という拡張概念を導入する。 本研究は, より単純で知識集約的なタスクにおいて, 記憶がより大きな役割を担い, 一般化が, より困難で推論に基づくタスクの鍵であることを示す。
  論文  参考訳（メタデータ） (2024-07-20T21:24:40Z)
• SLMRec: Distilling Large Language Models into Small for Sequential Recommendation [38.51895517016953]
  シーケンシャルレコメンデーションタスクでは、過去のインタラクションを考慮して、ユーザが対話する可能性のある次の項目を予測する。 最近の研究は、LCMがシーケンシャルレコメンデーションシステムに与える影響を実証している。 LLM の巨大なサイズのため、現実のプラットフォームに LLM ベースのモデルを適用するのは非効率で実用的ではない。
  論文  参考訳（メタデータ） (2024-05-28T07:12:06Z)
• Temporal Scaling Law for Large Language Models [70.74571133406958]
  本稿では,LLMの試験損失が,トレーニングステップのスケールアップとともにどのように進展するかを考察する,時間スケーリング法の概念を提案する。 テスト損失全体を粗い粒度でモデル化するのとは対照的に、私たちはそれを分解して、各トークン位置のきめ細かいテスト損失に飛び込みます。 動的双曲法則におけるパラメータの時間的パターンを研究することにより、より正確な時間的スケーリング法則を導出する。
  論文  参考訳（メタデータ） (2024-04-27T05:49:11Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。