論文の概要: What Transfers from Text to Vision? Capability Scaling Laws and Transfer Dynamics for VLMs

• arxiv url: http://arxiv.org/abs/2608.00013v2
• Date: Mon, 24 Aug 2026 15:47:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.142913
• Title: What Transfers from Text to Vision? Capability Scaling Laws and Transfer Dynamics for VLMs
• Title（参考訳）: テキストから視覚への変換とは何か? VLMの能力スケーリング法則と伝達ダイナミクス
• Abstract要約: 本稿では,VLMベンチマークの精度を直接観測可能なテキスト機能から予測する最初のクロスファミリーフレームワークを提案する。 私たちは、厳格に制御されたレシピの下で、7つのモデルファミリーにまたがる34のLLMで150以上のVLMをトレーニングします。 本法は,最大8Bパラメータから72Bスケールのバックボーンへの転送速度を正確に推定し,フルVLMトレーニングトラジェクトリを高い忠実度で予測し,完全に保留されたモデルファミリに一般化することを示した。
• 参考スコア（独自算出の注目度）: 33.37125113083784
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Choosing the right large language model (LLM) backbone is the most consequential decision when building a vision-language model (VLM), yet it remains fundamentally unprincipled: compute-based scaling laws fail to generalize across model families, and no framework exists for directly predicting VLM performance before training begins. We propose the Capability-Driven Multimodal Scaling Law, the first cross-family framework that predicts VLM benchmark accuracy from directly observable textual capability. Given a low-dimensional capability score $S$ extracted from LLM textual benchmarks via PCA, we model VLM performance as a function of $S$, with a per-backbone transfer rate and an absorption rate that quantifies data-scaling efficiency. To fit and validate the framework, we train over 150 VLMs on 34 LLMs spanning 7 model families under a strictly controlled recipe. Evaluations on more than 200 textual and 50 multimodal benchmarks show that the law accurately extrapolates transfer rate from models up to 8B parameters to 72B-scale backbones, predicts full VLM training trajectories with high fidelity, and generalizes to entirely held-out model families. Beyond the scaling law, our analysis surfaces actionable insights: certain textual benchmarks negatively correlate with multimodal performance, exposing latent benchmark-gaming behavior; base LLMs outperform instruction-tuned counterparts as VLM backbones due to higher absorption rates and lower data-scaling decay; and different model families occupy distinct positions in the transfer--absorption space. The framework turns backbone selection from costly empirical sweeps into a principled, quantitative decision. Code and data are available at https://github.com/wangq-dev/CDMScaling.
• Abstract（参考訳）: 正しい大言語モデル (LLM) のバックボーンを選択することは、視覚言語モデル(VLM)を構築する際に最も合理的な決定である。 本稿では,VLMベンチマークの精度を直接観測可能なテキスト機能から予測する最初のクロスファミリーフレームワークである,機能駆動型マルチモーダルスケーリング法を提案する。 低次元能力スコア$S$をPCAを介してLLMテキストベンチマークから抽出すると、VLM性能は、バックボーン当たりの転送レートとデータスケーリング効率を定量化する吸収レートで$S$の関数としてモデル化される。 フレームワークに適合し、検証するために、厳格に制御されたレシピの下で、7つのモデルファミリーにまたがる34のLLM上で150以上のVLMをトレーニングする。 200以上のテキストと50以上のマルチモーダルベンチマークの評価によると、この法則は8Bパラメータから72Bスケールのバックボーンへの転送率を正確に外挿し、高い忠実度を持つVLMトレーニング軌道を予測し、完全に保留されたモデルファミリに一般化する。 テキストベンチマークがマルチモーダル性能と負の相関を保ち、遅延ベンチマークゲーミングの振る舞いを露呈し、ベースLSMは、高い吸収率と低いデータスケーリング崩壊により、VLMバックボーンとして命令チューニングされたバックボーンよりも優れ、異なるモデルファミリは、転送-吸収空間における異なる位置を占める。 このフレームワークは、コストのかかる経験的なスイープからバックボーンの選択を、原則化された定量的な決定に変える。 コードとデータはhttps://github.com/wangq-dev/CDMScaling.comで公開されている。

関連論文リスト

• MAPS: Preserving Vision-Language Representations via Module-Wise Proximity Scheduling for Better Vision-Language-Action Generalization [30.871663465403625]
  我々は、視覚・言語・アクション(VLA)モデルのための、最初の堅牢な微調整フレームワークであるMAPSを紹介する。 系統解析により,安定性と柔軟性のバランスをとるために近接制約を緩和する経験的順序を明らかにする。 MAPSはこの緩和を線形にスケジュールし、視覚エンコーダは事前訓練された事前に近づき、アクション指向の言語層はより自由に適応できる。
  論文  参考訳（メタデータ） (2025-11-25T03:39:37Z)
• Should We Still Pretrain Encoders with Masked Language Modeling? [27.19054714197245]
  最近の証拠は、コーサル言語モデリング(CLM)で事前訓練されたデコーダモデルをエンコーダとして効果的に再利用できることを示唆している。 2億1000万から10億のパラメータの合計38モデルをトレーニングし、15,000以上の微調整と評価を実行します。 高いレベルのCLMを用いたトレーニングでは,テキスト表現タスク間で性能が向上する一方で,CLM学習モデルの方がデータ効率が良く,微調整安定性が向上していることがわかった。
  論文  参考訳（メタデータ） (2025-07-01T17:45:48Z)
• LENSLLM: Unveiling Fine-Tuning Dynamics for LLM Selection [11.353302879735862]
  オープンソースのLarge Language Models (LLM) と様々な下流タスクは効率的なモデル選択を必要とする。 LLMの一般化能力を評価するための適切なレンズを提供する新しい理論フレームワークを提案する。 特に, LLMの微調整ダイナミクスを明らかにするPAC-Bayesian Generalization Boundを導出する。 次に,ニューラルタンジェントカーネル(NTK)をベースとしたRectified Scaling ModelであるLENSLLMを紹介し,正確な性能予測を実現する。
  論文  参考訳（メタデータ） (2025-05-01T15:07:32Z)
• Unleashing the Power of Pre-trained Language Models for Offline Reinforcement Learning [50.9692060692705]
  本稿では、オフラインRL用の決定変換器をベースとした一般的なフレームワークである、$textbfMo$tion Control(textbfLaMo$)のための$textbfLanguage Modelsを紹介する。 私たちのフレームワークは4つの重要なコンポーネントを強調しています。 逐次事前学習したLMを用いた決定変換器の初期化(2)LoRA微細調整法を用いて 特に,本手法は,限られたデータサンプルを持つシナリオにおいて,優れた性能を示す。
  論文  参考訳（メタデータ） (2023-10-31T16:24:17Z)
• Test-Time Adaptation with CLIP Reward for Zero-Shot Generalization in Vision-Language Models [76.410400238974]
  モデル出力を補正し、モデルが盲目的に自信を持たないようにするためのフィードバック付きTTAを提案する。 CLIPモデルは、TTA中に報酬モデルとして採用され、VLMにフィードバックを提供する。 提案したCLIPフィードバック(RLCF)フレームワークによるテキスト強化学習は非常に柔軟で普遍的である。
  論文  参考訳（メタデータ） (2023-05-29T11:03:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。