論文の概要: Fitting Vision Adapters at Frontier Scales

• arxiv url: http://arxiv.org/abs/2610.05897v1
• Date: Mon, 05 Oct 2026 07:13:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 03:27:35.101294
• Title: Fitting Vision Adapters at Frontier Scales
• Title（参考訳）: フロンティアスケールでのビジョンアダプタの適合
• Abstract要約: 凍結視覚エンコーダと言語モデルの間に小さなプロジェクタを訓練することは、マルチモーダル学習の確立したアプローチである。 ここでは、Kim K2.6 のビジョンエンコーダから GLM 5.2 と 5.3 の 5M パラメータプロジェクタをトレーニングする。
• 参考スコア（独自算出の注目度）: 2.8228778167746698
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training a small projector between a frozen vision encoder and language model is an established approach to multimodal learning. As the parameter count of language models scales dramatically, we revisit which vision capabilities this approach can add while keeping their pretrained weights fixed. Here we train a 50M parameter projector from the vision encoder of Kimi K2.6 to GLM 5.2 and 5.3, both models without native vision capabilities, and further present a reproducible recipe for training these adapters at scale. We study the following: (a) how vision capabilities of multimodal models scale as purely the language model side scales, and (b) what specific vision capabilities are able to be imbued into a pure language model at scale, and which ones remain limited. We evaluate on MMMU-Pro and BLINK, examining both overall performance and results on individual visual tasks.
• Abstract（参考訳）: 凍結視覚エンコーダと言語モデルの間に小さなプロジェクタを訓練することは、マルチモーダル学習の確立したアプローチである。 言語モデルのパラメータ数が劇的に拡大するにつれて、事前訓練された重みを固定しながら、このアプローチがどの視覚能力を追加するかを再考する。 ここでは、Kim K2.6 の視覚エンコーダから GLM 5.2 と 5.3 の 5M パラメータプロジェクタをトレーニングし、これらのアダプタを大規模に訓練するための再現可能なレシピを提示する。 以下を研究対象とする。 (a)マルチモーダルモデルの視覚能力が純粋に言語モデルの側スケールとしてどのようにスケールするか、そして b) 特定の視覚能力が、大規模に純粋な言語モデルに埋め込めるか、どれが限定的であるか。 MMMU-Pro と BLINK を比較し,個々の視覚的タスクにおける全体的な性能と結果について検討した。

関連論文リスト

• ESsEN: Training Compact Discriminative Vision-Language Transformers in a Low-Resource Setting [0.8307668828380427]
  本稿では,2-towerエンコーダモデルが低リソース環境下での1-towerエンコーダよりも優れていることを示す。 また、比較的少ないリソースでエンドツーエンドにトレーニング可能な、コンパクトな視覚言語モデルであるESsENを提示する。
  論文  参考訳（メタデータ） (2026-04-20T16:10:28Z)
• MASSV: Multimodal Adaptation and Self-Data Distillation for Speculative Decoding of Vision-Language Models [0.09895793818721334]
  視覚言語モデル(MASSV)の投機的復号化のためのマルチモーダル適応と自己データ蒸留を導入する。 MASSVは、既存の小さな言語モデルを2段階のアプローチで効果的なマルチモーダルドラフトに変換する。 Qwen2.5-VL と Gemma3 モデルファミリでの実験では、MASSV が許容される長さを最大30%増加し、視覚的に接地されたタスクで最大 1.46 倍のエンドツーエンドの推論速度を提供することを示した。
  論文  参考訳（メタデータ） (2025-05-15T17:37:00Z)
• Libra: Building Decoupled Vision System on Large Language Models [63.28088885230901]
  大規模言語モデル(LLM)上の分離視覚システムを備えたプロトタイプモデルLibraを紹介する。 分離された視覚システムは、内部モーダルモデリングと相互モーダル相互作用を分離し、ユニークな視覚情報モデリングと効果的な相互モーダル理解をもたらす。
  論文  参考訳（メタデータ） (2024-05-16T14:34:44Z)
• InternVL: Scaling up Vision Foundation Models and Aligning for Generic Visual-Linguistic Tasks [92.03764152132315]
  我々は、視覚基盤モデルを60億のパラメータにスケールアップする大規模視覚言語基盤モデル(InternVL)を設計する。 このモデルは、32の汎用視覚言語ベンチマークにおいて、最先端のパフォーマンスを広く適用し、達成することができる。 強力な視覚能力を備え、ViT-22Bの代替となる。
  論文  参考訳（メタデータ） (2023-12-21T18:59:31Z)
• 4M: Massively Multimodal Masked Modeling [20.69496647914175]
  現在のビジョンのための機械学習モデルは、しばしば高度に専門化されており、単一のモダリティとタスクに限られている。 最近の大規模言語モデルは幅広い能力を示しており、コンピュータビジョンにおける同様の汎用モデルの可能性を示している。 視覚タスクのための多目的かつスケーラブルな基礎モデルをトレーニングするためのマルチモーダルトレーニングスキームである4Mを提案する。
  論文  参考訳（メタデータ） (2023-12-11T18:57:35Z)
• APoLLo: Unified Adapter and Prompt Learning for Vision Language Models [58.9772868980283]
  本稿では,視覚言語モデルに対する適応学習とプロンプト学習を組み合わせた統合マルチモーダルアプローチであるAPoLLoを提案する。 APoLLoは10種類の画像認識データセットに対して、MaPLe(SOTA)よりも6.03%向上している。
  論文  参考訳（メタデータ） (2023-12-04T01:42:09Z)
• Contrastive Alignment of Vision to Language Through Parameter-Efficient Transfer Learning [60.26952378997713]
  コントラスト的視覚言語モデル(例えばCLIP)は、コントラスト的トレーニングを通じて視覚モデルと言語モデルの全てのパラメータを更新することによって作成される。 パラメータ更新の最小セット($7%)が、フルモデルトレーニングと同じパフォーマンスを実現可能であることを示す。 既存の知識がパラメータ効率のトレーニングにおいてより強く保存されていることを示す。
  論文  参考訳（メタデータ） (2023-03-21T14:12:08Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。