論文の概要: More Than Seeing: Vision as Scalable Anchors in Native Multimodal Pre-Training

• arxiv url: http://arxiv.org/abs/2610.19443v1
• Date: Wed, 14 Oct 2026 02:33:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.919043
• Title: More Than Seeing: Vision as Scalable Anchors in Native Multimodal Pre-Training
• Title（参考訳）: より多くを見る: ネイティブマルチモーダル事前トレーニングにおけるスケーラブルアンカーとしてのビジョン
• Abstract要約: ネイティブなマルチモーダル事前トレーニングは、テキストとマルチモーダルデータのスクラッチから単一のモデルをトレーニングする。 視覚的信号がスケーリング行動をどのように形成し、視覚的理解を超えた支援能力を実現するかを検討する。
• 参考スコア（独自算出の注目度）: 16.366211781892694
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Native multimodal pre-training trains a single model from scratch on text and multimodal data, enabling it to understand both language and visual inputs. However, how visual signals shape scaling behavior and support capabilities beyond visual understanding remains unclear. We investigate this question through controlled visual-content ablations across model sizes and training budgets. Specifically, we replace image embeddings with content-free padding token embeddings. Retaining visual content improves text prediction on image-text examples without materially changing the lowest text-only loss at a given compute budget, the optimal balance of model size and training data, or aggregate language scores. The relative multimodal loss benefit grows approximately as a power law of compute. To test benefits beyond understanding images, we evaluate spatial reasoning from text descriptions alone. Both conditions improve with model and data scaling. During training of the largest model, visual gains are most sustained in localization, navigation, and symbolic planning, which involve maintaining object configurations or composing spatial updates; gains in spatial relations, geometry, and physical commonsense are less consistent. These findings identify visual content as a scalable anchor for multimodal learning, with benefits that extend beyond visual inputs while preserving aggregate language performance.
• Abstract（参考訳）: ネイティブなマルチモーダル事前トレーニングでは、テキストとマルチモーダルデータのスクラッチから単一のモデルをトレーニングすることで、言語と視覚の両方の入力を理解することができる。 しかし、どのように視覚信号がスケーリングの振る舞いを形作るのか、そして視覚的理解を超えたサポート能力は、まだ不明である。 本稿では,モデルサイズとトレーニング予算をまたいだ視覚的コンテンツ改善の制御を通して,この問題を考察する。 具体的には、画像埋め込みをコンテンツフリーなパディングトークン埋め込みに置き換える。 視覚的コンテンツの保持は、与えられた計算予算における最低テキストのみの損失、モデルサイズとトレーニングデータの最適バランス、あるいは集約言語スコアを実質的に変更することなく、画像テキスト例のテキスト予測を改善する。 相対的マルチモーダル損失利益は、計算の力の法則として大きく成長する。 画像の理解以上の利点をテストするため,テキスト記述のみから空間的推論を評価する。 どちらの条件も、モデルとデータのスケーリングによって改善される。 最大のモデルのトレーニング中、視覚的なゲインは、物体の構成を維持したり、空間的更新を構成することを含む、ローカライゼーション、ナビゲーション、シンボリックプランニングにおいて最も持続的であり、空間的関係、幾何学、物理的コモンセンスのゲインは、一貫性が低い。 これらの結果から,視覚コンテンツは多モーダル学習のためのスケーラブルなアンカーであり,総合言語性能を保ちながら,視覚入力を超えて拡張する利点があると考えられる。

関連論文リスト

• Towards Understanding Multimodal Fine-Tuning: Spatial Features [25.349396112139214]
  Vision-Language Models (VLM) は、事前訓練された言語モデルとビジョンエンコーダをペアリングすることで、幅広いタスクにおいて強力なパフォーマンスを達成する。 本稿では,ステージワイドモデル差分法によるVLM適応の最初の力学解析について述べる。
  論文  参考訳（メタデータ） (2026-02-06T18:48:18Z)
• Autoregressive Pre-Training on Pixels and Texts [35.82610192457444]
  文書画像とテキストの両方で事前学習された自己回帰フレームワークを用いて、視覚的・テキスト的両言語の二重モードについて検討する。 本手法はマルチモーダル・トレーニング・ストラテジーを用いて,次のパッチ予測による視覚データと,次のトークン予測による回帰ヘッドおよび/またはテキストデータを利用する。 視覚データのみを訓練した一方向画素モデルでは,複数の言語理解タスクにおける最先端の双方向モデルに匹敵する結果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-04-16T16:36:50Z)
• Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
  現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。 しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。 より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか? 本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
  論文  参考訳（メタデータ） (2023-10-20T03:33:36Z)
• COSA: Concatenated Sample Pretrained Vision-Language Foundation Model [78.32081709802873]
  ほとんどの視覚言語基盤モデルは、事前トレーニングに画像テキストデータセットを使用している。 我々は,COncatenated SAmple pretrained vision- language foundation modelであるCOSAを提案する。 複数の画像テキストペアを事前学習用入力として逐次結合することで、これを実現する。 この変換により、既存の画像テキストコーパスを擬似長文ビデオパラグラフコーパスに変換する。
  論文  参考訳（メタデータ） (2023-06-15T12:29:42Z)
• Visually-Augmented Language Modeling [137.36789885105642]
  本稿では,言語モデリングのための関連画像を含むテキストトークンを視覚的に拡張する,VaLMという新しい事前学習フレームワークを提案する。 視覚的に拡張されたコンテキストでは、VaLMは視覚知識融合層を使用してマルチモーダル基底言語モデリングを可能にする。 視覚情報を必要とする多モーダル・コモンセンス推論タスクについて,提案モデルの評価を行った。
  論文  参考訳（メタデータ） (2022-05-20T13:41:12Z)
• Integrating Visuospatial, Linguistic and Commonsense Structure into Story Visualization [81.26077816854449]
  まず、構造的入力を符号化するための選挙区解析木の利用について検討する。 第二に、構造化されたインプットをコモンセンス情報で強化し、この外部知識が視覚的ストーリーの生成に与える影響について検討する。 第3に、境界ボックスと高密度キャプションによって視覚構造を組み込んで、生成された画像の文字やオブジェクトに関するフィードバックを提供する。
  論文  参考訳（メタデータ） (2021-10-21T00:16:02Z)
• Align before Fuse: Vision and Language Representation Learning with Momentum Distillation [52.40490994871753]
  本稿では,ALBEF (BEfore Fusing) の表現に対して,モーダルな注意を通したコントラスト的損失を導入する。 本研究では,運動量モデルで生成した擬似ターゲットから学習する自己学習法である運動量蒸留を提案する。 ALBEFは、複数の下流視覚言語タスクで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-07-16T00:19:22Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。