論文の概要: How to Train Your Long-Context Visual Document Model

• arxiv url: http://arxiv.org/abs/2602.15257v1
• Date: Mon, 16 Feb 2026 23:26:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-18 16:03:17.936996
• Title: How to Train Your Long-Context Visual Document Model
• Title（参考訳）: 長期のビジュアルドキュメントモデルのトレーニング方法
• Authors: Austin Veselka,
• Abstract要約: 本研究は,344Kの文脈における長文視覚言語モデルの訓練に関する総合的かつ大規模な研究である。 MMLongBenchDocの両パラメータスケールに対する最先端性能を実現する。 テキストから視覚への長いコンテキストの変換を逆に拡張し、視覚的長期のコンテキストのトレーニングが長いコンテキストのテキストのパフォーマンスに転送されることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present the first comprehensive, large-scale study of training long-context vision language models up to 344K context, targeting long-document visual question answering with measured transfer to long-context text. While several such strong are open-weight, namely Qwen3 VL and GLM 4.5/6V, their training recipes and data pipelines are not reproducible. We systematically study continued pretraining, supervised finetuning, and preference optimization for 24B and 32B parameter models, backed by extensive LC evaluations and ablations to bridge this gap, and achieve state-of-the-art performance on MMLongBenchDoc for both parameter scales. In addition to this, our key findings include: (i) training on context lengths that match evaluation context lengths outperforms training on longer contexts, (ii) training and evaluating with page indices provides a simple, high-impact boost to long-document performance, (iii) our synthetic data pipelines enable self-improvement via continued pretraining and supervised finetuning, and (iv) we extend the known text-to-visual long context transfer to the reverse, showing that visual long context training transfers to long-context text performance. We also release MMLBD-C, a manually corrected version of MMLongBenchDoc to reduce erroneous and low quality examples in the benchmark.
• Abstract（参考訳）: 本稿では,344Kの文脈における長文視覚言語モデルの学習を総合的かつ大規模に実施し,長文テキストへの移動を計測した長文視覚質問応答を目標とした。 このような強いものは、Qwen3 VLやGLM 4.5/6Vといったオープンウェイトであるが、それらのトレーニングレシピやデータパイプラインは再現できない。 我々は,24Bおよび32Bパラメータモデルの事前学習,教師付き微調整,選好最適化の継続を系統的に検討し,このギャップを埋めるLC評価と改善を背景として,両パラメータスケールにおけるMMLongBenchDocの最先端性能を実現した。 これに加えて、我々の重要な発見は以下のとおりである。 (i)評価コンテキスト長に適合する文脈長のトレーニングは、より長い文脈でのトレーニングより優れる。 (II)ページインデックスによるトレーニングと評価は、文書の長期化をシンプルかつ高インパクトで促進する。 三 合成データパイプラインは、継続事前学習及び教師付き微調整による自己改善を可能にする。 (4) テキストから視覚への長いコンテキストの変換を逆に拡張し、視覚的長期のコンテキストのトレーニングが長文のテキストのパフォーマンスに転送されることを示す。 また、MMLongBenchDocのマニュアル修正版であるMMLBD-Cをリリースし、ベンチマークにおける不正かつ低品質な例を減らす。

関連論文リスト

• How to Train Long-Context Language Models (Effectively) [75.5418485597276]
  言語モデル(LM)の継続学習と教師付き微調整(SFT)を行い,長文情報の有効利用について検討した。 コードリポジトリと書籍は長いデータの優れた情報源であることがわかったが、それらと高品質の短文データを組み合わせることが不可欠である。 最終モデルであるProLong-8Bは、128Kの同様のサイズのモデル間で、最先端の長文性能を示す。
  論文  参考訳（メタデータ） (2024-10-03T16:46:52Z)
• Effective Long-Context Scaling of Foundation Models [90.57254298730923]
  最大32,768個のトークンの効率的なコンテキストウィンドウをサポートする長文LLMを提示する。 我々のモデルは、ほとんどの通常のタスクにおいて一貫した改善を達成し、Llama 2よりも長いコンテキストタスクを大幅に改善します。
  論文  参考訳（メタデータ） (2023-09-27T21:41:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。