論文の概要: Mid-Training Language Models on Raw Video

• arxiv url: http://arxiv.org/abs/2610.11019v1
• Date: Thu, 08 Oct 2026 00:03:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.711125
• Title: Mid-Training Language Models on Raw Video
• Title（参考訳）: 生ビデオに基づく中級学習言語モデル
• Abstract要約: プレトレーニング言語モデルの中間訓練データとして,キャプションのない生動画とテキストロスのない生動画が有効かどうかを検討した。 我々は、YT-supervised-1Bの生クリップをトレーニング中であるQ3-1.7Bとし、トレーニング中でないモデルに同じ画像テキストのチューニングを適用した。 トレーニング中のモデルでは、4つのビデオベンチマークで平均2.9ポイント、10のイメージベンチマークで5.1ポイント上昇している。
• 参考スコア（独自算出の注目度）: 47.38509243527735
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal large language models learn mostly from paired image-text data or annotated video, and raw web video is rarely used to further train an existing language model. We study whether raw video, with no captions and no text loss, can serve as mid-training data for a pretrained language model. Frames are encoded into continuous visual tokens, and the language model learns to predict the next visual token. We mid-train Qwen3-1.7B on raw clips from YT-Temporal-1B and then apply the same image-text instruction tuning to it and to the model without mid-training, so that the two differ only in mid-training. The mid-trained model scores 2.9 points higher on average across four video benchmarks and 5.1 points higher across ten image benchmarks, spanning perception, document, and chart tasks. Text performance is preserved even though mid-training includes no text, with an average of 48.9 across 14 text benchmarks compared with 48.0 for the model without mid-training. Analyses across training show that the image and video gains emerge within 30% of training and plateau thereafter, varying by less than 0.5 points. Predicting captions fails to outperform next-visual-token prediction, demonstrating that video mid-training can remain purely self-supervised without the computational overhead or labeling noise of automated captioning.
• Abstract（参考訳）: マルチモーダルな大規模言語モデルは、主にペア化された画像テキストデータや注釈付きビデオから学習し、生のビデオは既存の言語モデルをさらに訓練するために使われることは滅多にない。 本研究では,キャプションのない生動画とテキストロスのない生動画が,事前学習された言語モデルの中間学習データとして機能するかどうかを考察する。 フレームは連続したビジュアルトークンにエンコードされ、言語モデルは次のビジュアルトークンを予測することを学ぶ。 We mid-train Qwen3-1.7B on raw clips from YT-Temporal-1B and then then the same image-text instruction tune to it and the model without mid-training。 トレーニング中のモデルでは、平均で4つのビデオベンチマークで2.9ポイント、イメージベンチマークで5.1ポイント、知覚、ドキュメント、チャートタスクで5.1ポイント上昇している。 テキストのパフォーマンスは、中級トレーニングにはテキストが含まれていないが、14のテキストベンチマークの平均は48.9であり、中級トレーニングなしのモデルでは48.0である。 トレーニング全体の分析から、トレーニングの30%以内に画像とビデオのゲインが出現し、0.5ポイント未満の変化が見られた。 予測キャプションは次の視覚的な予測を上回っず、ビデオ中級トレーニングが計算オーバーヘッドや自動キャプションのラベリングノイズを伴わずに純粋に自己管理されることを示す。

関連論文リスト

• Should VLMs be Pre-trained with Image Data? [54.50406730361859]
  画像とテキストデータの混在による事前学習により、モデルが視覚言語タスクでより良いパフォーマンスを発揮できることがわかった。 平均6つの多様なタスクにおいて、1Bモデルに対して、事前学習による視覚トークンの80%を導入すると、完全に事前訓練されたモデルに視覚トークンを導入するよりも平均2%改善されることがわかった。
  論文  参考訳（メタデータ） (2025-03-10T17:58:19Z)
• Multi-Modal Video Feature Extraction for Popularity Prediction [2.1149978544067154]
  本研究は,ビデオ自体とその関連機能を用いて,ショートビデオの人気を予測することを目的としている。 人気度は、ビューカウント、例えば、コメントカウント、シェアカウントの4つの主要なエンゲージメント指標によって測定される。 本研究では,異なるアーキテクチャの映像分類モデルとトレーニング手法をバックボーンネットワークとして利用し,映像モダリティの特徴を抽出する。
  論文  参考訳（メタデータ） (2025-01-02T18:59:36Z)
• RETTA: Retrieval-Enhanced Test-Time Adaptation for Zero-Shot Video Captioning [77.59074909960913]
  Retrieval-Enhanced Test-Time Adaptation (RETTA) と呼ばれる新しいゼロショットビデオキャプションフレームワークを提案する。 一般的なビデオテキスト検索モデルXCLIP、一般的な画像テキストマッチングモデルCLIP、テキストアライメントモデルAnglE、テキスト生成モデルGPT-2の4つのキーモデルを用いてビデオとテキストをブリッジする。 そこで本研究では,GPT-2,XCLIP,CLIP,AnglEの4つのフリーズモデルにおいて,学習可能なトークンを通信媒体として用いることを提案する。
  論文  参考訳（メタデータ） (2024-05-11T16:22:00Z)
• Perception Test: A Diagnostic Benchmark for Multimodal Video Models [78.64546291816117]
  本稿では,事前学習したマルチモーダルモデルの知覚と推論能力を評価するために,新しいマルチモーダルビデオベンチマークを提案する。 知覚テストは、スキル(記憶、抽象化、物理学、セマンティックス)と、ビデオ、オーディオ、テキストモダリティ間の推論(記述的、説明的、予測的、反ファクト的)のタイプに焦点を当てている。 このベンチマークは、ゼロショット/少数ショットまたは限定的な微調整方式で、転送機能の事前訓練されたモデルを探索する。
  論文  参考訳（メタデータ） (2023-05-23T07:54:37Z)
• VicTR: Video-conditioned Text Representations for Activity Recognition [73.09929391614266]
  より優れたビデオVLMは、視覚情報よりもテキストの強化に重点を置くことで設計できる、と我々は主張する。 本稿では,ビデオ条件付きテキスト表現(VicTR)を紹介する。 我々のモデルは、視覚的に接地された補助テキストという形で、自由に利用できるセマンティック情報を利用することができる。
  論文  参考訳（メタデータ） (2023-04-05T16:30:36Z)
• Scalable and Accurate Self-supervised Multimodal Representation Learning without Aligned Video and Text Data [18.479220305684837]
  画像キャプションの最近の進歩により、並列なビデオテキストデータなしで高品質な映像モデルを事前訓練することが可能になった。 既存のHowTo100M ASRキャプションよりも,イメージキャプションの擬似ラベルが事前学習に有効であることを示す。
  論文  参考訳（メタデータ） (2023-04-04T19:11:05Z)
• Data Efficient Language-supervised Zero-shot Recognition with Optimal Transport Distillation [43.03533959429743]
  本稿では,オンライン最適トランスポートを用いて,コントラスト学習のためのラベルとしてソフトな画像テキストマッチングを求めるOTTERを提案する。 事前訓練された画像とテキストエンコーダに基づいて、OTTERで訓練されたモデルは、3M画像テキストペアだけで強力なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2021-12-17T11:27:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。