論文の概要: Value-Based Pre-Training with Downstream Feedback

• arxiv url: http://arxiv.org/abs/2601.22108v1
• Date: Thu, 29 Jan 2026 18:38:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:50.082029
• Title: Value-Based Pre-Training with Downstream Feedback
• Title（参考訳）: 下流フィードバックを用いた価値に基づく事前学習
• Authors: Shuqi Ke, Giulia Fanti,
• Abstract要約: V-プレトレーニング(V-Pretraining)は、制御された継続事前トレーニングのための値に基づく、モダリティに依存しない手法である。 軽量タスクデザイナは、各勾配ステップの値が最大になるように事前訓練タスクを再設定する。 一致した学習者の更新予算の下では、0.5B--7B言語モデルのV-Pretrainingは、標準的な次世代予測よりも最大18%の相対的推論を改善する。
• 参考スコア（独自算出の注目度）: 13.861427289106715
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Can a small amount of verified goal information steer the expensive self-supervised pretraining of foundation models? Standard pretraining optimizes a fixed proxy objective (e.g., next-token prediction), which can misallocate compute away from downstream capabilities of interest. We introduce V-Pretraining: a value-based, modality-agnostic method for controlled continued pretraining in which a lightweight task designer reshapes the pretraining task to maximize the value of each gradient step. For example, consider self-supervised learning (SSL) with sample augmentation. The V-Pretraining task designer selects pretraining tasks (e.g., augmentations) for which the pretraining loss gradient is aligned with a gradient computed over a downstream task (e.g., image segmentation). This helps steer pretraining towards relevant downstream capabilities. Notably, the pretrained model is never updated on downstream task labels; they are used only to shape the pretraining task. Under matched learner update budgets, V-Pretraining of 0.5B--7B language models improves reasoning (GSM8K test Pass@1) by up to 18% relative over standard next-token prediction using only 12% of GSM8K training examples as feedback. In vision SSL, we improve the state-of-the-art results on ADE20K by up to 1.07 mIoU and reduce NYUv2 RMSE while improving ImageNet linear accuracy, and we provide pilot evidence of improved token efficiency in continued pretraining.
• Abstract（参考訳）: 基礎モデルの自己指導型事前訓練を,少数の検証目標情報で行うことができるか? 標準的な事前トレーニングでは、固定されたプロキシ目標(例えば、次のトークン予測)を最適化する。 V-Pretraining(V-Pretraining、V-Pretraining、V-Pretraining、V-Pretraining、V-Pretraining、V-Pretraining)は、軽量タスクデザイナが事前トレーニングタスクを再評価し、各勾配ステップの値の最大化を行う。 例えば、自己教師付き学習(SSL)をサンプル拡張で考えてみましょう。 Vトレーニングタスクデザイナは、予めトレーニングされた損失勾配が下流タスク(例えば画像セグメンテーション)上で計算された勾配に整合している事前トレーニングタスク(例えば、増大)を選択する。 これにより、適切なダウンストリーム機能への事前トレーニングが可能になる。 特に、事前訓練されたモデルは下流のタスクラベルでは更新されない。 一致した学習者の更新予算の下では、0.5B--7B言語モデルのV-Pretrainingにより推論(GSM8K test Pass@1)が18%向上する。 ビジョンSSLでは、ADE20Kの最先端結果を最大1.07 mIoUで改善し、画像ネットの線形精度を改善しながらNYUv2 RMSEを低減し、継続事前トレーニングにおけるトークン効率の向上を実証する。

関連論文リスト

• Bootstrapping your behavior: a new pretraining strategy for user behavior sequence data [20.293837889640507]
  UBSの事前学習戦略であるBootstrapping Your Behavior(モデル)を導入し、将来の時間ウィンドウにすべての行動に関する情報を埋め込む自動構築のインスペクションを予測する。 2つの実世界の産業データセットと8つの下流タスクの実験では、AUCの平均的な改善は3.9%、トレーニングのスループットは98.9%である。
  論文  参考訳（メタデータ） (2025-05-22T11:23:38Z)
• Revisiting the Power of Prompt for Visual Tuning [50.11465784194896]
  本研究では,プロンプトとパッチトークンの相互関係について検討した。 プロンプトトークンはパッチトークンと高い相互情報を共有する傾向にあるという観測から着想を得て,下流トークンのプロトタイプを用いた初期化プロンプトを提案する。 本手法は, 自己指導型プレトレーニングの適応性を著しく向上させ, 少なくとも10%から30%のタスク性能向上を実現した。
  論文  参考訳（メタデータ） (2024-02-04T07:49:02Z)
• Pre-Pruning and Gradient-Dropping Improve Differentially Private Image Classification [9.120531252536617]
  本稿では,テキストプリプルーニングとテキストグラディエントドロップを用いた新しいトレーニングパラダイムを導入し,パラメータ空間の削減と拡張性の向上を図る。 トレーニングパラダイムでは,プレプニング率と勾配ドロップ率,プライバシ損失,分類精度の間に緊張関係が生じる。
  論文  参考訳（メタデータ） (2023-06-19T14:35:28Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• A Closer Look at Self-Supervised Lightweight Vision Transformers [44.44888945683147]
  大規模視覚変換器(ViT)の自己教師型学習を事前学習法として実現した。 画像分類タスクと下流密度予測タスクに関する自己教師付き事前学習手法のベンチマークを行った。 バニラ・ライトウェイトなViTでさえ、デリケートなアーキテクチャ設計を持つ以前のSOTAネットワークに匹敵する性能を示している。
  論文  参考訳（メタデータ） (2022-05-28T14:14:57Z)
• Wav2vec-S: Semi-Supervised Pre-Training for Speech Recognition [44.347739529374124]
  自己教師付き事前学習は、音声認識(ASR)の性能を劇的に改善した 既存の自己指導型事前学習アプローチの多くはタスク非依存であり、様々な下流タスクに適用できる。 我々はwav2vec-Sと呼ばれる新しい事前学習パラダイムを提案し、このギャップを埋めるためにタスク固有の半教師付き事前学習を使用する。
  論文  参考訳（メタデータ） (2021-10-09T07:09:22Z)
• Self-Supervised Pretraining Improves Self-Supervised Pretraining [83.1423204498361]
  自己教師付き事前トレーニングには、高価で長い計算と大量のデータが必要で、データ拡張に敏感である。 本稿では,既存の事前学習モデルを用いて事前学習プロセスを初期化することにより,収束時間を短縮し,精度を向上させる階層的事前学習(HPT)について検討する。 HPTが最大80倍速く収束し、タスク全体の精度が向上し、自己監視された事前トレーニングプロセスの堅牢性が、画像増強ポリシーまたは事前トレーニングデータの量の変化に改善されることを示します。
  論文  参考訳（メタデータ） (2021-03-23T17:37:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。