論文の概要: Universal pre-training by iterated random computation

• arxiv url: http://arxiv.org/abs/2506.20057v1
• Date: Tue, 24 Jun 2025 23:36:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-26 21:00:42.56264
• Title: Universal pre-training by iterated random computation
• Title（参考訳）: 反復ランダム計算による普遍的事前学習
• Authors: Peter Bloem,
• Abstract要約: 合成されたデータは、データを見る前にモデルを事前訓練するために使用できることを示す。 実験の結果を実世界のデータに拡張し,事前学習後のモデルを微調整することで,より高速な収束とより優れた一般化が得られることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the use of randomly generated data for the sake of pre-training a model. We justify this approach theoretically from the perspective of algorithmic complexity, building on recent research that shows that sequence models can be trained to approximate Solomonoff induction. We derive similar, but complementary theoretical results. We show empirically that synthetically generated data can be used to pre-train a model before the data is seen. We replicate earlier results that models trained this way show zero-shot in-context learning across a variety of datasets, and that this performance improves with scale. We extend earlier results to real-world data, and show that finetuning a model after pre-training offers faster convergence and better generalization.
• Abstract（参考訳）: モデルを事前学習するためにランダムに生成したデータの利用について検討する。 我々はこの手法をアルゴリズムの複雑さの観点から理論的に正当化し、Solomonoff帰納を近似するためにシーケンスモデルを訓練できることを示す最近の研究に基づいている。 我々は類似しているが相補的な理論的結果を得る。 合成されたデータは、データを見る前にモデルの事前学習に利用できることを実証的に示す。 私たちは、この方法でトレーニングされたモデルが、さまざまなデータセットにわたるゼロショットインコンテキスト学習を示し、このパフォーマンスがスケールで改善する、以前の結果を複製しました。 実験の結果を実世界のデータに拡張し,事前学習後のモデルを微調整することで,より高速な収束と一般化が可能になることを示す。

関連論文リスト

• Lost in Retraining: Roaming the Parameter Space of Exponential Families Under Closed-Loop Learning [0.0]
  閉ループ学習は、モデル自身から生成されたデータからモデルを繰り返し推定するプロセスである。 パラメータの最大確率は、マーチンゲール特性に十分な統計量を与えることを示す。 固定モデルから生成されたデータポイントの無限小のデータを汚染することにより、この結果を防止することができる。
  論文  参考訳（メタデータ） (2025-06-25T17:12:22Z)
• Golden Ratio Weighting Prevents Model Collapse [9.087950471621653]
  近年の研究では、モデル崩壊として知られる生成モデルトレーニングにおける現象が特定されている。 本稿では,新たに収集した実データと合成データを組み合わせて生成モデルを反復的に訓練する新しい枠組みの中で,この現象を理論的に検討する。
  論文  参考訳（メタデータ） (2025-02-25T10:15:16Z)
• Self-Consuming Generative Models with Curated Data Provably Optimize Human Preferences [20.629333587044012]
  本研究では,データキュレーションが生成モデルの反復的再学習に与える影響について検討する。 報奨モデルに従ってデータをキュレートすると、反復的再訓練手順の期待報酬が最大になることを示す。
  論文  参考訳（メタデータ） (2024-06-12T21:28:28Z)
• Diffusion posterior sampling for simulation-based inference in tall data settings [53.17563688225137]
  シミュレーションベース推論(SBI)は、入力パラメータを所定の観測に関連付ける後部分布を近似することができる。 本研究では、モデルのパラメータをより正確に推測するために、複数の観測値が利用できる、背の高いデータ拡張について考察する。 提案手法を,最近提案した各種数値実験の競合手法と比較し,数値安定性と計算コストの観点から,その優位性を実証した。
  論文  参考訳（メタデータ） (2024-04-11T09:23:36Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Improved Fine-tuning by Leveraging Pre-training Data: Theory and Practice [52.11183787786718]
  対象データに事前学習されたモデルを微調整することは、多くのディープラーニングアプリケーションで広く利用されている。 近年の研究では、スクラッチからのトレーニングが、この事前トレーニング戦略に比較して、最終的なパフォーマンスを示すことが実証されている。 本稿では,対象タスクの一般化を改善するために,事前学習データからサブセットを選択する新しい選択戦略を提案する。
  論文  参考訳（メタデータ） (2021-11-24T06:18:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。