論文の概要: Meta Models: Models that Model Learning

• arxiv url: http://arxiv.org/abs/2610.37001v1
• Date: Tue, 27 Oct 2026 10:47:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.569868
• Title: Meta Models: Models that Model Learning
• Title（参考訳）: メタモデル:学習をモデル化するモデル
• Abstract要約: 他モデルの学習行動を予測するメタモデルについて検討する。 実言語モデルトレーニングレコードをネイティブ数値データとして扱う。 既製のインコンテキスト学習者であるTabPFNは、微調整されたLLMメタモデルにマッチまたは性能を向上することができる。
• 参考スコア（独自算出の注目度）: 21.49349810955267
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Every neural-network training run produces not only a model, but also evidence about how models learn. Can these accumulated experiments enable us to predict and compare new training runs before executing them? We study meta-models: models that predict the learning behavior of other models. From this perspective, final-performance prediction, learning-curve prediction, and hyperparameter selection are different queries to the same training response function. We take a first, humble empirical step toward this goal: treating real language-model training records as native numeric data, we find that an off-the-shelf tabular in-context learner, TabPFN, can match or outperform a fine-tuned LLM meta-model in multiple evaluated settings. Whereas recent work fine-tunes LLMs on tokenized configurations at a cost of tens to hundreds of GPU-hours, TabPFN requires seconds of fit-and-predict time without task-specific weight updates. We argue that meta-modeling is better treated as its own numeric modality rather than as a text task for LLMs. Going one step further, augmenting TabPFN with Kolmogorov-Arnold Networks (KANs) further improves accuracy on selected prediction tasks. Finally, we pre-registered a forecast of the Marin Hero Run, a 535B-parameter public training run, whose ground truth is revealed point by point as training progresses, putting meta-model predictions to the test against training outcomes not yet observed at the time of forecasting.
• Abstract（参考訳）: すべてのニューラルネットワークトレーニング実行は、モデルだけでなく、モデルがどのように学習するかの証拠も生成します。 これらの蓄積した実験によって、新しいトレーニングの実行を予測し、比較して実行できますか? メタモデル:他のモデルの学習行動を予測するモデルについて研究する。 この観点から、最終性能予測、学習曲線予測、ハイパーパラメータ選択は、同じトレーニング応答関数に対して異なるクエリである。 実言語モデルトレーニングレコードをネイティブな数値データとして扱うことで、市販の表形式のインコンテキスト学習者であるTabPFNが、複数の評価設定で微調整されたLLMメタモデルにマッチまたは上向くことができることが分かった。 最近の作業では、トークン化された構成を数十から数百時間のGPU時間で微調整するが、TabPFNではタスク固有の重み付けを必要としない。 メタモデリングはLLMのテキストタスクよりも,独自の数値モダリティとして扱う方がよい,と我々は主張する。 さらに一歩進めると、Kolmogorov-Arnold Networks (KAN)によるTabPFNの拡張により、選択した予測タスクの精度が向上する。 最後に,535Bパラメータの公共トレーニングランであるマリン・ヒーローラン(Marin Hero Run)の予測を事前登録し,トレーニングが進行するにつれて,基礎的真実がポイントごとに明らかになり,予測時にまだ観測されていないトレーニング結果に対するメタモデル予測が実施される。

関連論文リスト

• LLM Evaluation is a Forecasting Problem [48.184702952433135]
  テキストの分散が時間とともに変化するにつれ、Webテキストは確かに非常に非定常的であることが分かっています。 将来のモデル性能は、最近の評価データに基づく測定により予測される。 予測精度に基づいてどのモデルをデプロイするかを選択することで、パフォーマンスモデルのより信頼性の高い選択が可能になる。
  論文  参考訳（メタデータ） (2026-10-12T15:58:37Z)
• Post-training is (Massive) Supervised Learning [35.992105178197185]
  LLMの訓練の主流となるパラダイムは、SFTとRLからなる大規模な訓練後フェーズに依存するように進化してきた。 我々は,この手法が,BERT時代のプレトレインおよびファインチューンアプローチへの回帰を効果的に示していると論じる。
  論文  参考訳（メタデータ） (2026-04-20T08:52:09Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• Establishing Task Scaling Laws via Compute-Efficient Model Ladders [136.76316239300363]
  我々は,事前訓練された言語モデル(LM)のタスク性能を予測するために,タスクスケーリング法則とモデルはしごを開発する。 2つの予測ステップのパラメータ化関数に適合するデータポイントを収集し、2つの対象モデルの予測を行う。 ランク付けされた4つの多重選択タスクにおいて、絶対誤差の2ポイント以内で、両方のターゲットモデルの精度を予測することができる。
  論文  参考訳（メタデータ） (2024-12-05T18:21:49Z)
• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Continual Pre-Training of Large Language Models: How to (re)warm your model? [21.8468835868142]
  大規模言語モデル(LLM)はトークン上で定期的に事前訓練されるが、新しいデータが利用可能になると再起動する。 我々は,SlimPajama(下流データ,297Bトークン)の事前トレーニングを続けながら,パイル(上流データ,300Bトークン)で事前訓練されたモデルのウォームアップフェーズについて検討した。 以上の結果から,上流データと下流データの損失は再温暖化によって増大するが,より長い実行でダウンストリームのパフォーマンスが向上し,大規模なダウンストリームデータセットに対して10億ドルからトレーニングしたモデルよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2023-08-08T03:18:18Z)
• Architecture, Dataset and Model-Scale Agnostic Data-free Meta-Learning [117.48444197402858]
  データフリーメタトレーニングにおけるePisode cUrriculum inversion(ECI)と、内部ループ後のinvErsion calibRation(ICFIL)を提案する。 ECIは、メタモデルのリアルタイムフィードバックに応じて、擬似エピソードの難易度を適応的に増加させる。 本稿では,ECIを用いたメタトレーニングの最適化過程を,エンド・ツー・エンド方式で近似形式として定式化する。
  論文  参考訳（メタデータ） (2023-03-20T15:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。