論文の概要: In-Context Learning Before Specialisation: Theory of Learning in a Solvable Topic Model
- arxiv url: http://arxiv.org/abs/2610.21901v1
- Date: Thu, 15 Oct 2026 13:54:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.09837
- Title: In-Context Learning Before Specialisation: Theory of Learning in a Solvable Topic Model
- Title（参考訳）: 特殊化前のインテクスト学習:解決可能なトピックモデルにおける学習理論
- Abstract要約: シーケンスモデルは根本的に異なる方法で一般化することができる。
最近の研究は多くの異なる戦略を理論的に特徴づけてきた。
ここでは、解決可能なトピックモデルでそのような理論を提供する。
- 参考スコア（独自算出の注目度）: 4.95595416313729
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sequence models can generalise in fundamentally distinct ways: extrapolating structures seen in training, or using their prompt to adapt to novel tasks. The prevailing strategy determines how the model behaves beyond its training distribution, controlling potential capabilities and risks. Recent work has characterised many different strategies theoretically, and empirically described the transition between them as the quality and quantity of pretraining data vary. However, there is no learning theory for this competition, hence no fundamental understanding of \textit{why} one solution might be favoured over another. Here we provide such a theory in a solvable topic model---documents drawn from a finite mixture of latent topics, mirroring the heterogeneity of modern pretraining data. The dataset comes with two distinct solutions: a specialised predictor, that stores the finite topic mixture, and an in-context one, optimal for topics never seen during training. Our theory predicts their emergence at distinct sample complexities: the in-context predictor is available early, while the specialised one emerges only after the training tokens outnumber the parameters of the data-generating process. Trained transformers reproduce both scales and the separating crossover in remarkable agreement with the theory, with no fitted parameters.
- Abstract（参考訳）: シーケンスモデルは、トレーニングで見られる構造を外挿したり、新しいタスクに適応するためにそのプロンプトを使用するという、根本的に異なる方法で一般化することができる。
一般的な戦略は、トレーニングの配布を超えてモデルがどのように振る舞うかを決定し、潜在的な能力とリスクを制御します。
最近の研究は、理論的に多くの異なる戦略を特徴づけており、それらの間の遷移を、事前学習データの質と量が異なると実証的に記述している。
しかし、この競合に対する学習理論は存在しないので、ある解が別の解よりも好まれるかもしれないという根本的な理解は存在しない。
ここでは、可解なトピックモデルにおけるそのような理論、すなわち、潜在トピックの有限混合から引き出された文書を、現代の事前学習データの不均一性を反映する。
データセットには、有限トピックの混合を格納する特殊化予測器と、トレーニング中に見たことのないトピックに最適なコンテキスト内予測器の2つの異なるソリューションが付属している。
本理論では,データ生成過程のパラメータをはるかに上回った後にのみ特殊化されるのに対して,文脈内予測器は早期に利用可能である。
訓練された変圧器は、パラメータが不適合な理論と顕著に一致して、スケールと分離の交叉を再現する。
関連論文リスト
- The Interplay of Data Structure and Imbalance in the Learning Dynamics of Diffusion Models [8.547042933482645]
スコアベース拡散モデルにおけるクラス依存学習について検討する。
これらのダイナミクスを規定する明確な階層を明らかにします。
我々は、Fashion MNISTで訓練されたU-Netモデルを用いて、理論的予測を実証的に検証する。
論文 参考訳（メタデータ） (2026-05-07T14:44:53Z) - On the Asymptotics of Self-Supervised Pre-training: Two-Stage M-Estimation and Representation Symmetry [8.92071749364712]
自己教師型プレトレーニングは、現代の機械学習の基盤となっている。
既存の限界は、現在のレートがどれくらいシャープかという疑問を解き放つ。
2段階M推定による事前学習の本質的な理論を考案する。
論文 参考訳（メタデータ） (2026-03-29T11:04:03Z) - Theory of Speciation Transitions in Diffusion Models with General Class Structure [5.939780039158003]
拡散モデルは拡散過程を反転させ、ノイズをターゲット分布から引き出された構造化サンプルに変換することによってデータを生成する。
最近の理論的研究により、この後方ダイナミクスは、偏光遷移として知られる鋭い定性的遷移を経ることができることが示されている。
拡散モデルにおける偏差の一般理論を開発し、適切に定義されたクラスを持つ任意の対象分布に適用する。
論文 参考訳（メタデータ） (2026-02-04T10:35:47Z) - In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。
この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
論文 参考訳（メタデータ） (2025-03-17T02:00:49Z) - Towards Understanding Extrapolation: a Causal Lens [53.15488984371969]
我々は、外挿がいつ可能かを理論的に理解し、それを実現するための原則的な方法を提供する。
この定式化の下では、外挿問題を潜在変数識別問題にキャストする。
この理論は、基礎となる多様体の滑らかさとシフト特性の間の複雑な相互作用を明らかにする。
論文 参考訳（メタデータ） (2025-01-15T21:29:29Z) - An Effective Theory of Bias Amplification [18.648588509429167]
機械学習モデルは、データに存在するバイアスをキャプチャして増幅し、ソーシャルグループ間で異なるテストパフォーマンスをもたらす。
本稿では、従来のモデルが単純化された状況下でのニューラルネットワークをフィードフォワードする尾根回帰の文脈で、精密な解析理論を提案する。
我々の理論は、機械学習バイアスの統一的で厳密な説明を提供し、バイアス増幅やマイノリティグループバイアスのような現象に関する洞察を提供する。
論文 参考訳（メタデータ） (2024-10-07T08:43:22Z) - Relational Learning in Pre-Trained Models: A Theory from Hypergraph Recovery Perspective [60.64922606733441]
我々は,関係学習をハイパーグラフリカバリとして形式化する数学的モデルを導入し,基礎モデル(FM)の事前学習について検討する。
我々のフレームワークでは、世界はハイパーグラフとして表現され、データはハイパーエッジからランダムなサンプルとして抽象化される。我々は、このハイパーグラフを復元するための事前学習モデル(PTM)の有効性を理論的に検証し、ミニマックスに近い最適スタイルでデータ効率を解析する。
論文 参考訳（メタデータ） (2024-06-17T06:20:39Z) - Predictive Churn with the Set of Good Models [61.00058053669447]
本稿では,予測的不整合という2つの無関係な概念の関連性について考察する。
予測多重性(英: predictive multiplicity)は、個々のサンプルに対して矛盾する予測を生成するモデルである。
2つ目の概念である予測チャーン(英: predictive churn)は、モデル更新前後の個々の予測の違いを調べるものである。
論文 参考訳（メタデータ） (2024-02-12T16:15:25Z) - Learned Regularization for Inverse Problems: Insights from a Spectral Model [1.4963011898406866]
この章は、逆問題に対する最先端の学習アプローチに関する理論的に確立された調査を提供する。
正規化法とそれらの収束を、基礎となるデータ分布の観点から拡張した定義を与える。
論文 参考訳（メタデータ） (2023-12-15T14:50:14Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。