論文の概要: Learning Source Structure: Bayesian Prediction with Transformers

• arxiv url: http://arxiv.org/abs/2610.18725v1
• Date: Tue, 13 Oct 2026 17:05:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 20:05:05.063688
• Title: Learning Source Structure: Bayesian Prediction with Transformers
• Title（参考訳）: 音源構造を学習する:変圧器を用いたベイズ予測
• Abstract要約: ソースパラメータが毎回描画されるシーケンスに基づいてトレーニングされたトランスフォーマーは、シーケンスが共有するデータのみを学習することができる。 ベイズに知らせると、トレーニング損失のユニークな最小化要因であり、家族だけで計算可能である。
• 参考スコア（独自算出の注目度）: 4.984601297028257
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A transformer trained on sequences whose source parameters are drawn afresh each time can learn only what the sequences share: the source family and its prior. The Bayesian predictor that knows both, which we call informed Bayes, is the unique minimizer of the training loss and is computable from the family alone; we use it as a quantitative, falsifiable reference. Where earlier work compared transformers with Bayes on sources whose contexts can be learned independently, we build Markov sources with up to 64 symbols in which observations in one context inform prediction in another: product sources with known or hidden encodings, transition rows sharing an unknown base law and depth, and a mixture of three families. Our main result is that informed Bayes predicts, from the family and prior alone, how a trained transformer behaves in four tests that go beyond the learning curve: the loss that remains under a source outside the training family (predicted 2.237 bits, measured 2.309), the doubling of the extra loss when two independent components change rather than one (0.345 predicted, 0.350 measured), the benefit of other contexts when a token appears for the first time, and the depth at which copying an earlier continuation starts to pay. On the learning curves themselves, small transformers match informed Bayes when the shared structure is visible in the tokens, and hidden structure needs more layers and training, with gaps below 0.01 bits per token for the largest models. We explain why the imitation is possible and where it must fail: informed Bayes decomposes into sufficient statistics that attention selects and accumulates and an estimator, fixed by the prior, that the feed-forward network learns; training pays the complexity of informed Bayes under the architecture's prior, and finite-memory universal prediction bounds how closely a bounded network can reach it.
• Abstract（参考訳）: ソースパラメータが毎回描画されるシーケンスに基づいてトレーニングされたトランスフォーマーは、ソースファミリとそれ以前のシーケンスのみを学習することができる。 ベイズに知らせるベイズ予測器は、双方を知っており、トレーニング損失のユニークな最小化器であり、家族だけで計算可能である。 以前の研究では、コンテクストが独立して学習できるソースに対して、トランスフォーマーとベイズを比較していたが、最大64のシンボルでマルコフソースを構築し、そこでは、あるコンテキストにおける観察が、既知のエンコーディングや隠されたエンコーディングを持つ製品ソース、未知の基本法則と深さを共有するトランジッション行、そして3つのファミリーの混合といった、別のコンテキストで予測を通知する。 私たちの主な結果は、家族と前者だけで、訓練されたトランスフォーマーが学習曲線を超える4つのテストでどのように振る舞うかを予測することである。訓練されたトランスフォーマーは、訓練されたファミリーの外部のソースの下にある損失(2.237ビット、測定2.309ビット)、1つではなく2つの独立したコンポーネントが変化するときの余分な損失の倍(0.345ビット、測定0.350ビット)、トークンが初めて現れるときの他のコンテキストの利点、そして、初期の継続をコピーする深さが支払い始める。 学習曲線自身では、共有構造がトークンの中に見えるとき、小さなトランスフォーマーがベイズに一致し、隠れ構造にはより多くの層と訓練が必要であり、最大のモデルではトークンごとに0.01ビット未満のギャップがある。 情報ベイズは、注意が選択して蓄積する十分な統計値と、フィードフォワードネットワークが学習する推定器に分解され、トレーニングはアーキテクチャの事前の下の情報ベイズの複雑さに対処し、有限次元の普遍的予測は、境界付きネットワークがそれに到達するまでの距離を限定する。

関連論文リスト

• Wide Learning: Learning to Reach Evidence [1.7301456826129922]
  学習者の状態は、どのエビデンス生成実験が有界資源の下で確実に実現できるかを決定することができる。 学習者状態,デプロイメント予算,信頼性しきい値,評価分布に対して有効なリーチを定式化する。
  論文  参考訳（メタデータ） (2026-08-30T06:58:50Z)
• Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
  我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。 確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。 TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
  論文  参考訳（メタデータ） (2025-02-27T11:03:33Z)
• In-Context Convergence of Transformers [63.04956160537308]
  勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。 不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
  論文  参考訳（メタデータ） (2023-10-08T17:55:33Z)
• What learning algorithm is in-context learning? Investigations with linear models [87.91612418166464]
  本稿では,トランスフォーマーに基づくインコンテキスト学習者が標準学習アルゴリズムを暗黙的に実装する仮説について検討する。 訓練された文脈内学習者は、勾配降下、隆起回帰、および正確な最小二乗回帰によって計算された予測値と密に一致していることを示す。 文脈内学習者がこれらの予測器とアルゴリズム的特徴を共有するという予備的証拠。
  論文  参考訳（メタデータ） (2022-11-28T18:59:51Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。