Fugu-MT 論文翻訳(概要): Approximate Solomonoff Induction: On the Robustness of Learned Universal Predictors

論文の概要: Approximate Solomonoff Induction: On the Robustness of Learned Universal Predictors

arxiv url: http://arxiv.org/abs/2610.29289v1
Date: Wed, 21 Oct 2026 06:44:09 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-23 00:40:06.261848
Title: Approximate Solomonoff Induction: On the Robustness of Learned Universal Predictors
Title（参考訳）: 近似ソロモノフ誘導:学習された普遍予測子のロバスト性について
Abstract要約: 本研究では, 事前確率の小さい環境において, 近似が性能を著しく低下させることができることを示す。我々は、ニューラルネットワークとトランスフォーマーを用いた普遍予測器の学習に関連する有限サンプリング設定まで分析を拡張した。
参考スコア（独自算出の注目度）: 10.279750098827227
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Why large language models trained via log-loss minimization over massive and diverse datasets exhibit broad capabilities and generalizable skills is not yet fully understood. Grau-Moya et al. (ICML 2024) offer a conceptual explanation through the lens of meta-learning: if sequence-generating environments $ν$ are drawn from a prior $w_ν$, minimizing population log-loss recovers the corresponding Bayesian mixture predictor $ξ=\sum_νw_νν$. In the idealized limit in which $w$ is a universal prior, the optimal predictor corresponds to Solomonoff universal induction. Practical machine learning algorithms, however, generally produce only \emph{approximately} optimal predictors. This raises a natural question: \emph{Does the prediction performance remain robust under approximation}? In this paper, we first provide a tight bound on the worst-case effect of approximation on prediction error. We show any predictor $ρ$ satisfying $D_{KL}(ξ\|ρ)\leq η$ retains bounded cumulative-expected-squared prediction error. However, while the Bayesian mixture predictor $ξ$ has error $O(\log(1/w_μ))$ in an environment $μ$, we establish a tight $Θ(η/w_μ)$ bound on the excess error of $ρ$ relative to $ξ$. Thus, approximation can substantially degrade performance in environments assigned small prior probability. In sharp contrast, when environments are averaged according to prior $w$, we prove that the excess prediction error is only $O(η)$. Furthermore, we establish a distribution-shift theorem for dominated shifts from a training prior $w$ to a test prior $w'$, interpolating our average-case and worst-case guarantees. Finally, we extend our robustness analysis to a finite-sampling setting relevant to learning universal predictors with neural networks and Transformers, where $D_{KL}(ξ\|ρ)$ could be unbounded. [For the full abstract, see the paper.]
Abstract（参考訳）: 大規模で多様なデータセットに対するログロスの最小化によってトレーニングされた大規模言語モデルは、広範な能力を示し、一般化可能なスキルがまだ完全には理解されていない。 Grau-Moya et al (ICML 2024) はメタラーニングのレンズを通して概念的な説明を提供する: もしシーケンス生成環境 $ν$ が以前の$w_ν$ から引かれるなら、人口ログの最小化は対応するベイズ混合予測器 $ =\sum_νw_νν$ を回復する。 w$ が普遍先行である理想化された極限において、最適予測子はソロモノフ普遍帰納法に対応する。しかし、現実的な機械学習アルゴリズムは一般に、最適予測器のみを生成する。予測性能は近似の下で堅牢か? 本稿では,まず,予測誤差に対する近似の最悪の場合の影響を厳密に評価する。任意の予測子 $ρ$ が $D_{KL}(\|ρ)\leq η$ を満たす場合、有界累積予想二乗予測誤差を保持する。しかし、ベイズ混合予測器$ がエラー$O(\log(1/w_μ))$を環境$μ$で有するのに対し、厳密な$(η/w_μ)$を$ に対して$ρ$の過大な誤差で有界に設定する。したがって、近似は、より小さな事前確率に割り当てられた環境における性能を著しく低下させることができる。対照的に、環境が以前の$w$に従って平均化されている場合、過剰な予測誤差は$O(η)$である。さらに、平均ケースと最悪のケースの保証を補間して、トレーニング前のw$からテスト前のw’$への支配的なシフトの分布シフト定理を確立する。最後に、我々はロバストネス解析をニューラルネットワークとトランスフォーマーを用いた普遍予測器の学習に関連する有限サンプリング設定にまで拡張し、そこでは$D_{KL}(\|ρ)$を非有界にすることができる。 [要約は紙を参照のこと]

論文の概要: Approximate Solomonoff Induction: On the Robustness of Learned Universal Predictors

関連論文リスト