論文の概要: Hierarchical Solomonoff Induction: An Unbounded Machine Learning Model

• arxiv url: http://arxiv.org/abs/2608.01005v1
• Date: Sun, 02 Aug 2026 05:22:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.05039
• Title: Hierarchical Solomonoff Induction: An Unbounded Machine Learning Model
• Title（参考訳）: 階層型ソロモノフ誘導:非有界機械学習モデル
• Authors: Nathan Young,
• Abstract要約: 階層型ソロモノフ誘導(Hierarchical Solomonoff induction, HSI)は、全てのソロモノフ先行よりも高い優先度を維持する。 任意の分布におけるHSIの過大な誤差は、真の生成器と比較して、その生成器の超優先度の複雑さによって制限されていることを証明している。 我々は、HSIは、Solindが個々のシーケンスに対して理想的であるのと同じように、データセットが与えられたシーケンス予測の理想的な非有界モデルであると主張する。
• 参考スコア（独自算出の注目度）: 1.151956633776024
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Solomonoff Induction, or SolInd, provides an ideal unbounded model of a priori sequence prediction but cannot naturally describe extrapolation from a given training dataset, as performed by Large Language Models. We apply de Finetti's theorem on exchangeable distributions to SolInd to produce what we call Hierarchical Solomonoff Induction, or HSI, which maintains a hyperprior over all Solomonoff priors that can be conditioned on previously observed sequences. We extend Wood et al.'s proof that universal mixtures of semimeasures are equivalent to SolInd to show that universal mixtures of these mixtures are also equivalent, proving that HSI=SolInd. We also prove that HSI's excess error on any distribution, compared to its true generator, is bounded by that generator's complexity in the hyperprior. This result is directly comparable to SolInd's prediction error being bounded by the Kolmogorov complexity of the sequence being predicted, and forces HSI's average excess error to converge to 0 as a dataset grows, leading to optimal prediction in the limit. We claim that HSI is an ideal unbounded model of sequence prediction given a dataset in the same way that SolInd is ideal over individual sequences.
• Abstract（参考訳）: ソロモノフ誘導(Solomonoff induction、Solind)は、事前シーケンス予測の理想的な非有界モデルを提供するが、大規模言語モデルによって実行される訓練データセットからの外挿を自然に記述することはできない。 我々は、交換可能な分布に関するデ・フィネッティの定理をソリンドに適用し、我々が階層的ソロモノフ誘導 (hierarchical Solomonoff induction, HSI) と呼ぶものを生成する。 我々は、Wood et al の証明を拡張し、半測度の普遍混合が SolInd と同値であることを示し、これらの混合物の普遍混合も同値であることを示し、HSI=SolInd を証明した。 また、HSIの真の生成器と比較して分布の過大な誤差は、その生成器のハイパープライヤの複雑さによって制限されていることを証明した。 この結果は、予測されるシーケンスのコルモゴロフ複雑性によって境界付けられたゾリンドの予測誤差と直接的に同等であり、データセットが大きくなるとHSIの平均余剰誤差は0に収束し、極限における最適な予測をもたらす。 我々は、HSIは、Solindが個々のシーケンスに対して理想的であるのと同じように、データセットが与えられたシーケンス予測の理想的な非有界モデルであると主張する。

関連論文リスト

• Global Convergence of Gradient Descent for Score Matching in Gaussian Mixtures via Reverse Fisher Divergence [67.12978375116599]
  そこで本研究では,学生分布に対する期待値の逆のフィッシャー発散(Fisher divergence)について検討する。 我々は、目標平均に対して$widetilde(1)$-separationの仮定の下で、大域収束保証を証明した。 我々はリアプノフに基づく勾配勾配勾配の動的解析を頼りにしており、逆のフィッシャー発散は前方のフィッシャー発散よりもはるかに良い最適化環境を持つことが示されている。
  論文  参考訳（メタデータ） (2026-06-18T07:34:33Z)
• Time-series Random Process Complexity Ranking Using a Bound on Conditional Differential Entropy [0.8666096694354596]
  Fangらによって確立された情報理論予測誤差境界に基づいて構築する。 条件付き微分エントロピー textbf$h(X_k mid X_k-1,...,X_k-m)$ は次ステップ予測誤差の行列式の関数によって上界となることを示す。
  論文  参考訳（メタデータ） (2025-10-23T13:36:04Z)
• Preconditioned Langevin Dynamics with Score-Based Generative Models for Infinite-Dimensional Linear Bayesian Inverse Problems [4.2223436389469144]
  スコアベース生成モデル(SGM)によって駆動されるランゲヴィン力学は、関数空間内で直接的に定式化される。 スコアの近似誤差に明示的に依存する誤差推定を初めて導いた。 その結果、基底函数空間上のクルバック・リーブラー発散における大域収束のための十分条件が得られる。
  論文  参考訳（メタデータ） (2025-05-23T18:12:04Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
  MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。 我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。 これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。 得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
  論文  参考訳（メタデータ） (2023-06-08T17:59:58Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• Signatures of Chaos in Non-integrable Models of Quantum Field Theory [0.0]
  1+1)D量子場理論(QFT)モデルにおける量子カオスのシグネチャについて検討する。 我々は、二重正弦ガードンに焦点をあて、巨大な正弦ガードンと$phi4$モデルの研究も行っている。
  論文  参考訳（メタデータ） (2020-12-15T18:56:20Z)
• Non-asymptotic Optimal Prediction Error for Growing-dimensional Partially Functional Linear Models [0.951828574518325]
  予測誤差の最大値と最大値の上限を示す。 過剰な予測リスクの正確な上限は、非漸近的な形で示される。 モデルのKulback-Leibler分散の正則性仮定の下で、非漸近ミニマックス下界を導出する。
  論文  参考訳（メタデータ） (2020-09-10T08:49:32Z)
• Generic Error Bounds for the Generalized Lasso with Sub-Exponential Data [4.56877715768796]
  この研究は、部分指数データの仮定の下で一般化されたラッソの非漸近解析を行う。 本稿では,ジェネリックチェインに基づく証明戦略から自然に生じる2つの複雑性パラメータを用いて,推定誤差を制御できることを示す。
  論文  参考訳（メタデータ） (2020-04-11T10:39:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。