論文の概要: Transformers As Approximations of Solomonoff Induction

• arxiv url: http://arxiv.org/abs/2408.12065v1
• Date: Thu, 22 Aug 2024 02:05:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-23 15:33:26.023202
• Title: Transformers As Approximations of Solomonoff Induction
• Title（参考訳）: ソロモノフ誘導の近似としてのトランスフォーマー
• Authors: Nathan Young, Michael Witbrock,
• Abstract要約: Solomonoffインダクションはシーケンス予測のための最適極限アルゴリズムである。 計算シーケンス予測の最適な形式であるため、他のシーケンス予測方法と比較できるモデルとして用いられる可能性が考えられる。 我々は,トランスフォーマーモデルが既存のどのシーケンス予測法よりもソロモノフ誘導を近似する仮説を提示し,検討した。
• 参考スコア（独自算出の注目度）: 7.890110890837779
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Solomonoff Induction is an optimal-in-the-limit unbounded algorithm for sequence prediction, representing a Bayesian mixture of every computable probability distribution and performing close to optimally in predicting any computable sequence. Being an optimal form of computational sequence prediction, it seems plausible that it may be used as a model against which other methods of sequence prediction might be compared. We put forth and explore the hypothesis that Transformer models - the basis of Large Language Models - approximate Solomonoff Induction better than any other extant sequence prediction method. We explore evidence for and against this hypothesis, give alternate hypotheses that take this evidence into account, and outline next steps for modelling Transformers and other kinds of AI in this way.
• Abstract（参考訳）: ソロモノフ誘導(英: Solomonoff induction)は、任意の計算可能な確率分布のベイズ混合を表現し、任意の計算可能な列を最適に予測するアルゴリズムである。 計算シーケンス予測の最適な形式であるため、他のシーケンス予測方法と比較できるモデルとして用いられる可能性が考えられる。 我々は,トランスフォーマーモデル - 大規模言語モデルの基礎 - が,既存のどのシーケンス予測法よりもソロモノフ誘導を近似する仮説を提唱し,検討した。 我々は、この仮説の証拠を探求し、この証拠を考慮に入れた代替仮説を与え、トランスフォーマーや他の種類のAIをこのようにモデル化する次のステップを概説する。

関連論文リスト

• Conformal Generative Modeling with Improved Sample Efficiency through Sequential Greedy Filtering [55.15192437680943]
  生成モデルは出力に対する厳密な統計的保証を欠いている。 厳密な統計的保証を満たす予測セットを生成する逐次共形予測法を提案する。 このことは、高い確率で予測セットが少なくとも1つの許容可能な(または有効な)例を含むことを保証している。
  論文  参考訳（メタデータ） (2024-10-02T15:26:52Z)
• Prompting a Pretrained Transformer Can Be a Universal Approximator [105.59562522323274]
  従来考えられていたよりもはるかに小さな事前学習モデルでは,プレフィックスの場合には普遍近似が可能であることを示す。 また、関数を所望の精度に近似するのに必要なプレフィックスの長さにジャクソン型境界を与える。
  論文  参考訳（メタデータ） (2024-02-22T18:12:48Z)
• Transformers can optimally learn regression mixture models [22.85684729248361]
  変換器は回帰の混合に対して最適な予測器を学習できることを示す。 実験では、トランスフォーマーがサンプル効率のよい方法で回帰の混合を学習できることも示している。 決定理論の最適手順が実際に変換器によって実装可能であることを具体的確に証明する。
  論文  参考訳（メタデータ） (2023-11-14T18:09:15Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Conformal Nucleus Sampling [67.5232384936661]
  最上位のp$集合が、様々な言語文脈における確率的意味と実際に一致しているかを評価する。 OPTモデルは過信であり、キャリブレーションはモデルサイズで適度な逆スケーリングを示す。
  論文  参考訳（メタデータ） (2023-05-04T08:11:57Z)
• Bayesian Sparse Regression for Mixed Multi-Responses with Application to Runtime Metrics Prediction in Fog Manufacturing [6.288767115532775]
  フォッグ製造は、分散計算Fogユニットを通じて従来の製造システムを大幅に強化することができる。 予測オフロード手法は,実行時のパフォーマンス指標の正確な予測と不確かさの定量化に大きく依存していることが知られている。 本稿では,多変量混合応答に対するベイジアンスパース回帰法を提案し,実行時性能指標の予測を強化する。
  論文  参考訳（メタデータ） (2022-10-10T16:14:08Z)
• Predictive Inference with Feature Conformal Prediction [80.77443423828315]
  本稿では,特徴空間への共形予測の範囲を拡大する特徴共形予測を提案する。 理論的観点からは、特徴共形予測は軽度の仮定の下で正則共形予測よりも確実に優れていることを示す。 提案手法は,バニラ共形予測だけでなく,他の適応共形予測手法と組み合わせることができる。
  論文  参考訳（メタデータ） (2022-10-01T02:57:37Z)
• Correcting Model Bias with Sparse Implicit Processes [0.9187159782788579]
  SIP(Sparse Implicit Processes)は,データ生成機構がモデルによって入力されるものと強く異なる場合,モデルバイアスを補正できることを示す。 合成データセットを用いて、SIPは、初期推定モデルの正確な予測よりもデータをよりよく反映する予測分布を提供することができることを示す。
  論文  参考訳（メタデータ） (2022-07-21T18:00:01Z)
• Calibration of Natural Language Understanding Models with Venn--ABERS Predictors [0.0]
  トランスフォーマーは、校正されていない予測や極端な確率を生成する傾向がある。 我々は、事前学習した変換器の選択に基づいて、いくつかの誘導型Venn--ABERS予測器(IVAP)を構築した。
  論文  参考訳（メタデータ） (2022-05-21T13:09:01Z)
• Rationales for Sequential Predictions [117.93025782838123]
  シーケンスモデルは現代のNLPシステムにおいて重要な要素であるが、それらの予測は説明が難しい。 モデル説明は有理だが、個々のモデル予測を説明できる文脈のサブセットを考える。 この目的を近似する効率的なグリードアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-14T01:25:15Z)
• Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation [23.38076756988258]
  ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。 平均場近似式を用いて解析的に難解な積分を計算する。 実験的に,提案手法は最先端の手法と比較して競合的に機能する。
  論文  参考訳（メタデータ） (2020-06-13T07:32:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。