論文の概要: Parsimonious Inference

• arxiv url: http://arxiv.org/abs/2103.02165v1
• Date: Wed, 3 Mar 2021 04:13:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-04 15:06:33.645040
• Title: Parsimonious Inference
• Title（参考訳）: 擬似推論
• Authors: Jed A. Duersch and Thomas A. Catanach
• Abstract要約: parsimonious inferenceは任意のアーキテクチャ上の推論の情報理論的な定式化である。 提案手法は,効率的な符号化と巧妙なサンプリング戦略を組み合わせて,クロスバリデーションを伴わない予測アンサンブルを構築する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian inference provides a uniquely rigorous approach to obtain principled justification for uncertainty in predictions, yet it is difficult to articulate suitably general prior belief in the machine learning context, where computational architectures are pure abstractions subject to frequent modifications by practitioners attempting to improve results. Parsimonious inference is an information-theoretic formulation of inference over arbitrary architectures that formalizes Occam's Razor; we prefer simple and sufficient explanations. Our universal hyperprior assigns plausibility to prior descriptions, encoded as sequences of symbols, by expanding on the core relationships between program length, Kolmogorov complexity, and Solomonoff's algorithmic probability. We then cast learning as information minimization over our composite change in belief when an architecture is specified, training data are observed, and model parameters are inferred. By distinguishing model complexity from prediction information, our framework also quantifies the phenomenon of memorization. Although our theory is general, it is most critical when datasets are limited, e.g. small or skewed. We develop novel algorithms for polynomial regression and random forests that are suitable for such data, as demonstrated by our experiments. Our approaches combine efficient encodings with prudent sampling strategies to construct predictive ensembles without cross-validation, thus addressing a fundamental challenge in how to efficiently obtain predictions from data.
• Abstract（参考訳）: ベイズ推論は予測の不確実性の原則化された正当化を得るための独特で厳格なアプローチを提供するが、計算アーキテクチャが結果を改善しようとする実践者によって頻繁に修正される純粋な抽象化である機械学習の文脈において、適度に一般的な先行的信念を明示することは困難である。 parsimonious inferenceはoccamのrazorを形式化する任意のアーキテクチャ上の推論の情報理論的な定式化である。 我々の普遍的ハイパープライアは、プログラム長、コルモゴロフ複雑性、ソロモノフのアルゴリズム的確率のコア関係を拡大することにより、シンボルの列として符号化された事前記述に妥当性を割り当てる。 そして、アーキテクチャが特定され、トレーニングデータが観測され、モデルパラメータが推測されるときの信念の複合的変化よりも、情報最小化として学習をキャストします。 モデル複雑性を予測情報と区別することにより,記憶現象を定量化する。 私たちの理論は一般的ですが、データセットが制限されている場合、例えば、最も重要です。 小さいかねじれた。 このようなデータに適した多項式回帰とランダムな森林に対する新しいアルゴリズムを実験で実証した。 提案手法は,効率の良い符号化と慎重なサンプリング戦略を組み合わせることで,相互評価を伴わない予測アンサンブルを構築することで,データから予測を効率的に得るための根本的な課題を解決する。

関連論文リスト

• Minimum Description Length and Generalization Guarantees for Representation Learning [16.2444595840653]
  本稿では,表現学習アルゴリズムの一般化誤差の上限を導出するフレームワークを提案する。 エンコーダの入力と表現の間の相互情報ではなく、我々の新しい境界は「マルチレター」相対エントロピーを含む。 著者たちの最もよく知る限り、確立された一般化境界は、情報ボトルネック型エンコーダと表現学習のための第一種である。
  論文  参考訳（メタデータ） (2024-02-05T18:12:28Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Probabilistic Dataset Reconstruction from Interpretable Models [8.31111379034875]
  最適な解釈可能なモデルの方がコンパクトで、トレーニングデータに関する情報が、厳密に構築されたモデルよりも少ないことが示される。 この結果から,最適解釈可能なモデルの方がコンパクトで,学習データに関する情報が少ないことが示唆された。
  論文  参考訳（メタデータ） (2023-08-29T08:10:09Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Rethinking Complex Queries on Knowledge Graphs with Neural Link Predictors [58.340159346749964]
  本稿では,証明可能な推論能力を備えた複雑なクエリを用いたエンドツーエンド学習を支援するニューラルシンボリック手法を提案する。 これまでに検討されていない10種類の新しいクエリを含む新しいデータセットを開発する。 提案手法は,新しいデータセットにおいて先行手法を著しく上回り,既存データセットにおける先行手法を同時に上回っている。
  論文  参考訳（メタデータ） (2023-04-14T11:35:35Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
  本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。 我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
  論文  参考訳（メタデータ） (2022-04-05T12:52:45Z)
• A Simplicity Bubble Problem in Formal-Theoretic Learning Systems [1.7996150751268578]
  機械学習への現在のアプローチは、十分に大きなデータセットによって、自然または人工的に常に騙され得ることを示す。 本稿では,この誤認現象を回避するための枠組みと追加の経験的条件について論じる。
  論文  参考訳（メタデータ） (2021-12-22T23:44:47Z)
• Learning Output Embeddings in Structured Prediction [73.99064151691597]
  構造化予測に対する強力で柔軟なアプローチは、予測される構造化対象を潜在的に無限次元の特徴空間に埋め込むことである。 原空間における予測は、前像問題の解法により計算される。 本研究では,新しい特徴空間に出力埋め込みと回帰関数の有限近似を共同で学習することを提案する。
  論文  参考訳（メタデータ） (2020-07-29T09:32:53Z)
• Random thoughts about Complexity, Data and Models [0.0]
  データサイエンスと機械学習は、過去10年間強く成長してきた。 我々は「データとモデル」の微妙な関係について検討する。 アルゴリズム複雑性とアルゴリズム学習の関係性を評価する上での鍵となる課題は、圧縮性、決定性、予測可能性の概念である。
  論文  参考訳（メタデータ） (2020-04-16T14:27:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。