論文の概要: Statistical Inference of Minimally Complex Models
- arxiv url: http://arxiv.org/abs/2008.00520v2
- Date: Mon, 27 Sep 2021 22:32:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-03 19:55:34.100383
- Title: Statistical Inference of Minimally Complex Models
- Title(参考訳): 最小複雑モデルの統計的推測
- Authors: Cl\'elia de Mulatier, Paolo P. Mazza, Matteo Marsili
- Abstract要約: 最小複素モデル (Minimally Complex Models, MCM) は任意の順序の相互作用を持つスピンモデルである。
これらのモデルに限定されたベイズモデル選択は計算可能であることが示される。
モデル複雑性に対して適合性をトレードオフするそれらの証拠は、パラメータフィッティングなしで容易に計算できる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Finding the model that best describes a high dimensional dataset is a
daunting task. For binary data, we show that this becomes feasible when
restricting the search to a family of simple models, that we call Minimally
Complex Models (MCMs). These are spin models, with interactions of arbitrary
order, that are composed of independent components of minimal complexity
(Beretta et al., 2018). They tend to be simple in information theoretic terms,
which means that they are well-fitted to specific types of data, and are
therefore easy to falsify. We show that Bayesian model selection restricted to
these models is computationally feasible and has many other advantages. First,
their evidence, which trades off goodness-of-fit against model complexity, can
be computed easily without any parameter fitting. This allows selecting the
best MCM among all, even though the number of models is astronomically large.
Furthermore, MCMs can be inferred and sampled from without any computational
effort. Finally, model selection among MCMs is invariant with respect to
changes in the representation of the data. MCMs portray the structure of
dependencies among variables in a simple way, as illustrated in several
examples, and thus provide robust predictions on dependencies in the data. MCMs
contain interactions of any order between variables, and thus may reveal the
presence of interactions of order higher than pairwise.
- Abstract(参考訳): 高次元データセットを最もよく記述するモデルを見つけるのは大変な作業です。
バイナリデータに対して、最小複素モデル (MCM) と呼ばれる単純なモデルの族への探索を制限することで、これが実現可能であることを示す。
これらは任意の順序の相互作用を持つスピンモデルであり、最小複雑性の独立した成分からなる(Beretta et al., 2018)。
情報理論の用語は単純であり、特定の種類のデータに適しており、したがって偽造が容易である。
これらのモデルに制限されたベイズモデルの選択は計算可能であり、他の多くの利点があることを示す。
第一に、モデルの複雑さに対して適合性をトレードオフするそれらの証拠は、パラメータの適合なしに容易に計算できる。
これにより、モデル数が天文学的に大きいにもかかわらず、最も優れたmcmを選択することができる。
さらに、MCMは計算の労力なしで推論およびサンプリングすることができる。
最後に、MCM間のモデル選択は、データの表現の変化に関して不変である。
MCMは、いくつかの例に示すように、変数間の依存関係の構造を単純な方法で表現し、データの依存関係に関する堅牢な予測を提供する。
MCMは変数間の任意の順序の相互作用を含んでおり、従ってペアよりも高い順序の相互作用の存在を明らかにする。
関連論文リスト
- Induced Model Matching: How Restricted Models Can Help Larger Ones [1.7676816383911753]
制限された特徴を用いた非常に正確な予測モデルが、より大きく、フル機能の、モデルのトレーニング時に利用可能であるシナリオを考察する。
制限されたモデルは、フルモデルにどのように役立つのか?
本稿では,制約モデルと制約モデルの性能を一致させることで,制約モデルの知識をフルモデルに伝達する手法を提案する。
論文 参考訳(メタデータ) (2024-02-19T20:21:09Z) - Representation Surgery for Multi-Task Model Merging [60.52665037255662]
マルチタスク学習(MTL)は、複数のタスクから情報を統一されたバックボーンに圧縮し、計算効率と一般化を改善する。
最近の研究は、複数の独立して訓練されたモデルをマージして、共同トレーニングのために生データを収集する代わりにMLLを実行する。
既存のモデルマージスキームの表現分布を可視化することにより、マージモデルはしばしば表現バイアスのジレンマに悩まされる。
論文 参考訳(メタデータ) (2024-02-05T03:39:39Z) - Sample Complexity Characterization for Linear Contextual MDPs [67.79455646673762]
文脈決定プロセス(CMDP)は、遷移カーネルと報酬関数がコンテキスト変数によってインデックス付けされた異なるMDPで時間とともに変化できる強化学習のクラスを記述する。
CMDPは、時間とともに変化する環境で多くの現実世界のアプリケーションをモデル化するための重要なフレームワークとして機能する。
CMDPを2つの線形関数近似モデルで検討する: 文脈変化表現とすべての文脈に対する共通線形重み付きモデルIと、すべての文脈に対する共通表現と文脈変化線形重み付きモデルIIである。
論文 参考訳(メタデータ) (2024-02-05T03:25:04Z) - Exact and efficient solutions of the LMC Multitask Gaussian Process
model [30.38539960317671]
コリージョン化線形モデル(英: Linear Model of Co- Regionalization、LMC)は、回帰や分類のためのマルチタスクガウス過程の非常に一般的なモデルである。
最近の研究によると、ある条件下では、モデルの潜在過程は切り離され、そのプロセスの数でのみ線形となる複雑さが生じる。
ここでは、これらの結果を拡張し、LCCの効率的な正確な計算に必要な条件はノイズモデルに関する軽度の仮説である、という最も一般的な仮定から示している。
論文 参考訳(メタデータ) (2023-10-18T15:16:24Z) - Learning from aggregated data with a maximum entropy model [73.63512438583375]
我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。
我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
論文 参考訳(メタデータ) (2022-10-05T09:17:27Z) - Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。
言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
論文 参考訳(メタデータ) (2022-01-08T00:47:50Z) - Model-agnostic multi-objective approach for the evolutionary discovery
of mathematical models [55.41644538483948]
現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。
合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
論文 参考訳(メタデータ) (2021-07-07T11:17:09Z) - Revisiting minimum description length complexity in overparameterized
models [38.21167656112762]
本稿では,線形モデルとカーネル手法に対するMDL-COMPの広範な理論的特性について述べる。
カーネル法では,MDL-COMPがサンプル内誤差を最小化し,入力の次元が増加するにつれて減少することを示す。
また、MDL-COMPがサンプル内平均二乗誤差(MSE)を束縛していることも証明する。
論文 参考訳(メタデータ) (2020-06-17T22:45:14Z) - When Ensembling Smaller Models is More Efficient than Single Large
Models [52.38997176317532]
アンサンブルは高い精度で単一モデルより優れており、計算に要する総FLOPは少ない。
これは、アンサンブルの出力の多様性がより大きなモデルを訓練するよりも効率的であることを示す興味深い観察結果である。
論文 参考訳(メタデータ) (2020-05-01T18:56:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。