論文の概要: Bayesian Inference of Minimally Complex Models with Interactions of Arbitrary Order

• arxiv url: http://arxiv.org/abs/2008.00520v3
• Date: Tue, 27 Aug 2024 13:31:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-30 19:54:50.088713
• Title: Bayesian Inference of Minimally Complex Models with Interactions of Arbitrary Order
• Title（参考訳）: 任意順序の相互作用を伴う最小複素モデルのベイズ推定
• Authors: Clélia de Mulatier, Matteo Marsili,
• Abstract要約: 最小複雑モデル (Minimally Complex Models, MCM) は、任意の高階の相互作用を最小の複雑さの独立したコンポーネントに分類した単純なモデルである。 MCMに制限されたベイズモデル選択は計算可能であり、多くの利点があることを示す。 MCMは任意の順序の相互作用を持つため、データに重要な高次依存関係が存在することを明らかにすることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Finding the model that best describes a high-dimensional dataset is a daunting task, even more so if one aims to consider all possible high-order patterns of the data, going beyond pairwise models. For binary data, we show that this task becomes feasible when restricting the search to a family of simple models, that we call Minimally Complex Models (MCMs). MCMs are maximum entropy models that have interactions of arbitrarily high order grouped into independent components of minimal complexity. They are simple in information-theoretic terms, which means they can only fit well certain types of data patterns and are therefore easy to falsify. We show that Bayesian model selection restricted to these models is computationally feasible and has many advantages. First, the model evidence, which balances goodness-of-fit against complexity, can be computed efficiently without any parameter fitting, enabling very fast explorations of the space of MCMs. Second, the family of MCMs is invariant under gauge transformations, which can be used to develop a representation-independent approach to statistical modeling. For small systems (up to 15 variables), combining these two results allows us to select the best MCM among all, even though the number of models is already extremely large. For larger systems, we propose simple heuristics to find optimal MCMs in reasonable times. Besides, inference and sampling can be performed without any computational effort. Finally, because MCMs have interactions of any order, they can reveal the presence of important high-order dependencies in the data, providing a new approach to explore high-order dependencies in complex systems. We apply our method to synthetic data and real-world examples, illustrating how MCMs portray the structure of dependencies among variables in a simple manner, extracting falsifiable predictions on symmetries and invariance from the data.
• Abstract（参考訳）: 高次元データセットを最もよく記述するモデルを見つけることは、さらに難しい作業であり、もし、ペアワイズモデルを超えて、データのすべての高次のパターンを考慮しようとするなら、さらに難しい作業である。 バイナリデータに対して、最小複素モデル (MCM) と呼ばれる単純なモデルの族に探索を制限することで、このタスクが実現可能であることを示す。 MCMは任意の高次相互作用を持つ最大エントロピーモデルであり、最小複雑性の独立成分にグループ化される。 情報理論の用語では単純で、特定のタイプのデータパターンにのみ適合し、ファルシフィケーションも容易である。 これらのモデルに制限されたベイズモデルの選択は、計算可能であり、多くの利点があることを示す。 第一に、モデルエビデンス(モデルエビデンス)は、良さと複雑性のバランスを保ち、パラメータフィッティングなしで効率的に計算することができ、MCMの空間を高速に探索することができる。 第二に、MCMの族はゲージ変換の下で不変であり、統計モデルへの表現非依存的なアプローチを開発するのに使うことができる。 小さなシステム(最大15変数)では、これらの2つの結果を組み合わせることで、モデル数がすでに非常に多いにもかかわらず、最も優れたMCMを選択することができます。 より大規模なシステムでは、適切な時間で最適なMCMを見つけるための単純なヒューリスティックスを提案する。 さらに、推論とサンプリングは計算の労力を使わずに行うことができる。 最後に、MCMは任意の順序の相互作用を持つため、データに重要な高階依存が存在することを明らかにすることができ、複雑なシステムにおける高階依存を探索するための新しいアプローチを提供する。 提案手法を合成データや実世界の実例に適用し,MCMが変数間の依存関係構造を簡易に表現し,データから対称性や不変性に関する不確実な予測を抽出する。

関連論文リスト

• Model aggregation: minimizing empirical variance outperforms minimizing empirical error [0.29008108937701327]
  多様なモデルからの予測を単一のより正確な出力に集約する,データ駆動型フレームワークを提案する。 モデルはブラックボックス関数として扱う、モデルに依存しない、最小限の仮定を必要とする、広範囲のモデルからの出力を組み合わせることができる。 従来の解法と機械学習モデルをうまく統合して、堅牢性と精度の両方を改善する方法を示す。
  論文  参考訳（メタデータ） (2024-09-25T18:33:21Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Model-Based RL for Mean-Field Games is not Statistically Harder than Single-Agent RL [57.745700271150454]
  モデルに基づく関数近似を用いた平均フィールドゲーム(MFG)における強化学習のサンプル複雑性について検討した。 本稿では、モデルクラスの複雑性を特徴付けるためのより効果的な概念である部分モデルベースエルダー次元(P-MBED)を紹介する。
  論文  参考訳（メタデータ） (2024-02-08T14:54:47Z)
• Representation Surgery for Multi-Task Model Merging [57.63643005215592]
  マルチタスク学習(MTL)は、複数のタスクから情報を統一されたバックボーンに圧縮し、計算効率と一般化を改善する。 最近の研究は、複数の独立して訓練されたモデルをマージして、共同トレーニングのために生データを収集する代わりにMLLを実行する。 既存のモデルマージスキームの表現分布を可視化することにより、マージモデルはしばしば表現バイアスのジレンマに悩まされる。
  論文  参考訳（メタデータ） (2024-02-05T03:39:39Z)
• Sample Complexity Characterization for Linear Contextual MDPs [67.79455646673762]
  文脈決定プロセス(CMDP)は、遷移カーネルと報酬関数がコンテキスト変数によってインデックス付けされた異なるMDPで時間とともに変化できる強化学習のクラスを記述する。 CMDPは、時間とともに変化する環境で多くの現実世界のアプリケーションをモデル化するための重要なフレームワークとして機能する。 CMDPを2つの線形関数近似モデルで検討する: 文脈変化表現とすべての文脈に対する共通線形重み付きモデルIと、すべての文脈に対する共通表現と文脈変化線形重み付きモデルIIである。
  論文  参考訳（メタデータ） (2024-02-05T03:25:04Z)
• Exact and general decoupled solutions of the LMC Multitask Gaussian Process model [28.32223907511862]
  コリージョン化線形モデル(英: Linear Model of Co- Regionalization、LMC)は、回帰や分類のためのマルチタスクガウス過程の非常に一般的なモデルである。 最近の研究によると、ある条件下では、モデルの潜在過程は切り離され、そのプロセスの数でのみ線形となる複雑さが生じる。 ここでは、これらの結果を拡張し、LCCの効率的な正確な計算に必要な条件はノイズモデルに関する軽度の仮説である、という最も一般的な仮定から示している。
  論文  参考訳（メタデータ） (2023-10-18T15:16:24Z)
• Bayesian Learning of Coupled Biogeochemical-Physical Models [28.269731698116257]
  海洋生態系の予測モデルは、様々なニーズに使われている。 希少な測定と海洋プロセスの理解が限られているため、かなりの不確実性がある。 候補モデルの空間での処理と新しいモデルの発見を可能にするベイズモデル学習手法を開発した。
  論文  参考訳（メタデータ） (2022-11-12T17:49:18Z)
• PAC Reinforcement Learning for Predictive State Representations [60.00237613646686]
  部分的に観察可能な力学系におけるオンライン強化学習(RL)について検討する。 我々は、他のよく知られたモデルをキャプチャする表現モデルである予測状態表現(PSR)モデルに焦点を当てる。 我々は,サンプル複雑性のスケーリングにおいて,ほぼ最適なポリシを学習可能な,PSRのための新しいモデルベースアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-07-12T17:57:17Z)
• Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
  この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。 言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
  論文  参考訳（メタデータ） (2022-01-08T00:47:50Z)
• Revisiting minimum description length complexity in overparameterized models [38.21167656112762]
  本稿では,線形モデルとカーネル手法に対するMDL-COMPの広範な理論的特性について述べる。 カーネル法では,MDL-COMPがサンプル内誤差を最小化し,入力の次元が増加するにつれて減少することを示す。 また、MDL-COMPがサンプル内平均二乗誤差(MSE)を束縛していることも証明する。
  論文  参考訳（メタデータ） (2020-06-17T22:45:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。