論文の概要: Mixtures of All Trees

• arxiv url: http://arxiv.org/abs/2302.14202v1
• Date: Mon, 27 Feb 2023 23:37:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-01 18:42:27.544326
• Title: Mixtures of All Trees
• Title（参考訳）: すべての木の混合物
• Authors: Nikil Roashan Selvam, Honghua Zhang, Guy Van den Broeck
• Abstract要約: 我々は、すべての木の混合と呼ばれる新しい生成モデルのクラスを提案し、すなわち、$n$変数上のすべての可能な(nn-2$)木形のグラフィカルモデルに混合する。 我々は,この混合木モデル(MoAT)をコンパクトにパラメータ化することで,勾配勾配勾配による抽出可能な可能性と最適化を可能にすることを示す。
• 参考スコア（独自算出の注目度）: 28.972995038976745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tree-shaped graphical models are widely used for their tractability. However, they unfortunately lack expressive power as they require committing to a particular sparse dependency structure. We propose a novel class of generative models called mixtures of all trees: that is, a mixture over all possible ($n^{n-2}$) tree-shaped graphical models over $n$ variables. We show that it is possible to parameterize this Mixture of All Trees (MoAT) model compactly (using a polynomial-size representation) in a way that allows for tractable likelihood computation and optimization via stochastic gradient descent. Furthermore, by leveraging the tractability of tree-shaped models, we devise fast-converging conditional sampling algorithms for approximate inference, even though our theoretical analysis suggests that exact computation of marginals in the MoAT model is NP-hard. Empirically, MoAT achieves state-of-the-art performance on density estimation benchmarks when compared against powerful probabilistic models including hidden Chow-Liu Trees.
• Abstract（参考訳）: 木型のグラフィカルモデルは、そのトラクタビリティのために広く利用されている。 しかし、特定の疎結合構造にコミットする必要があるため、残念ながら表現力がない。 我々は、すべての木々の混合と呼ばれる新しい生成モデルのクラスを提案する:すなわち、すべての可能な(n^{n-2}$)木型のグラフィカルモデルと、$n$変数の混合である。 本論文では,すべての木(moat)モデルの混合を(多項式サイズの表現を用いて)コンパクトにパラメータ化できることを示し,確率的勾配降下による可搬可能性計算と最適化を可能にする。 さらに,木形モデルのトラクタビリティを活用することで,理論解析により,MoATモデルにおける限界の正確な計算がNPハードであることを示唆するにもかかわらず,高速収束条件付きサンプリングアルゴリズムを考案した。 実証的に、MoATは、隠れたChow-Liuツリーを含む強力な確率モデルと比較した場合、密度推定ベンチマークの最先端のパフォーマンスを達成する。

関連論文リスト

• Conditional Density Estimation with Histogram Trees [3.5297361401370044]
  条件密度推定(CDE)は、完全な条件分布をモデル化することによって回帰を超える。 現在の手法ではカーネルに基づくアプローチが一般的であり、カーネル密度推定や線形モデルの基底関数としてカーネル関数を直接使用する。 本研究では,各葉がヒストグラムモデルによって形成される決定木からなる完全非パラメータモデルである条件密度木(CDTree)を提案する。
  論文  参考訳（メタデータ） (2024-10-15T09:53:24Z)
• On marginal feature attributions of tree-based models [0.11184789007828977]
  辺縁的なシャプリー、オーウェンまたはバンジャフの値など、辺縁的な期待に基づく局所的な特徴属性を用いることができる。 パス依存(path-dependent)のTreeSHAPが特徴のランク付けを行うのと全く同じ関数を計算する2つの(統計的に類似した)決定木を提示する。 我々は、CataBoostモデルの余剰Shapley(およびBanzhafとOwen)値についてのみ、複雑さを改善し、内部モデルパラメータの観点からのみ、明示的な式を導出するために対称性を利用する。
  論文  参考訳（メタデータ） (2023-02-16T17:18:03Z)
• Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
  この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。 言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
  論文  参考訳（メタデータ） (2022-01-08T00:47:50Z)
• Efficient Large Scale Language Modeling with Mixtures of Experts [61.45159383372181]
  エキスパート層(MoE)の混合により、条件付き計算による言語モデルの効率的なスケーリングが可能になる。 本稿では, 自己回帰型 MoE 言語モデルが, 広範囲な環境下での高密度モデルと比較して, どのようにスケールするかを示す実験的検討を行った。
  論文  参考訳（メタデータ） (2021-12-20T17:05:11Z)
• A cautionary tale on fitting decision trees to data from additive models: generalization lower bounds [9.546094657606178]
  本研究では,異なる回帰モデルに対する決定木の一般化性能について検討する。 これにより、アルゴリズムが新しいデータに一般化するために(あるいは作らない)仮定する帰納的バイアスが引き起こされる。 スパース加法モデルに適合する大規模な決定木アルゴリズムに対して、シャープな2乗誤差一般化を低い境界で証明する。
  論文  参考訳（メタデータ） (2021-10-18T21:22:40Z)
• Decentralized Learning of Tree-Structured Gaussian Graphical Models from Noisy Data [1.52292571922932]
  本稿では,木構造ガウス図形モデル(GGM)の雑音データからの分散学習について検討する。 GGMは遺伝子制御ネットワークやソーシャルネットワークのような複雑なネットワークをモデル化するために広く利用されている。 提案した分散学習では,木構造GGMの推定にChow-Liuアルゴリズムを用いる。
  論文  参考訳（メタデータ） (2021-09-22T10:41:18Z)
• SGA: A Robust Algorithm for Partial Recovery of Tree-Structured Graphical Models with Noisy Samples [75.32013242448151]
  ノードからの観測が独立しているが非識別的に分散ノイズによって破損した場合、Ising Treeモデルの学習を検討する。 Katiyarら。 (2020) は, 正確な木構造は復元できないが, 部分木構造を復元できることを示した。 統計的に堅牢な部分木回復アルゴリズムであるSymmetrized Geometric Averaging(SGA)を提案する。
  論文  参考訳（メタデータ） (2021-01-22T01:57:35Z)
• Probabilistic Circuits for Variational Inference in Discrete Graphical Models [101.28528515775842]
  変分法による離散的グラフィカルモデルの推論は困難である。 エビデンス・ロウアーバウンド(ELBO)を推定するためのサンプリングに基づく多くの手法が提案されている。 Sum Product Networks (SPN) のような確率的回路モデルのトラクタビリティを活用する新しい手法を提案する。 選択的SPNが表現的変動分布として適していることを示し、対象モデルの対数密度が重み付けされた場合、対応するELBOを解析的に計算可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-22T05:04:38Z)
• Tree-AMP: Compositional Inference with Tree Approximate Message Passing [23.509275850721778]
  Tree-AMPは高次元木構造モデルにおける合成推論のためのピソンパッケージである。 このパッケージは、いくつかの近似メッセージパッシングアルゴリズムを研究するための統一フレームワークを提供する。
  論文  参考訳（メタデータ） (2020-04-03T13:51:10Z)
• Learning Gaussian Graphical Models via Multiplicative Weights [54.252053139374205]
  乗算重み更新法に基づいて,Klivans と Meka のアルゴリズムを適用した。 アルゴリズムは、文献の他のものと質的に類似したサンプル複雑性境界を楽しみます。 ランタイムが低い$O(mp2)$で、$m$サンプルと$p$ノードの場合には、簡単にオンライン形式で実装できる。
  論文  参考訳（メタデータ） (2020-02-20T10:50:58Z)
• On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
  log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。 異なる家族間でのモデルランキングの相関はみられない。
  論文  参考訳（メタデータ） (2020-02-17T20:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。