論文の概要: Reconstruction of Pairwise Interactions using Energy-Based Models
- arxiv url: http://arxiv.org/abs/2012.06625v1
- Date: Fri, 11 Dec 2020 20:15:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-11 02:49:56.249140
- Title: Reconstruction of Pairwise Interactions using Energy-Based Models
- Title（参考訳）: エネルギーモデルを用いたペアワイズインタラクションの再構築
- Authors: Christoph Feinauer, Carlo Lucibello
- Abstract要約: ペアワイズモデルとニューラルネットワークを組み合わせたハイブリッドモデルは,ペアワイズインタラクションの再構築において有意な改善をもたらす可能性があることを示す。
これは、単純な解釈可能なモデルと複雑なブラックボックスモデルが必ずしも二分法ではないという一般的な考え方と一致している。
- 参考スコア（独自算出の注目度）: 3.553493344868414
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pairwise models like the Ising model or the generalized Potts model have
found many successful applications in fields like physics, biology, and
economics. Closely connected is the problem of inverse statistical mechanics,
where the goal is to infer the parameters of such models given observed data.
An open problem in this field is the question of how to train these models in
the case where the data contain additional higher-order interactions that are
not present in the pairwise model. In this work, we propose an approach based
on Energy-Based Models and pseudolikelihood maximization to address these
complications: we show that hybrid models, which combine a pairwise model and a
neural network, can lead to significant improvements in the reconstruction of
pairwise interactions. We show these improvements to hold consistently when
compared to a standard approach using only the pairwise model and to an
approach using only a neural network. This is in line with the general idea
that simple interpretable models and complex black-box models are not
necessarily a dichotomy: interpolating these two classes of models can allow to
keep some advantages of both.
- Abstract（参考訳）: イジングモデルや一般化ポッツモデルのようなペアワイズモデルでは、物理学、生物学、経済学といった分野で多くの応用が成功している。
近接連結は逆統計力学の問題であり、観測されたデータからそのようなモデルのパラメータを推測することが目的である。
この分野でのオープンな問題は、データがペアワイズモデルに存在しない追加の高次相互作用を含む場合、これらのモデルをどうトレーニングするかという問題である。
本研究では,エネルギーベースモデルと擬似的類似度を最大化してこれらの問題に対処するアプローチを提案する。 ハイブリッドモデルとペアワイズモデルとニューラルネットワークを組み合わせることで,ペアワイズインタラクションの再構築において,大幅な改善がもたらされることを示す。
これらの改善は、ペアワイズモデルのみを用いた標準的なアプローチや、ニューラルネットワークのみを用いたアプローチと比較して、一貫して維持することを示す。
これは、単純な解釈可能なモデルと複雑なブラックボックスモデルが必ずしも二分法であるとは限らないという一般的な考え方と一致している。
関連論文リスト
- Learnable & Interpretable Model Combination in Dynamic Systems Modeling [0.0]
我々は、通常、どのモデルが組み合わされるかについて議論し、様々な混合方程式に基づくモデルを表現することができるモデルインターフェースを提案する。
本稿では,2つの組み合わせモデル間の汎用的な接続を,容易に解釈可能な方法で記述できる新しいワイルドカードトポロジーを提案する。
本稿では、2つのモデル間の異なる接続トポロジを学習し、解釈し、比較する。
論文 参考訳（メタデータ） (2024-06-12T11:17:11Z) - EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。
EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
論文 参考訳（メタデータ） (2024-05-23T05:25:45Z) - Inferring effective couplings with Restricted Boltzmann Machines [3.150368120416908]
生成モデルは、ニューラルネットワークの形でエネルギー関数に関連するボルツマン重みのレベルで観測された相関を符号化しようとする。
制限ボルツマンマシンと有効イジングスピンハミルトニアンとの直接写像を実装した解を提案する。
論文 参考訳（メタデータ） (2023-09-05T14:55:09Z) - Understanding Parameter Sharing in Transformers [53.75988363281843]
トランスフォーマーに関するこれまでの研究は、異なるレイヤでパラメータを共有することに集中しており、モデルの深さを増大させることで、限られたパラメータを持つモデルの性能を向上させることができる。
このアプローチの成功は, モデル複雑性の増加により, ごく一部に過ぎず, 収束性の向上に大きく寄与することを示す。
8つの機械翻訳タスクの実験結果から,パラメータ共有モデルのモデル複雑性を半分に抑えて,我々のモデルが競合性能を達成することが示された。
論文 参考訳（メタデータ） (2023-06-15T10:48:59Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z) - Copulaboost: additive modeling with copula-based model components [0.0]
本稿では,ペアコプラ構造に基づくモデル成分を用いた一般化加法モデルを提案する。
提案手法は,他の手法よりも優れている,あるいは同等の予測性能を有することを示す。
論文 参考訳（メタデータ） (2022-08-09T11:24:57Z) - Model-agnostic multi-objective approach for the evolutionary discovery
of mathematical models [55.41644538483948]
現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。
合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
論文 参考訳（メタデータ） (2021-07-07T11:17:09Z) - Towards a Better Understanding of Linear Models for Recommendation [28.422943262159933]
2つの基本回帰および行列分解法に対する閉形式解の導出と解析を行う。
閉形式解に対するパラメータ(ハイパーパラメータ)の探索に新しい学習アルゴリズムを導入する。
実験の結果、基本モデルとその閉形式解は、確かに最先端モデルと非常に競合することを示した。
論文 参考訳（メタデータ） (2021-05-27T04:17:04Z) - A Twin Neural Model for Uplift [59.38563723706796]
Upliftは条件付き治療効果モデリングの特定のケースです。
相対リスクのベイズ解釈との関連性を利用して定義した新たな損失関数を提案する。
本提案手法は,シミュレーション設定の最先端と大規模ランダム化実験による実データとの競合性を示す。
論文 参考訳（メタデータ） (2021-05-11T16:02:39Z) - When Ensembling Smaller Models is More Efficient than Single Large
Models [52.38997176317532]
アンサンブルは高い精度で単一モデルより優れており、計算に要する総FLOPは少ない。
これは、アンサンブルの出力の多様性がより大きなモデルを訓練するよりも効率的であることを示す興味深い観察結果である。
論文 参考訳（メタデータ） (2020-05-01T18:56:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。