論文の概要: On the Generalization and Adaption Performance of Causal Models

• arxiv url: http://arxiv.org/abs/2206.04620v1
• Date: Thu, 9 Jun 2022 17:12:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-10 12:43:09.377061
• Title: On the Generalization and Adaption Performance of Causal Models
• Title（参考訳）: 因果モデルの一般化と適応性能について
• Authors: Nino Scherrer, Anirudh Goyal, Stefan Bauer, Yoshua Bengio, Nan Rosemary Ke
• Abstract要約: 異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
• 参考スコア（独自算出の注目度）: 99.64022680811281
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning models that offer robust out-of-distribution generalization and fast adaptation is a key challenge in modern machine learning. Modelling causal structure into neural networks holds the promise to accomplish robust zero and few-shot adaptation. Recent advances in differentiable causal discovery have proposed to factorize the data generating process into a set of modules, i.e. one module for the conditional distribution of every variable where only causal parents are used as predictors. Such a modular decomposition of knowledge enables adaptation to distributions shifts by only updating a subset of parameters. In this work, we systematically study the generalization and adaption performance of such modular neural causal models by comparing it to monolithic models and structured models where the set of predictors is not constrained to causal parents. Our analysis shows that the modular neural causal models outperform other models on both zero and few-shot adaptation in low data regimes and offer robust generalization. We also found that the effects are more significant for sparser graphs as compared to denser graphs.
• Abstract（参考訳）: 堅牢な分散の一般化と迅速な適応を提供する学習モデルは、現代の機械学習において重要な課題である。 ニューラルネットワークに因果構造をモデル化することは、堅牢なゼロと少数ショット適応を達成するという約束を果たす。 様々な因果発見の最近の進歩は、データ生成プロセスを一連のモジュール、すなわち、因果親のみが予測子として使用される全ての変数の条件分布のための1つのモジュールに分解することを提案した。 このような知識のモジュラー分解は、パラメータのサブセットを更新するだけで、分布シフトへの適応を可能にする。 本研究では,モジュール型神経因果モデルの一般化と適応性能を,予測器の集合が因果親に拘束されないモノリシックモデルや構造化モデルと比較し,体系的に検討する。 分析の結果,モジュール型ニューラルネットワーク因果モデルは,低データ領域におけるゼロショットと少数ショットの両方の適応モデルよりも優れており,ロバストな一般化が得られている。 また, スパルサーグラフに対する効果は, 密度の高いグラフと比較して有意であることがわかった。

関連論文リスト

• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
  予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。 本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。 提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2022-12-09T03:58:22Z)
• Hypothesis Testing using Causal and Causal Variational Generative Models [0.0]
  Causal GenとCausal Variational Genは、非パラメトリックな構造因果知識とディープラーニング機能近似を併用することができる。 我々は、意図的な(非ランダムな)トレーニングとテストデータの分割を用いて、これらのモデルが、類似の、しかし分布外のデータポイントよりも一般化できることを示します。 本手法は, 人工振り子データセット, 外傷手術用地上レベル落下データセットを用いて検証した。
  論文  参考訳（メタデータ） (2022-10-20T13:46:15Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Deep Generative Modeling on Limited Data with Regularization by Nontransferable Pre-trained Models [32.52492468276371]
  本稿では,限られたデータを用いた生成モデルの分散を低減するために,正規化深層生成モデル(Reg-DGM)を提案する。 Reg-DGMは、ある発散の重み付け和とエネルギー関数の期待を最適化するために、事前訓練されたモデルを使用する。 実験的に、様々な事前訓練された特徴抽出器とデータ依存エネルギー関数により、Reg-DGMはデータ制限のある強力なDGMの生成性能を一貫して改善する。
  論文  参考訳（メタデータ） (2022-08-30T10:28:50Z)
• Unifying Epidemic Models with Mixtures [28.771032745045428]
  新型コロナウイルスのパンデミックは、感染モデルに対する強固な理解の必要性を強調している。 本稿では2つのアプローチをブリッジする単純な混合モデルを提案する。 モデルは非機械的であるが、ネットワーク化されたSIRフレームワークに基づくプロセスの自然な結果として現れることを示す。
  論文  参考訳（メタデータ） (2022-01-07T19:42:05Z)
• Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
  武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。 これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。 従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
  論文  参考訳（メタデータ） (2020-12-17T15:19:29Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)
• Amortized learning of neural causal representations [10.140457813764554]
  因果モデルでは、すべての介入の下でデータ生成プロセスをコンパクトかつ効率的に符号化することができる。 これらのモデルは、しばしばベイズ的ネットワークとして表現され、変数の数に劣るスケールを学習する。 ニューラルネットワークを用いた因果モデル学習のための,テキスト因果関係ネットワーク(CRN)と呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-21T04:35:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。