論文の概要: Bridge the Inference Gaps of Neural Processes via Expectation Maximization

• arxiv url: http://arxiv.org/abs/2501.03264v1
• Date: Sat, 04 Jan 2025 03:28:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 15:51:02.900047
• Title: Bridge the Inference Gaps of Neural Processes via Expectation Maximization
• Title（参考訳）: 予測最大化によるニューラルネットワークの推論ギャップのブリッジ
• Authors: Qi Wang, Marco Federici, Herke van Hoof,
• Abstract要約: ニューラルプロセス (NP) は関数上の分布を学習するための計算効率の良いモデルのファミリーである。 本稿では,期待フレームワーク内でのメタデータセットのログライクなターゲットのサロゲート目的を提案する。 結果のモデルは、自己正規化重み付きニューラルネットワーク(SI-NP)と呼ばれ、より正確な機能前処理を学習することができる。
• 参考スコア（独自算出の注目度）: 27.92039393053804
• License:
• Abstract: The neural process (NP) is a family of computationally efficient models for learning distributions over functions. However, it suffers from under-fitting and shows suboptimal performance in practice. Researchers have primarily focused on incorporating diverse structural inductive biases, \textit{e.g.} attention or convolution, in modeling. The topic of inference suboptimality and an analysis of the NP from the optimization objective perspective has hardly been studied in earlier work. To fix this issue, we propose a surrogate objective of the target log-likelihood of the meta dataset within the expectation maximization framework. The resulting model, referred to as the Self-normalized Importance weighted Neural Process (SI-NP), can learn a more accurate functional prior and has an improvement guarantee concerning the target log-likelihood. Experimental results show the competitive performance of SI-NP over other NPs objectives and illustrate that structural inductive biases, such as attention modules, can also augment our method to achieve SOTA performance. Our code is available at \url{https://github.com/hhq123gogogo/SI_NPs}.
• Abstract（参考訳）: ニューラルプロセス (NP) は関数上の分布を学習するための計算効率の良いモデルのファミリーである。 しかし、不適合に悩まされ、実際は準最適性能を示す。 研究者は主に、様々な構造的帰納バイアス、 \textit{e g } の注意または畳み込みをモデリングに取り入れることに注力してきた。 最適化目的の観点からの推論の亜最適性やNPの分析は、初期の研究ではほとんど研究されていない。 この問題を解決するために,期待最大化フレームワーク内でのメタデータセットのターゲットログ類似化の代理目的を提案する。 結果として得られたモデルは、SI-NP(Self-normalized Importance weighted Neural Process)と呼ばれ、より正確な機能前処理を学習でき、ターゲットのログライクな状態に関する改善保証を持つ。 実験の結果,他のNPに対するSI-NPの競合性能が示され,アテンションモジュールなどの構造的帰納バイアスがSOTA性能を向上する可能性も示された。 私たちのコードは \url{https://github.com/hhq123gogogo/SI_NPs} で利用可能です。

関連論文リスト

• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Autoregressive Conditional Neural Processes [20.587835119831595]
  条件付きニューラルプロセス(CNP)は魅力的なメタラーニングモデルである。 それらはよく校正された予測を生成し、単純な最大極大手順で訓練することができる。 CNPは、予測において依存関係をモデル化できない。 我々は、モデルやトレーニング手順を変更することなく、テスト時にCNPをどのように展開するかを変更することを提案する。
  論文  参考訳（メタデータ） (2023-03-25T13:34:12Z)
• Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
  本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。 具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。 提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-01-21T04:08:46Z)
• MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
  本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。 機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。 本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
  論文  参考訳（メタデータ） (2022-10-24T15:14:26Z)
• Transformer Neural Processes: Uncertainty-Aware Meta Learning Via Sequence Modeling [26.377099481072992]
  本稿では,不確実性を考慮したメタ学習のためのトランスフォーマーニューラルプロセス(TNP)を提案する。 我々は自己回帰的可能性に基づく目的を通してTNPを学習し、それを新しいトランスフォーマーベースのアーキテクチャでインスタンス化する。 我々は,TNPが様々なベンチマーク問題に対して最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2022-07-09T02:28:58Z)
• RoMA: Robust Model Adaptation for Offline Model-based Optimization [115.02677045518692]
  入力出力クエリの静的データセットからブラックボックス目的関数を最大化する入力を探索する問題を考える。 この問題を解決するための一般的なアプローチは、真の客観的関数を近似するプロキシモデルを維持することである。 ここでの大きな課題は、検索中に逆最適化された入力を避ける方法である。
  論文  参考訳（メタデータ） (2021-10-27T05:37:12Z)
• Approximate Bayesian Optimisation for Neural Networks [6.921210544516486]
  モデル選択の重要性を強調するために、機械学習アルゴリズムを自動化するための一連の作業が行われた。 理想主義的な方法で解析的トラクタビリティと計算可能性を解決する必要性は、効率と適用性を確保することを可能にしている。
  論文  参考訳（メタデータ） (2021-08-27T19:03:32Z)
• Efficient Gaussian Neural Processes for Regression [7.149677544861951]
  条件付きニューラルプロセス(CNP)は、よく校正された予測を生成し、テスト時に高速な推論を可能にし、単純な最大精度手順でトレーニングできる。 CNPの制限は、出力の依存性をモデル化できないことである。 出力依存をモデル化する別の方法を提案する。
  論文  参考訳（メタデータ） (2021-08-22T09:31:50Z)
• The Gaussian Neural Process [39.81327564209865]
  条件付きNPのトレーニングに使用される標準最大形目的の厳密な分析を行う。 本稿では, 予測相関をモデル化し, 翻訳を取り入れ, 普遍的近似保証を提供し, 促進性能を示すニューラルプロセスファミリー (gnp) の新しいメンバーを提案する。
  論文  参考訳（メタデータ） (2021-01-10T19:15:27Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。