論文の概要: Practical Equivariances via Relational Conditional Neural Processes

• arxiv url: http://arxiv.org/abs/2306.10915v1
• Date: Mon, 19 Jun 2023 13:27:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 17:46:43.348301
• Title: Practical Equivariances via Relational Conditional Neural Processes
• Title（参考訳）: 関係条件付きニューラルプロセスによる実用的等分散
• Authors: Daolang Huang, Manuel Haussmann, Ulpu Remes, ST John, Gr\'egoire Clart\'e, Kevin Sebastian Luck, Samuel Kaski, Luigi Acerbi
• Abstract要約: Conditional Neural Processs (CNP) は、一般的な機械学習モデルのクラスである。 我々は,任意のニューラルプロセスモデルに等価性を組み込む効果的なアプローチであるRCNPを提案する。
• 参考スコア（独自算出の注目度）: 17.734958201108235
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conditional Neural Processes (CNPs) are a class of metalearning models popular for combining the runtime efficiency of amortized inference with reliable uncertainty quantification. Many relevant machine learning tasks, such as spatio-temporal modeling, Bayesian Optimization and continuous control, contain equivariances -- for example to translation -- which the model can exploit for maximal performance. However, prior attempts to include equivariances in CNPs do not scale effectively beyond two input dimensions. In this work, we propose Relational Conditional Neural Processes (RCNPs), an effective approach to incorporate equivariances into any neural process model. Our proposed method extends the applicability and impact of equivariant neural processes to higher dimensions. We empirically demonstrate the competitive performance of RCNPs on a large array of tasks naturally containing equivariances.
• Abstract（参考訳）: 条件付きニューラル・プロセス(CNP)は、償却推論の実行効率と確実な不確実性定量化を組み合わせたメタラーニングモデルである。 時空間モデリング、ベイズ最適化、連続制御など、関連する機械学習タスクの多くは、モデルが最大限のパフォーマンスを活用できる同分散を含む。 しかし、CNPに等価性を含む以前の試みは、2つの入力次元を超えて効果的にスケールしない。 本研究では,任意のニューラルプロセスモデルに等価性を導入するための効果的な手法であるrelational conditional neural process (rcnps)を提案する。 提案手法は、同変ニューラルプロセスの適用性と影響を高次元に拡張する。 本研究では,自然に同値を含むタスク列上でのRCNPの競合性能を実証的に実証する。

関連論文リスト

• Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
  本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。 提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
  論文  参考訳（メタデータ） (2024-05-07T17:44:54Z)
• Spectral Convolutional Conditional Neural Processes [4.52069311861025]
  条件付きニューラルプロセス(CNP)は、プロセスのパラメータ化にニューラルネットワークの柔軟性を利用する確率モデルの一群である。 本稿では、周波数領域における関数のより効率的な表現を可能にするNPsファミリーに新たに追加されたスペクトル畳み込み条件ニューラルネットワーク(SConvCNPs)を提案する。
  論文  参考訳（メタデータ） (2024-04-19T21:13:18Z)
• kNN Algorithm for Conditional Mean and Variance Estimation with Automated Uncertainty Quantification and Variable Selection [8.429136647141487]
  我々は従来の非パラメトリックkNNモデルのスケーラビリティと適応性を相乗化するkNNベースの回帰手法を提案する。 本手法は,確率応答変数の条件平均と分散を正確に推定することに焦点を当てる。 2つのケーススタディで示されているように、特に生体医学的応用において顕著である。
  論文  参考訳（メタデータ） (2024-02-02T18:54:18Z)
• Online Variational Sequential Monte Carlo [49.97673761305336]
  我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。 オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
  論文  参考訳（メタデータ） (2023-12-19T21:45:38Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• Multi-fidelity Hierarchical Neural Processes [79.0284780825048]
  多要素代理モデリングは、異なるシミュレーション出力を融合させることで計算コストを削減する。 本稿では,多階層型階層型ニューラルネットワーク(MF-HNP)を提案する。 疫学および気候モデリングタスクにおけるMF-HNPの評価を行い、精度と不確実性評価の観点から競合性能を達成した。
  論文  参考訳（メタデータ） (2022-06-10T04:54:13Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• Efficient Gaussian Neural Processes for Regression [7.149677544861951]
  条件付きニューラルプロセス(CNP)は、よく校正された予測を生成し、テスト時に高速な推論を可能にし、単純な最大精度手順でトレーニングできる。 CNPの制限は、出力の依存性をモデル化できないことである。 出力依存をモデル化する別の方法を提案する。
  論文  参考訳（メタデータ） (2021-08-22T09:31:50Z)
• Collaborative Nonstationary Multivariate Gaussian Process Model [2.362467745272567]
  我々は、協調非定常ガウス過程モデル(CNMGP)と呼ばれる新しいモデルを提案する。 CNMGPは、出力が共通の入力セットを共有していないデータを、入力と出力のサイズに依存しない計算複雑性でモデル化することができる。 また,本モデルでは,出力毎に異なる時間変化相関を推定し,予測性能の向上を図っている。
  論文  参考訳（メタデータ） (2021-06-01T18:25:22Z)
• Meta-Learning Stationary Stochastic Process Prediction with Convolutional Neural Processes [32.02612871707347]
  提案するConvNPは,ニューラルプロセス(NP)に翻訳等価性を付与し,畳み込み条件NPを拡張して予測分布への依存性を許容する。 本研究では,1DにおけるConvNPの強い性能と一般化能力,回帰画像補完,実時間データを用いた各種タスクについて述べる。
  論文  参考訳（メタデータ） (2020-07-02T18:25:27Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。