論文の概要: Convolutional Conditional Neural Processes

• arxiv url: http://arxiv.org/abs/2408.09583v1
• Date: Sun, 18 Aug 2024 19:53:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 18:14:03.973599
• Title: Convolutional Conditional Neural Processes
• Title（参考訳）: 畳み込み条件ニューラルプロセス
• Authors: Wessel P. Bruinsma,
• Abstract要約: この理論は神経過程を3つの方法で前進させる。 ConvNPは、変換分散と呼ばれる対称性で構築することで、データ効率を向上させる。 GNPは神経過程の予測において依存関係を直接パラメライズする。 AR CNPは、モデルやトレーニング手順を変更することなく、ニューラルネットワークをトレーニングし、テスト時には、自己回帰的な方法でモデルをロールアウトする。
• 参考スコア（独自算出の注目度）: 6.532867867011488
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural processes are a family of models which use neural networks to directly parametrise a map from data sets to predictions. Directly parametrising this map enables the use of expressive neural networks in small-data problems where neural networks would traditionally overfit. Neural processes can produce well-calibrated uncertainties, effectively deal with missing data, and are simple to train. These properties make this family of models appealing for a breadth of applications areas, such as healthcare or environmental sciences. This thesis advances neural processes in three ways. First, we propose convolutional neural processes (ConvNPs). ConvNPs improve data efficiency of neural processes by building in a symmetry called translation equivariance. ConvNPs rely on convolutional neural networks rather than multi-layer perceptrons. Second, we propose Gaussian neural processes (GNPs). GNPs directly parametrise dependencies in the predictions of a neural process. Current approaches to modelling dependencies in the predictions depend on a latent variable, which consequently requires approximate inference, undermining the simplicity of the approach. Third, we propose autoregressive conditional neural processes (AR CNPs). AR CNPs train a neural process without any modifications to the model or training procedure and, at test time, roll out the model in an autoregressive fashion. AR CNPs equip the neural process framework with a new knob where modelling complexity and computational expense at training time can be traded for computational expense at test time. In addition to methodological advancements, this thesis also proposes a software abstraction that enables a compositional approach to implementing neural processes. This approach allows the user to rapidly explore the space of neural process models by putting together elementary building blocks in different ways.
• Abstract（参考訳）: ニューラルプロセスは、データセットから予測へのマップを直接パラメータ化するためにニューラルネットワークを使用するモデルのファミリーである。 このマップを直接パラメトリすることで、ニューラルネットワークが伝統的に過度に適合する小さなデータ問題において、表現型ニューラルネットワークの使用が可能になる。 ニューラルプロセスは、よく校正された不確実性を生成し、効果的に欠落したデータを扱うことができ、訓練も簡単である。 これらの特性は、医療や環境科学といった応用分野の幅広い分野にアピールするモデルである。 この理論は神経過程を3つの方法で前進させる。 まず,畳み込みニューラルプロセス(ConvNP)を提案する。 ConvNPは、翻訳等価性と呼ばれる対称性を構築することにより、ニューラルプロセスのデータ効率を向上させる。 ConvNPは多層パーセプトロンではなく畳み込みニューラルネットワークに依存している。 次に,ガウスニューラルプロセス(GNP)を提案する。 GNPは神経過程の予測において依存関係を直接パラメライズする。 予測における依存関係のモデリングに対する現在のアプローチは、従って近似推論を必要とする潜伏変数に依存し、アプローチの単純さを損なう。 第3に,自己回帰型条件付きニューラルプロセス(AR CNP)を提案する。 AR CNPは、モデルやトレーニング手順を変更することなく、ニューラルネットワークをトレーニングし、テスト時には、自己回帰的な方法でモデルをロールアウトする。 AR CNPはニューラルプロセスフレームワークに新しいノブを装備し、トレーニング時に複雑性と計算コストをモデル化し、テスト時に計算コストと交換することができる。 方法論的な進歩に加えて、この論文は、ニューラルプロセスを実装するための構成的アプローチを可能にするソフトウェア抽象化も提案している。 このアプローチにより、ユーザーは基本的なビルディングブロックを異なる方法で組み立てることで、ニューラルネットワークモデルの空間を迅速に探索することができる。

関連論文リスト

• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Autoregressive Conditional Neural Processes [20.587835119831595]
  条件付きニューラルプロセス(CNP)は魅力的なメタラーニングモデルである。 それらはよく校正された予測を生成し、単純な最大極大手順で訓練することができる。 CNPは、予測において依存関係をモデル化できない。 我々は、モデルやトレーニング手順を変更することなく、テスト時にCNPをどのように展開するかを変更することを提案する。
  論文  参考訳（メタデータ） (2023-03-25T13:34:12Z)
• Permutation Equivariant Neural Functionals [92.0667671999604]
  この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。 隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。 実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
  論文  参考訳（メタデータ） (2023-02-27T18:52:38Z)
• Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
  本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。 具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。 提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-01-21T04:08:46Z)
• Efficient, probabilistic analysis of combinatorial neural codes [0.0]
  ニューラルネットワークは、個々のニューロンの活動の組み合わせの形で入力を符号化する。 これらのニューラルネットワークは、その高次元性としばしば大量のデータのため、計算上の課題を示す。 従来の手法を小さな例に適用し,実験によって生成された大きなニューラルコードに適用する。
  論文  参考訳（メタデータ） (2022-10-19T11:58:26Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Dynamic Neural Diversification: Path to Computationally Sustainable Neural Networks [68.8204255655161]
  訓練可能なパラメータが制限された小さなニューラルネットワークは、多くの単純なタスクに対してリソース効率の高い候補となる。 学習過程において隠れた層内のニューロンの多様性を探索する。 ニューロンの多様性がモデルの予測にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2021-09-20T15:12:16Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Self-supervised Representation Learning for Evolutionary Neural Architecture Search [9.038625856798227]
  最近提案されたニューラルアーキテクチャサーチ(NAS)アルゴリズムは、アーキテクチャサーチを高速化するためにニューラル予測器を採用している。 少量のトレーニングデータを用いて予測精度の高いニューラル予測器を得る方法は、ニューラル予測器に基づくNASの中心的な問題である。 ニューラルネットワークを組み込んだアーキテクチャを事前学習するための2つの自己教師型学習手法を考案した。 NASBench-101とNASBench201のベンチマークで、事前学習したニューラル予測器と進化的NASアルゴリズムを統合する際に、最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-10-31T04:57:16Z)
• Factorized Neural Processes for Neural Processes: $K$-Shot Prediction of Neural Responses [9.792408261365043]
  我々は,小さな刺激応答対からニューロンのチューニング関数を推定するファクトリズ・ニューラル・プロセスを開発した。 本稿では,ニューラルプロセスからの予測および再構成された受容場が,試行数の増加とともに真理に近づいたことをシミュレートした応答を示す。 この新しいディープラーニングシステム識別フレームワークは、ニューラルネットワークモデリングを神経科学実験にリアルタイムに組み込むのに役立つと信じている。
  論文  参考訳（メタデータ） (2020-10-22T15:43:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。