論文の概要: Message Passing Neural Processes
- arxiv url: http://arxiv.org/abs/2009.13895v1
- Date: Tue, 29 Sep 2020 09:40:09 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 05:09:45.697025
- Title: Message Passing Neural Processes
- Title(参考訳): メッセージパッシングニューラルプロセス
- Authors: Ben Day, C\u{a}t\u{a}lina Cangea, Arian R. Jamasb, Pietro Li\`o
- Abstract要約: 本稿では,モデル内の関係構造を明示的に利用するMPNP(Message Passing Neural Processs)を紹介する。
MPNPは、既存のベンチマークと新たに提案されたCAとCola-Branchedタスクに基づいて、より低いサンプリングレートで成長する。
本稿では、密度に基づくCAルールセットに対する強力な一般化と、任意のラベリングと数発の学習設定に挑戦する際の顕著な向上について報告する。
- 参考スコア(独自算出の注目度): 3.0969191504482247
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural Processes (NPs) are powerful and flexible models able to incorporate
uncertainty when representing stochastic processes, while maintaining a linear
time complexity. However, NPs produce a latent description by aggregating
independent representations of context points and lack the ability to exploit
relational information present in many datasets. This renders NPs ineffective
in settings where the stochastic process is primarily governed by neighbourhood
rules, such as cellular automata (CA), and limits performance for any task
where relational information remains unused. We address this shortcoming by
introducing Message Passing Neural Processes (MPNPs), the first class of NPs
that explicitly makes use of relational structure within the model. Our
evaluation shows that MPNPs thrive at lower sampling rates, on existing
benchmarks and newly-proposed CA and Cora-Branched tasks. We further report
strong generalisation over density-based CA rule-sets and significant gains in
challenging arbitrary-labelling and few-shot learning setups.
- Abstract(参考訳): ニューラルプロセス(NP)は、線形時間複雑性を維持しながら、確率過程を表現するときに不確実性を組み込むことができる強力で柔軟なモデルである。
しかし、NPはコンテキストポイントの独立表現を集約することで遅延記述を生成し、多くのデータセットに存在する関係情報を活用できない。
これにより、確率過程が主にセルラーオートマトン(CA)のような近隣の規則によって支配されるような設定ではNPは有効ではなく、関係情報が未使用のタスクでは性能が制限される。
我々は、モデル内の関係構造を明示的に活用するNPの最初のクラスである、MPNP(Message Passing Neural Processs)を導入することで、この欠点に対処する。
評価の結果,MPNPは,既存のベンチマークや新たに提案されたCAタスク,Cora-Branchedタスクで,サンプリングレートが低かった。
さらに,密度に基づくcaルールセットに対する強い一般化と,任意ラベリングおよび少数ショット学習設定への挑戦において有意な向上を報告した。
関連論文リスト
- NP-SemiSeg: When Neural Processes meet Semi-Supervised Semantic
Segmentation [87.50830107535533]
半教師付きセマンティックセグメンテーションでは、トレーニング時にピクセルワイズラベルをラベル付けされていない画像に割り当てる。
モデルによるクラスワイズ確率分布から各画素の擬似ラベルを予測し,半教師付きセマンティックセマンティックセマンティクスへのアプローチ
本研究では,NPを半教師付きセマンティックセグメンテーションに適応させることにより一歩前進し,NP-SemiSegと呼ばれる新しいモデルを実現する。
論文 参考訳(メタデータ) (2023-08-05T12:42:15Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳(メタデータ) (2023-05-30T19:37:44Z) - Deep Stochastic Processes via Functional Markov Transition Operators [59.55961312230447]
本稿では,ニューラルパラメータ化マルコフ遷移作用素の列を関数空間に重ねて構築した新しいプロセス群(SP)を紹介する。
これらのマルコフ遷移作用素は、SPの交換可能性と整合性を維持することができることを証明している。
論文 参考訳(メタデータ) (2023-05-24T21:15:23Z) - Versatile Neural Processes for Learning Implicit Neural Representations [57.090658265140384]
本稿では,近似関数の能力を大幅に向上させるVersatile Neural Processs (VNP)を提案する。
具体的には、より少ない情報的コンテキストトークンを生成するボトルネックエンコーダを導入し、高い計算コストを軽減した。
提案したVNPが1D, 2D, 3D信号を含む様々なタスクに対して有効であることを示す。
論文 参考訳(メタデータ) (2023-01-21T04:08:46Z) - Evidential Conditional Neural Processes [7.257751371276488]
条件付きニューラルプロセス(CNP)モデルは、数ショット問題に対処するための有望な方向を提供する。
現在のCNPモデルは、ターゲットデータポイント上での予測に対する全体的な不確実性のみをキャプチャする。
本稿では,CNPが使用する標準ガウス分布を置き換えたECNP(Evidential Conditional Neural Processs)を提案する。
論文 参考訳(メタデータ) (2022-11-30T21:50:55Z) - Latent Bottlenecked Attentive Neural Processes [71.18817592128207]
LBANP(Latent Bottlenecked Attentive Neural Processs)について
LBANPは、コンテキストデータポイントの数によらず、クエリ処理の複雑さを持つ。
LBANPは,メタ回帰,画像補完,コンテキスト的マルチアームバンディットに関する最先端技術と競合する結果が得られることを示す。
論文 参考訳(メタデータ) (2022-11-15T19:21:41Z) - Conditional Neural Processes for Molecules [0.0]
ニューラルプロセス(NPs)はガウス過程(GPs)に類似した特性を持つ伝達学習のモデルである
本稿では,MLモデルのベンチマークのためのドッキングスコアのデータセットであるDOCKSTRINGに対して,条件付きニューラルプロセス(CNP)を適用する。
CNPは、QSARモデリングに共通する教師付き学習ベースラインに対して、数ショットの学習タスクにおいて、競合する性能を示す。
論文 参考訳(メタデータ) (2022-10-17T16:10:12Z) - Neural Processes with Stochastic Attention: Paying more attention to the
context dataset [11.301294319986477]
ニューラルプロセス(NP)は、与えられたコンテキストデータセットに基づいて、目に見えないデータポイントを完成させることを目的としている。
本稿では,適切なコンテキスト情報を取得するために,NPに対する注意機構を提案する。
提案手法は様々な領域において従来のNPよりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2022-04-11T23:57:19Z) - Bootstrapping Neural Processes [114.97111530885093]
ニューラル・プロセス(NP)は、ニューラルネットワークを用いた幅広いプロセスのクラスを暗黙的に定義する。
NPは、プロセスの不確実性は単一の潜在変数によってモデル化されるという仮定に依存している。
本稿では,ブートストラップを用いたNPファミリーの新規拡張であるBoostrapping Neural Process (BNP)を提案する。
論文 参考訳(メタデータ) (2020-08-07T02:23:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。