論文の概要: Inducing Gaussian Process Networks

• arxiv url: http://arxiv.org/abs/2204.09889v1
• Date: Thu, 21 Apr 2022 05:27:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-22 22:58:09.771351
• Title: Inducing Gaussian Process Networks
• Title（参考訳）: ガウス過程ネットワークの誘導
• Authors: Alessandro Tibo and Thomas Dyhre Nielsen
• Abstract要約: 本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
• 参考スコア（独自算出の注目度）: 80.40892394020797
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Gaussian processes (GPs) are powerful but computationally expensive machine learning models, requiring an estimate of the kernel covariance matrix for every prediction. In large and complex domains, such as graphs, sets, or images, the choice of suitable kernel can also be non-trivial to determine, providing an additional obstacle to the learning task. Over the last decade, these challenges have resulted in significant advances being made in terms of scalability and expressivity, exemplified by, e.g., the use of inducing points and neural network kernel approximations. In this paper, we propose inducing Gaussian process networks (IGN), a simple framework for simultaneously learning the feature space as well as the inducing points. The inducing points, in particular, are learned directly in the feature space, enabling a seamless representation of complex structured domains while also facilitating scalable gradient-based learning methods. We consider both regression and (binary) classification tasks and report on experimental results for real-world data sets showing that IGNs provide significant advances over state-of-the-art methods. We also demonstrate how IGNs can be used to effectively model complex domains using neural network architectures.
• Abstract（参考訳）: ガウス過程(GP)は強力だが計算コストのかかる機械学習モデルであり、予測毎にカーネル共分散行列を推定する必要がある。 グラフ、集合、画像といった大規模で複雑な領域において、適切なカーネルの選択は決定的に自明であり、学習タスクに新たな障害を与える。 この10年間で、これらの課題はスケーラビリティと表現性の観点から大きな進歩をもたらし、例えば、ポイント誘導とニューラルネットワークカーネル近似の使用によって例示されている。 本稿では,特徴空間と誘導点を同時に学習する簡単なフレームワークであるガウス過程ネットワーク(ign)の誘導を提案する。 特に誘導ポイントは、機能空間で直接学習され、複雑な構造化ドメインのシームレスな表現を可能にすると同時に、スケーラブルな勾配ベースの学習方法を促進する。 回帰分類と(バイナリ)分類をともに検討し,実世界のデータセットに対する実験結果について報告する。 また、ニューラルネットワークアーキテクチャを用いて複雑なドメインを効果的にモデル化するためにIGNを使用する方法を示す。

関連論文リスト

• Learning From Simplicial Data Based on Random Walks and 1D Convolutions [6.629765271909503]
  ランダムウォークと高速1D畳み込みに基づく単純な複雑なニューラルネットワーク学習アーキテクチャ。 実世界のデータセット上でSCRaWlを実証的に評価し、他の単純なニューラルネットワークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-04-04T13:27:22Z)
• Heterogenous Memory Augmented Neural Networks [84.29338268789684]
  ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。 学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。 In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
  論文  参考訳（メタデータ） (2023-10-17T01:05:28Z)
• Transfer learning for atomistic simulations using GNNs and kernel mean embeddings [24.560340485988128]
  本稿では, グラフニューラルネットワーク(GNN)を用いて, カーネル平均埋め込みとともに, 化学環境を表現するトランスファー学習アルゴリズムを提案する。 我々は,複雑性を増大させる一連の現実的なデータセットに対して,我々のアプローチを検証し,優れた一般化と伝達可能性性能を示す。
  論文  参考訳（メタデータ） (2023-06-02T14:58:16Z)
• Graph Neural Network-Inspired Kernels for Gaussian Processes in Semi-Supervised Learning [4.644263115284322]
  グラフニューラルネットワーク(GNN)は、半教師付き学習において、グラフ構造化データのモデルとして期待できるクラスとして最近登場した。 この帰納バイアスをGPに導入して,グラフ構造化データの予測性能を向上させる。 これらのグラフベースのカーネルは、各GNNと比較して、競合する分類と回帰性能、および時間の長所をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-02-12T01:07:56Z)
• Joint Embedding Self-Supervised Learning in the Kernel Regime [21.80241600638596]
  自己教師付き学習(SSL)は、データを分類するためのラベルにアクセスすることなく、データの有用な表現を生成する。 我々はこのフレームワークを拡張し,カーネルの機能空間に作用する線形写像によって埋め込みを構築するカーネル手法に基づくアルゴリズムを組み込む。 カーネルモデルを小さなデータセットで分析し、自己教師付き学習アルゴリズムの共通特徴を特定し、下流タスクにおける性能に関する理論的洞察を得る。
  論文  参考訳（メタデータ） (2022-09-29T15:53:19Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Convolutional generative adversarial imputation networks for spatio-temporal missing data in storm surge simulations [86.5302150777089]
  GAN(Generative Adversarial Imputation Nets)とGANベースの技術は、教師なし機械学習手法として注目されている。 提案手法を Con Conval Generative Adversarial Imputation Nets (Conv-GAIN) と呼ぶ。
  論文  参考訳（メタデータ） (2021-11-03T03:50:48Z)
• Random Features for the Neural Tangent Kernel [57.132634274795066]
  完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。 得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
  論文  参考訳（メタデータ） (2021-04-03T09:08:12Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Ring Reservoir Neural Networks for Graphs [15.07984894938396]
  貯留層コンピューティングモデルは、実りあるグラフの埋め込みを開発する上で重要な役割を果たす。 我々の中心となる提案は、リングトポロジーに従うために隠れたニューロンの組織を形成することに基づいている。 グラフ分類タスクの実験結果は、リング・リザーバアーキテクチャが特に効果的なネットワーク構成を可能にしていることを示している。
  論文  参考訳（メタデータ） (2020-05-11T17:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。