論文の概要: GCondNet: A Novel Method for Improving Neural Networks on Small
High-Dimensional Tabular Data
- arxiv url: http://arxiv.org/abs/2211.06302v3
- Date: Fri, 17 Nov 2023 15:14:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 20:49:43.874485
- Title: GCondNet: A Novel Method for Improving Neural Networks on Small
High-Dimensional Tabular Data
- Title(参考訳): gcondnet: 小型高次元表データを用いたニューラルネットワークの改良法
- Authors: Andrei Margeloiu, Nikola Simidjievski, Pietro Lio, Mateja Jamnik
- Abstract要約: 本稿では,グラフデータに存在する暗黙構造を利用して,ニューラルネットワークを強化するためのGCondNetを提案する。
GCondNetはデータの高次元性を利用して、基礎となる予測ネットワークの性能を向上させる。
我々は,GCondNetが15の標準および最先端の手法より優れている実世界の9つのデータセットに対して,本手法の有効性を実証する。
- 参考スコア(独自算出の注目度): 15.430254192749626
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural network models often struggle with high-dimensional but small
sample-size tabular datasets. One reason is that current weight initialisation
methods assume independence between weights, which can be problematic when
there are insufficient samples to estimate the model's parameters accurately.
In such small data scenarios, leveraging additional structures can improve the
model's performance and training stability. To address this, we propose
GCondNet, a general approach to enhance neural networks by leveraging implicit
structures present in tabular data. We create a graph between samples for each
data dimension, and utilise Graph Neural Networks (GNNs) for extracting this
implicit structure, and for conditioning the parameters of the first layer of
an underlying predictor network. By creating many small graphs, GCondNet
exploits the data's high-dimensionality, and thus improves the performance of
an underlying predictor network. We demonstrate the effectiveness of our method
on 9 real-world datasets, where GCondNet outperforms 15 standard and
state-of-the-art methods. The results show that GCondNet is a versatile
framework for injecting graph-regularisation into various types of neural
networks, including MLPs and tabular Transformers.
- Abstract(参考訳): ニューラルネットワークモデルは、しばしば高次元だが小さなサンプルサイズの表層データセットと競合する。
一つの理由は、現在の重み初期化手法が重みの間の独立性を仮定しているためであり、モデルのパラメータを正確に推定するサンプルが不足している場合に問題となる。
このような小さなデータシナリオでは、追加構造を利用することで、モデルのパフォーマンスとトレーニングの安定性が向上します。
そこで本稿では,グラフデータに存在する暗黙構造を利用してニューラルネットワークを拡張できるGCondNetを提案する。
各データ次元のサンプル間のグラフを作成し、この暗黙の構造を抽出し、基礎となる予測ネットワークの第1層のパラメータを条件付けするためにグラフニューラルネットワーク(gnns)を利用する。
多くの小さなグラフを作成することで、gcondnetはデータの高次元を活用し、基礎となる予測ネットワークの性能を向上させる。
我々は,GCondNetが15の標準および最先端の手法より優れている実世界の9つのデータセットに対して,本手法の有効性を実証する。
その結果,GCondNetは多種多様なニューラルネットワークにグラフ正規化を注入するための汎用的なフレームワークであることがわかった。
関連論文リスト
- Novel Representation Learning Technique using Graphs for Performance
Analytics [0.0]
本稿では,グラフニューラルネットワーク(GNN)技術の進歩を活用するために,パフォーマンスデータをグラフに変換する新しいアイデアを提案する。
ソーシャルネットワークのような他の機械学習アプリケーションドメインとは対照的に、グラフは提供されない。
我々は,GNNから生成された埋め込みの有効性を,単純なフィードフォワードニューラルネットワークによる回帰処理の性能評価に基づいて評価した。
論文 参考訳(メタデータ) (2024-01-19T16:34:37Z) - EGRC-Net: Embedding-induced Graph Refinement Clustering Network [66.44293190793294]
埋め込みによるグラフリファインメントクラスタリングネットワーク (EGRC-Net) という新しいグラフクラスタリングネットワークを提案する。
EGRC-Netは学習した埋め込みを利用して初期グラフを適応的に洗練し、クラスタリング性能を向上させる。
提案手法はいくつかの最先端手法より一貫して優れている。
論文 参考訳(メタデータ) (2022-11-19T09:08:43Z) - Comprehensive Graph Gradual Pruning for Sparse Training in Graph Neural
Networks [52.566735716983956]
本稿では,CGPと呼ばれるグラフの段階的プルーニングフレームワークを動的にGNNに提案する。
LTHに基づく手法とは異なり、提案手法では再学習を必要とせず、計算コストを大幅に削減する。
提案手法は,既存の手法の精度を一致させたり,あるいは超えたりしながら,トレーニングと推論の効率を大幅に向上させる。
論文 参考訳(メタデータ) (2022-07-18T14:23:31Z) - A Robust Stacking Framework for Training Deep Graph Models with
Multifaceted Node Features [61.92791503017341]
数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。
IID(non-graph)データをGNNに簡単に組み込むことはできない。
本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
論文 参考訳(メタデータ) (2022-06-16T22:46:33Z) - Simplifying approach to Node Classification in Graph Neural Networks [7.057970273958933]
グラフニューラルネットワークのノード特徴集約ステップと深さを分離し、異なる集約特徴が予測性能にどのように寄与するかを経験的に分析する。
集約ステップによって生成された全ての機能が有用であるとは限らないことを示し、これらの少ない情報的特徴を用いることは、GNNモデルの性能に有害であることを示す。
提案モデルでは,提案モデルが最先端のGNNモデルと同等あるいはそれ以上の精度を達成可能であることを実証的に示す。
論文 参考訳(メタデータ) (2021-11-12T14:53:22Z) - An Introduction to Robust Graph Convolutional Networks [71.68610791161355]
本論文では, 誤りのある単一ビューあるいは複数ビューのデータに対して, 新たなロバストグラフ畳み込みニューラルネットワークを提案する。
従来のグラフ畳み込みネットワークにAutoencodersを介して余分なレイヤを組み込むことで、典型的なエラーモデルを明示的に特徴付けおよび処理します。
論文 参考訳(メタデータ) (2021-03-27T04:47:59Z) - Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。
PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。
PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
論文 参考訳(メタデータ) (2020-11-13T18:53:21Z) - Ensembles of Spiking Neural Networks [0.3007949058551534]
本稿では,最先端の結果を生み出すスパイクニューラルネットワークのアンサンブルを構築する方法について述べる。
MNIST, NMNIST, DVS Gestureデータセットの分類精度は98.71%, 100.0%, 99.09%である。
我々は、スパイキングニューラルネットワークをGLM予測器として形式化し、ターゲットドメインに適した表現を識別する。
論文 参考訳(メタデータ) (2020-10-15T17:45:18Z) - Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。
複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。
本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
論文 参考訳(メタデータ) (2020-06-26T17:03:06Z) - Ensembled sparse-input hierarchical networks for high-dimensional
datasets [8.629912408966145]
サンプルサイズが小さい環境では,高密度ニューラルネットワークが実用的なデータ解析ツールであることを示す。
提案手法は,L1-ペナルティパラメータを2つだけ調整することで,ネットワーク構造を適切に調整する。
EASIER-netは、異なるサイズの実世界のデータセットのコレクションにおいて、データ適応方式でネットワークアーキテクチャを選択し、平均的なオフザシェルフ手法よりも高い予測精度を達成した。
論文 参考訳(メタデータ) (2020-05-11T02:08:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。