論文の概要: GCondNet: A Novel Method for Improving Neural Networks on Small High-Dimensional Tabular Data

• arxiv url: http://arxiv.org/abs/2211.06302v3
• Date: Fri, 17 Nov 2023 15:14:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-22 20:49:43.874485
• Title: GCondNet: A Novel Method for Improving Neural Networks on Small High-Dimensional Tabular Data
• Title（参考訳）: gcondnet: 小型高次元表データを用いたニューラルネットワークの改良法
• Authors: Andrei Margeloiu, Nikola Simidjievski, Pietro Lio, Mateja Jamnik
• Abstract要約: 本稿では,グラフデータに存在する暗黙構造を利用して,ニューラルネットワークを強化するためのGCondNetを提案する。 GCondNetはデータの高次元性を利用して、基礎となる予測ネットワークの性能を向上させる。 我々は,GCondNetが15の標準および最先端の手法より優れている実世界の9つのデータセットに対して,本手法の有効性を実証する。
• 参考スコア（独自算出の注目度）: 15.430254192749626
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural network models often struggle with high-dimensional but small sample-size tabular datasets. One reason is that current weight initialisation methods assume independence between weights, which can be problematic when there are insufficient samples to estimate the model's parameters accurately. In such small data scenarios, leveraging additional structures can improve the model's performance and training stability. To address this, we propose GCondNet, a general approach to enhance neural networks by leveraging implicit structures present in tabular data. We create a graph between samples for each data dimension, and utilise Graph Neural Networks (GNNs) for extracting this implicit structure, and for conditioning the parameters of the first layer of an underlying predictor network. By creating many small graphs, GCondNet exploits the data's high-dimensionality, and thus improves the performance of an underlying predictor network. We demonstrate the effectiveness of our method on 9 real-world datasets, where GCondNet outperforms 15 standard and state-of-the-art methods. The results show that GCondNet is a versatile framework for injecting graph-regularisation into various types of neural networks, including MLPs and tabular Transformers.
• Abstract（参考訳）: ニューラルネットワークモデルは、しばしば高次元だが小さなサンプルサイズの表層データセットと競合する。 一つの理由は、現在の重み初期化手法が重みの間の独立性を仮定しているためであり、モデルのパラメータを正確に推定するサンプルが不足している場合に問題となる。 このような小さなデータシナリオでは、追加構造を利用することで、モデルのパフォーマンスとトレーニングの安定性が向上します。 そこで本稿では,グラフデータに存在する暗黙構造を利用してニューラルネットワークを拡張できるGCondNetを提案する。 各データ次元のサンプル間のグラフを作成し、この暗黙の構造を抽出し、基礎となる予測ネットワークの第1層のパラメータを条件付けするためにグラフニューラルネットワーク(gnns)を利用する。 多くの小さなグラフを作成することで、gcondnetはデータの高次元を活用し、基礎となる予測ネットワークの性能を向上させる。 我々は,GCondNetが15の標準および最先端の手法より優れている実世界の9つのデータセットに対して,本手法の有効性を実証する。 その結果,GCondNetは多種多様なニューラルネットワークにグラフ正規化を注入するための汎用的なフレームワークであることがわかった。

関連論文リスト

• Ensemble Learning for Graph Neural Networks [28.3650473174488]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習するための様々な分野で成功している。 本稿では,GNNの性能とロバスト性向上のためのアンサンブル学習手法の適用について検討する。
  論文  参考訳（メタデータ） (2023-10-22T03:55:13Z)
• Interpretable Graph Neural Networks for Tabular Data [18.30325076881234]
  IGNNetは学習アルゴリズムを制約し、解釈可能なモデルを生成する。 IGNNetは最先端の機械学習アルゴリズムに匹敵するパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-08-17T12:35:02Z)
• Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural Networks [89.28881869440433]
  本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。 解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
  論文  参考訳（メタデータ） (2023-02-06T16:54:20Z)
• EGRC-Net: Embedding-induced Graph Refinement Clustering Network [66.44293190793294]
  埋め込みによるグラフリファインメントクラスタリングネットワーク (EGRC-Net) という新しいグラフクラスタリングネットワークを提案する。 EGRC-Netは学習した埋め込みを利用して初期グラフを適応的に洗練し、クラスタリング性能を向上させる。 提案手法はいくつかの最先端手法より一貫して優れている。
  論文  参考訳（メタデータ） (2022-11-19T09:08:43Z)
• A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
  数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。 本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-16T22:46:33Z)
• An Introduction to Robust Graph Convolutional Networks [71.68610791161355]
  本論文では, 誤りのある単一ビューあるいは複数ビューのデータに対して, 新たなロバストグラフ畳み込みニューラルネットワークを提案する。 従来のグラフ畳み込みネットワークにAutoencodersを介して余分なレイヤを組み込むことで、典型的なエラーモデルを明示的に特徴付けおよび処理します。
  論文  参考訳（メタデータ） (2021-03-27T04:47:59Z)
• Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
  グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。 PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。 PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-13T18:53:21Z)
• EdgeNets:Edge Varying Graph Neural Networks [179.99395949679547]
  本稿では、EdgeNetの概念を通じて、最先端グラフニューラルネットワーク(GNN)を統一する一般的なフレームワークを提案する。 EdgeNetはGNNアーキテクチャであり、異なるノードが異なるパラメータを使って異なる隣人の情報を測定することができる。 これは、ノードが実行でき、既存のグラフ畳み込みニューラルネットワーク(GCNN)とグラフアテンションネットワーク(GAT)の1つの定式化の下で包含できる一般的な線形で局所的な操作である。
  論文  参考訳（メタデータ） (2020-01-21T15:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。