論文の概要: GCondNet: A Novel Method for Improving Neural Networks on Small High-Dimensional Tabular Data

• arxiv url: http://arxiv.org/abs/2211.06302v4
• Date: Sat, 17 Aug 2024 20:16:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 06:43:37.245586
• Title: GCondNet: A Novel Method for Improving Neural Networks on Small High-Dimensional Tabular Data
• Title（参考訳）: GCondNet: 小型高次元タブラルデータを用いたニューラルネットワークの改良手法
• Authors: Andrei Margeloiu, Nikola Simidjievski, Pietro Lio, Mateja Jamnik,
• Abstract要約: 我々はGCondNetを提案し、データに存在する暗黙構造を活用してニューラルネットワークを強化する。 GCondNetはデータの高次元性を利用して、基礎となる予測ネットワークの性能を向上させる。 GCondNetが実世界の12のデータセットに対して有効であることを示す。
• 参考スコア（独自算出の注目度）: 14.124731264553889
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks often struggle with high-dimensional but small sample-size tabular datasets. One reason is that current weight initialisation methods assume independence between weights, which can be problematic when there are insufficient samples to estimate the model's parameters accurately. In such small data scenarios, leveraging additional structures can improve the model's performance and training stability. To address this, we propose GCondNet, a general approach to enhance neural networks by leveraging implicit structures present in tabular data. We create a graph between samples for each data dimension, and utilise Graph Neural Networks (GNNs) to extract this implicit structure, and for conditioning the parameters of the first layer of an underlying predictor network. By creating many small graphs, GCondNet exploits the data's high-dimensionality, and thus improves the performance of an underlying predictor network. We demonstrate GCondNet's effectiveness on 12 real-world datasets, where it outperforms 14 standard and state-of-the-art methods. The results show that GCondNet is a versatile framework for injecting graph-regularisation into various types of neural networks, including MLPs and tabular Transformers. Code is available at https://github.com/andreimargeloiu/GCondNet.
• Abstract（参考訳）: ニューラルネットワークは、高次元だが小さなサンプルサイズのグラフデータセットに苦しむことが多い。 一つの理由は、現在の重み初期化法が重み間の独立性を仮定しているからであり、モデルのパラメータを正確に見積もるには不十分なサンプルがある場合、問題となる可能性がある。 このような小さなデータシナリオでは、追加構造を利用することで、モデルのパフォーマンスとトレーニングの安定性が向上します。 そこで本稿では,グラフデータに存在する暗黙構造を活用してニューラルネットワークを強化する汎用手法であるGCondNetを提案する。 我々は、各データ次元のサンプル間でグラフを作成し、グラフニューラルネットワーク(GNN)を使用して、この暗黙構造を抽出し、基礎となる予測ネットワークの第1層のパラメータを条件付ける。 多数の小さなグラフを作成することで、GCondNetはデータの高次元性を利用して、基礎となる予測ネットワークの性能を向上させる。 GCondNetが実世界の12のデータセットに対して有効であることを示す。 その結果,GCondNetは多種多様なニューラルネットワークにグラフ正規化を注入するための汎用的なフレームワークであることがわかった。 コードはhttps://github.com/andreimargeloiu/GCondNetで入手できる。

関連論文リスト

• Ensemble Learning for Graph Neural Networks [28.3650473174488]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習するための様々な分野で成功している。 本稿では,GNNの性能とロバスト性向上のためのアンサンブル学習手法の適用について検討する。
  論文  参考訳（メタデータ） (2023-10-22T03:55:13Z)
• Interpretable Graph Neural Networks for Tabular Data [18.30325076881234]
  IGNNetは学習アルゴリズムを制約し、解釈可能なモデルを生成する。 IGNNetは最先端の機械学習アルゴリズムに匹敵するパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-08-17T12:35:02Z)
• Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural Networks [89.28881869440433]
  本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。 解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
  論文  参考訳（メタデータ） (2023-02-06T16:54:20Z)
• EGRC-Net: Embedding-induced Graph Refinement Clustering Network [66.44293190793294]
  埋め込みによるグラフリファインメントクラスタリングネットワーク (EGRC-Net) という新しいグラフクラスタリングネットワークを提案する。 EGRC-Netは学習した埋め込みを利用して初期グラフを適応的に洗練し、クラスタリング性能を向上させる。 提案手法はいくつかの最先端手法より一貫して優れている。
  論文  参考訳（メタデータ） (2022-11-19T09:08:43Z)
• A Robust Stacking Framework for Training Deep Graph Models with Multifaceted Node Features [61.92791503017341]
  数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。 IID(non-graph)データをGNNに簡単に組み込むことはできない。 本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-06-16T22:46:33Z)
• An Introduction to Robust Graph Convolutional Networks [71.68610791161355]
  本論文では, 誤りのある単一ビューあるいは複数ビューのデータに対して, 新たなロバストグラフ畳み込みニューラルネットワークを提案する。 従来のグラフ畳み込みネットワークにAutoencodersを介して余分なレイヤを組み込むことで、典型的なエラーモデルを明示的に特徴付けおよび処理します。
  論文  参考訳（メタデータ） (2021-03-27T04:47:59Z)
• Learning to Drop: Robust Graph Neural Network via Topological Denoising [50.81722989898142]
  グラフニューラルネットワーク(GNN)のロバスト性および一般化性能を向上させるために,パラメータ化トポロジカルデノイングネットワークであるPTDNetを提案する。 PTDNetは、パラメータ化されたネットワークでスパーシファイドグラフ内のエッジ数をペナル化することで、タスク非関連エッジを創出する。 PTDNetはGNNの性能を著しく向上させ,さらにノイズの多いデータセットでは性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-13T18:53:21Z)
• EdgeNets:Edge Varying Graph Neural Networks [179.99395949679547]
  本稿では、EdgeNetの概念を通じて、最先端グラフニューラルネットワーク(GNN)を統一する一般的なフレームワークを提案する。 EdgeNetはGNNアーキテクチャであり、異なるノードが異なるパラメータを使って異なる隣人の情報を測定することができる。 これは、ノードが実行でき、既存のグラフ畳み込みニューラルネットワーク(GCNN)とグラフアテンションネットワーク(GAT)の1つの定式化の下で包含できる一般的な線形で局所的な操作である。
  論文  参考訳（メタデータ） (2020-01-21T15:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。