論文の概要: Enabling tabular deep learning when $d \gg n$ with an auxiliary
knowledge graph
- arxiv url: http://arxiv.org/abs/2306.04766v1
- Date: Wed, 7 Jun 2023 20:27:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-09 17:30:33.109095
- Title: Enabling tabular deep learning when $d \gg n$ with an auxiliary
knowledge graph
- Title（参考訳）: 補助知識グラフを用いた$d \gg n$の表層深層学習の実現
- Authors: Camilo Ruiz, Hongyu Ren, Kexin Huang, Jure Leskovec
- Abstract要約: 我々は,$d gg n$データセット上で高い性能を達成するためにPLATOを提案する。
PLATOは、補助KGの類似ノードに対応する2つの入力特徴がKGの第1層に類似した重みベクトルを持つべきであるという帰納バイアスに基づいている。
6$d gg n$データセットで、PLATOは13の最先端ベースラインを最大10.19%上回っている。
- 参考スコア（独自算出の注目度）: 72.66802909056192
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine learning models exhibit strong performance on datasets with abundant
labeled samples. However, for tabular datasets with extremely high
$d$-dimensional features but limited $n$ samples (i.e. $d \gg n$), machine
learning models struggle to achieve strong performance due to the risk of
overfitting. Here, our key insight is that there is often abundant, auxiliary
domain information describing input features which can be structured as a
heterogeneous knowledge graph (KG). We propose PLATO, a method that achieves
strong performance on tabular data with $d \gg n$ by using an auxiliary KG
describing input features to regularize a multilayer perceptron (MLP). In
PLATO, each input feature corresponds to a node in the auxiliary KG. In the
MLP's first layer, each input feature also corresponds to a weight vector.
PLATO is based on the inductive bias that two input features corresponding to
similar nodes in the auxiliary KG should have similar weight vectors in the
MLP's first layer. PLATO captures this inductive bias by inferring the weight
vector for each input feature from its corresponding node in the KG via a
trainable message-passing function. Across 6 $d \gg n$ datasets, PLATO
outperforms 13 state-of-the-art baselines by up to 10.19%.
- Abstract（参考訳）: 機械学習モデルは、豊富なラベル付きサンプルを持つデータセットで強力なパフォーマンスを示す。
しかし、非常に高い$d$-dimensional機能を持つグラフデータセットでは、制限付き$n$サンプル(例えば$d \gg n$)では、オーバーフィッティングのリスクのため、機械学習モデルは強力なパフォーマンスを達成するのに苦労する。
ここでのキーとなる洞察は、多種多様な知識グラフ(KG)として構造化できる入力特徴を記述する補助的なドメイン情報が多いことである。
入力特徴を記述した補助的なKGを用いて,多層パーセプトロン(MLP)を正規化することにより,$d \gg n$で表データに対して高い性能を実現するPLATOを提案する。
PLATOでは、各入力機能は補助KGのノードに対応する。
mlpの第1層では、各入力特徴も重みベクトルに対応している。
PLATOは、補助KGの類似ノードに対応する2つの入力特徴がMLPの第1層に類似した重みベクトルを持つべきであるという帰納バイアスに基づいている。
platoはこのインダクティブバイアスを、学習可能なメッセージパッシング関数を介してkg内の対応するノードから各入力特徴の重みベクトルを推論することで捉えている。
6$d \gg n$データセットで、platoは13の最先端のベースラインを最大10.19%上回っている。
関連論文リスト
- Linear Transformer Topological Masking with Graph Random Features [52.717865653036796]
重み付き隣接行列の学習可能な関数としてトポロジカルマスクをパラメータ化する方法を示す。
私たちの効率的なマスキングアルゴリズムは、画像およびポイントクラウドデータのタスクに対して、強力なパフォーマンス向上を提供します。
論文 参考訳（メタデータ） (2024-10-04T14:24:06Z) - Unveiling the Unseen Potential of Graph Learning through MLPs: Effective
Graph Learners Using Propagation-Embracing MLPs [9.731314045194495]
教師ニューラルネットワーク(GNN)による知識蒸留による学生の訓練
変換$T$と伝搬$Pi$を分離するGNNにインスパイアされた私たちは、KDプロセスを再構成して、学生が明示的に$T$と$Pi$を学習できるようにします。
本稿では,KD 以前の教師 GNN の出力を伝搬する Propagate & Distill (P&D) を提案し,逆伝播 $Pi-1$ の近似過程として解釈できる。
論文 参考訳（メタデータ） (2023-11-20T13:39:19Z) - MLPInit: Embarrassingly Simple GNN Training Acceleration with MLP
Initialization [51.76758674012744]
大きなグラフ上でグラフニューラルネットワーク(GNN)をトレーニングするのは複雑で、非常に時間がかかる。
我々は、PeerInitと呼ばれるGNNトレーニングアクセラレーションに対して、恥ずかしく単純だが非常に効果的な方法を提案する。
論文 参考訳（メタデータ） (2022-09-30T21:33:51Z) - A Robust Stacking Framework for Training Deep Graph Models with
Multifaceted Node Features [61.92791503017341]
数値ノード特徴とグラフ構造を入力とするグラフニューラルネットワーク(GNN)は,グラフデータを用いた各種教師付き学習タスクにおいて,優れた性能を示した。
IID(non-graph)データをGNNに簡単に組み込むことはできない。
本稿では、グラフ認識の伝播をIDデータに意図した任意のモデルで融合するロバストな積み重ねフレームワークを提案する。
論文 参考訳（メタデータ） (2022-06-16T22:46:33Z) - Cross-Model Pseudo-Labeling for Semi-Supervised Action Recognition [98.25592165484737]
CMPL(Cross-Model Pseudo-Labeling)と呼ばれる,より効果的な擬似ラベル方式を提案する。
CMPLは、それぞれRGBモダリティとラベル付きデータのみを使用して、Kinetics-400とUCF-101のTop-1の精度を17.6%と25.1%で達成している。
論文 参考訳（メタデータ） (2021-12-17T18:59:41Z) - Node Feature Extraction by Self-Supervised Multi-scale Neighborhood
Prediction [123.20238648121445]
我々は、新しい自己教師型学習フレームワーク、グラフ情報支援ノード機能exTraction (GIANT)を提案する。
GIANT は eXtreme Multi-label Classification (XMC) 形式を利用しており、これはグラフ情報に基づいた言語モデルの微調整に不可欠である。
我々は,Open Graph Benchmarkデータセット上での標準GNNパイプラインよりもGIANTの方が優れた性能を示す。
論文 参考訳（メタデータ） (2021-10-29T19:55:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。