論文の概要: Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach
- arxiv url: http://arxiv.org/abs/2110.04514v1
- Date: Sat, 9 Oct 2021 09:02:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-17 01:09:23.079413
- Title: Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach
- Title(参考訳): open-world feature extrapolationに向けて: インダクティブグラフ学習アプローチ
- Authors: Qitian Wu, Chenxiao Yang, Junchi Yan
- Abstract要約: グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
- 参考スコア(独自算出の注目度): 62.774208717294805
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We target open-world feature extrapolation problem where the feature space of
input data goes through expansion and a model trained on partially observed
features needs to handle new features in test data without further retraining.
The problem is of much significance for dealing with features incrementally
collected from different fields. To this end, we propose a new learning
paradigm with graph representation and learning. Our framework contains two
modules: 1) a backbone network (e.g., feedforward neural nets) as a lower model
takes features as input and outputs predicted labels; 2) a graph neural network
as an upper model learns to extrapolate embeddings for new features via message
passing over a feature-data graph built from observed data. Based on our
framework, we design two training strategies, a self-supervised approach and an
inductive learning approach, to endow the model with extrapolation ability and
alleviate feature-level over-fitting. We also provide theoretical analysis on
the generalization error on test data with new features, which dissects the
impact of training features and algorithms on generalization performance. Our
experiments over several classification datasets and large-scale advertisement
click prediction datasets demonstrate that our model can produce effective
embeddings for unseen features and significantly outperforms baseline methods
that adopt KNN and local aggregation.
- Abstract(参考訳): 我々は、入力データの特徴空間が拡張を経た場合のオープンワールド機能外挿問題と、部分的に観察された特徴を訓練したモデルが、さらなる再トレーニングなしにテストデータの新機能を扱う必要がある。
問題は、異なるフィールドから漸進的に収集された機能を扱う上で、非常に重要である。
そこで我々は,グラフ表現と学習を用いた新しい学習パラダイムを提案する。
私たちのフレームワークには2つのモジュールがあります。
1) 下位モデルとしてのバックボーンネットワーク(例えば、フィードフォワードニューラルネット)は、特徴を入力として、予測ラベルを出力する。
2) 上位モデルとしてのグラフニューラルネットワークは,観測データから構築された特徴データグラフ上のメッセージパッシングを通じて,新機能の埋め込みを外挿することを学ぶ。
フレームワークに基づいて,自己教師型アプローチと帰納学習アプローチという2つのトレーニング戦略を設計し,外挿能力を備えたモデルの実現と,機能レベルの過剰適合を軽減する。
また、新しい特徴を持つテストデータに対する一般化誤差の理論解析を行い、一般化性能に対するトレーニング特徴やアルゴリズムの影響を判別する。
複数の分類データセットと大規模広告クリック予測データセットを用いた実験により,本モデルが未発見の機能に対して効果的な埋め込みを生成し,knと局所アグリゲーションを採用するベースラインメソッドを著しく上回ることを示した。
関連論文リスト
- Prospector Heads: Generalized Feature Attribution for Large Models &
Data [63.33062996732212]
本稿では,特徴帰属のための説明に基づく手法の,効率的かつ解釈可能な代替手段であるプロスペクタヘッドを紹介する。
入力データにおけるクラス固有のパターンの解釈と発見を、プロファイラヘッドがいかに改善できるかを実証する。
論文 参考訳(メタデータ) (2024-02-18T23:01:28Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳(メタデータ) (2022-10-06T00:33:01Z) - CHALLENGER: Training with Attribution Maps [63.736435657236505]
ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。
特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
論文 参考訳(メタデータ) (2022-05-30T13:34:46Z) - Simplifying approach to Node Classification in Graph Neural Networks [7.057970273958933]
グラフニューラルネットワークのノード特徴集約ステップと深さを分離し、異なる集約特徴が予測性能にどのように寄与するかを経験的に分析する。
集約ステップによって生成された全ての機能が有用であるとは限らないことを示し、これらの少ない情報的特徴を用いることは、GNNモデルの性能に有害であることを示す。
提案モデルでは,提案モデルが最先端のGNNモデルと同等あるいはそれ以上の精度を達成可能であることを実証的に示す。
論文 参考訳(メタデータ) (2021-11-12T14:53:22Z) - From Canonical Correlation Analysis to Self-supervised Graph Neural
Networks [99.44881722969046]
本稿では,グラフデータを用いた自己教師付き表現学習のための概念的単純かつ効果的なモデルを提案する。
古典的カノニカル相関解析にインスパイアされた,革新的な特徴レベルの目的を最適化する。
提案手法は、7つの公開グラフデータセット上で競合的に動作する。
論文 参考訳(メタデータ) (2021-06-23T15:55:47Z) - A Unifying Generative Model for Graph Learning Algorithms: Label
Propagation, Graph Convolutions, and Combinations [39.8498896531672]
グラフに関する半教師付き学習は、ネットワーク科学と機械学習において広く適用可能な問題である。
我々は,ノード属性のデータ生成プロセスのためのマルコフ確率場モデルを開発した。
ラベル伝播,線形化グラフ畳み込みネットワーク,それらの組み合わせが条件付き期待値として導出できることを示す。
論文 参考訳(メタデータ) (2021-01-19T17:07:08Z) - A Framework to Learn with Interpretation [2.3741312212138896]
本稿では,予測モデルとその関連解釈モデルを共同で学習する新しい枠組みを提案する。
我々は,選択した隠れ層の出力を入力として取り込む,高レベル属性関数の小型辞書を求める。
学習した機能を視覚化する詳細なパイプラインも開発されている。
論文 参考訳(メタデータ) (2020-10-19T09:26:28Z) - Quantifying Challenges in the Application of Graph Representation
Learning [0.0]
私たちは、一般的な埋め込みアプローチのセットに対して、アプリケーション指向の視点を提供します。
実世界のグラフ特性に関する表現力を評価する。
GRLアプローチは現実のシナリオでは定義が困難であることが示唆された。
論文 参考訳(メタデータ) (2020-06-18T03:19:43Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。