論文の概要: GLL: A Differentiable Graph Learning Layer for Neural Networks
- arxiv url: http://arxiv.org/abs/2412.08016v1
- Date: Wed, 11 Dec 2024 01:54:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-12 14:04:02.813708
- Title: GLL: A Differentiable Graph Learning Layer for Neural Networks
- Title（参考訳）: GLL: ニューラルネットワークのための微分可能なグラフ学習層
- Authors: Jason Brown, Bohan Chen, Harris Hardiman-Mostow, Jeff Calder, Andrea L. Bertozzi,
- Abstract要約: グラフベースの学習技術、すなわちLaplace Learningは、教師付きおよび半教師付き学習(SSL)タスクのニューラルネットワークと組み合わせられている。
本研究では,一般的なグラフ学習層をニューラルネットワークに組み込むために,アジョイント法を用いてバックプロパゲーション方程式を導出する。
これにより、グラフラプラシアンベースのラベル伝搬をニューラルネットワーク層に正確に統合し、プロジェクションヘッドとソフトマックスアクティベーション関数を置き換えることができる。
- 参考スコア（独自算出の注目度）: 8.149825561954607
- License:
- Abstract: Standard deep learning architectures used for classification generate label predictions with a projection head and softmax activation function. Although successful, these methods fail to leverage the relational information between samples in the batch for generating label predictions. In recent works, graph-based learning techniques, namely Laplace learning, have been heuristically combined with neural networks for both supervised and semi-supervised learning (SSL) tasks. However, prior works approximate the gradient of the loss function with respect to the graph learning algorithm or decouple the processes; end-to-end integration with neural networks is not achieved. In this work, we derive backpropagation equations, via the adjoint method, for inclusion of a general family of graph learning layers into a neural network. This allows us to precisely integrate graph Laplacian-based label propagation into a neural network layer, replacing a projection head and softmax activation function for classification tasks. Using this new framework, our experimental results demonstrate smooth label transitions across data, improved robustness to adversarial attacks, improved generalization, and improved training dynamics compared to the standard softmax-based approach.
- Abstract（参考訳）: 分類に使用される標準的なディープラーニングアーキテクチャは、プロジェクションヘッドとソフトマックスアクティベーション機能を備えたラベル予測を生成する。
これらの手法は成功したが、ラベル予測を生成するためにバッチ内のサンプル間の関係情報を活用できない。
近年の研究では、グラフベースの学習技術、すなわちラプラス学習が、教師付きおよび半教師付き学習(SSL)タスクのニューラルネットワークとヒューリスティックに結合されている。
しかし、先行研究では、損失関数のグラフ学習アルゴリズムに関する勾配を近似したり、プロセスを切り離したりしており、ニューラルネットワークとのエンドツーエンドの統合は達成されていない。
本研究では,一般的なグラフ学習層をニューラルネットワークに組み込むために,アジョイント法を用いてバックプロパゲーション方程式を導出する。
これにより、グラフラプラシアンベースのラベル伝搬をニューラルネットワーク層に正確に統合し、プロジェクションヘッドとソフトマックスアクティベーション関数を置き換えることができる。
この新たなフレームワークを用いて,データ間のスムーズなラベル遷移,敵攻撃に対する堅牢性の向上,一般化の向上,ソフトマックスベースのアプローチと比較してトレーニングのダイナミクスの向上を実証した。
関連論文リスト
- Neural Network-Based Score Estimation in Diffusion Models: Optimization
and Generalization [12.812942188697326]
拡散モデルは、忠実さ、柔軟性、堅牢性を改善した高品質なサンプルを生成する際に、GANと競合する強力なツールとして登場した。
これらのモデルの主要な構成要素は、スコアマッチングを通じてスコア関数を学ぶことである。
様々なタスクにおいて経験的な成功にもかかわらず、勾配に基づくアルゴリズムが証明可能な精度でスコア関数を学習できるかどうかは不明である。
論文 参考訳（メタデータ） (2024-01-28T08:13:56Z) - GNN-LoFI: a Novel Graph Neural Network through Localized Feature-based
Histogram Intersection [51.608147732998994]
グラフニューラルネットワークは、グラフベースの機械学習の選択フレームワークになりつつある。
本稿では,古典的メッセージパッシングに代えて,ノード特徴の局所分布を解析するグラフニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-01-17T13:04:23Z) - Globally Optimal Training of Neural Networks with Threshold Activation
Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。
ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文 参考訳（メタデータ） (2023-03-06T18:59:13Z) - Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。
また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文 参考訳（メタデータ） (2022-05-06T03:37:00Z) - A Unifying Generative Model for Graph Learning Algorithms: Label
Propagation, Graph Convolutions, and Combinations [39.8498896531672]
グラフに関する半教師付き学習は、ネットワーク科学と機械学習において広く適用可能な問題である。
我々は,ノード属性のデータ生成プロセスのためのマルコフ確率場モデルを開発した。
ラベル伝播,線形化グラフ畳み込みネットワーク,それらの組み合わせが条件付き期待値として導出できることを示す。
論文 参考訳（メタデータ） (2021-01-19T17:07:08Z) - Generalized Leverage Score Sampling for Neural Networks [82.95180314408205]
レバレッジスコアサンプリング(英: Leverage score sample)は、理論計算機科学に由来する強力な技術である。
本研究では、[Avron, Kapralov, Musco, Musco, Musco, Velingker, Zandieh 17] の結果をより広範なカーネルのクラスに一般化する。
論文 参考訳（メタデータ） (2020-09-21T14:46:01Z) - Directed hypergraph neural network [0.0]
本稿では,指向性ハイパーグラフのための新しいニューラルネットワーク手法を提案する。
実験で使用される2つのデータセットは、coraとciteseerデータセットである。
論文 参考訳（メタデータ） (2020-08-09T01:39:52Z) - Active Learning on Attributed Graphs via Graph Cognizant Logistic
Regression and Preemptive Query Generation [37.742218733235084]
本稿では,属性グラフにおけるノード分類処理のための新しいグラフベース能動学習アルゴリズムを提案する。
提案アルゴリズムは,線形化グラフ畳み込みニューラルネットワーク(GCN)と等価なグラフ認識ロジスティック回帰を用いて,予測フェーズの誤差低減を最大化する。
5つの公開ベンチマークデータセットで実験を行い、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2020-07-09T18:00:53Z) - GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。
自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。
3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
論文 参考訳（メタデータ） (2020-06-17T16:18:35Z) - Geometrically Principled Connections in Graph Neural Networks [66.51286736506658]
我々は、幾何学的深層学習の新興分野におけるイノベーションの原動力は、幾何が依然として主要な推進力であるべきだと論じている。
グラフニューラルネットワークとコンピュータグラフィックスとデータ近似モデルとの関係:放射基底関数(RBF)
完全連結層とグラフ畳み込み演算子を組み合わせた新しいビルディングブロックであるアフィンスキップ接続を導入する。
論文 参考訳（メタデータ） (2020-04-06T13:25:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。