論文の概要: HyperBERT: Mixing Hypergraph-Aware Layers with Language Models for Node Classification on Text-Attributed Hypergraphs
- arxiv url: http://arxiv.org/abs/2402.07309v4
- Date: Fri, 27 Sep 2024 12:02:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-09 04:54:55.561218
- Title: HyperBERT: Mixing Hypergraph-Aware Layers with Language Models for Node Classification on Text-Attributed Hypergraphs
- Title（参考訳）: HyperBERT: テキスト分散ハイパーグラフのノード分類のための言語モデルとハイパーグラフ認識層を混合する
- Authors: Adrián Bazaga, Pietro Liò, Gos Micklem,
- Abstract要約: 我々はハイパーグラフリレーショナル構造とテキスト分散ハイパーグラフを同時にモデル化する新しいアーキテクチャHyperBERTを提案する。
結果から,HyperBERTは5つの挑戦的テキスト分散ハイパーグラフノード分類ベンチマークに対して,新たな最先端性を達成していることがわかった。
- 参考スコア（独自算出の注目度）: 16.07396492960869
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hypergraphs are characterized by complex topological structure, representing higher-order interactions among multiple entities through hyperedges. Lately, hypergraph-based deep learning methods to learn informative data representations for the problem of node classification on text-attributed hypergraphs have garnered increasing research attention. However, existing methods struggle to simultaneously capture the full extent of hypergraph structural information and the rich linguistic attributes inherent in the nodes attributes, which largely hampers their effectiveness and generalizability. To overcome these challenges, we explore ways to further augment a pretrained BERT model with specialized hypergraph-aware layers for the task of node classification. Such layers introduce higher-order structural inductive bias into the language model, thus improving the model's capacity to harness both higher-order context information from the hypergraph structure and semantic information present in text. In this paper, we propose a new architecture, HyperBERT, a mixed text-hypergraph model which simultaneously models hypergraph relational structure while maintaining the high-quality text encoding capabilities of a pre-trained BERT. Notably, HyperBERT presents results that achieve a new state-of-the-art on five challenging text-attributed hypergraph node classification benchmarks.
- Abstract（参考訳）: ハイパーグラフは複雑なトポロジカル構造を特徴とし、ハイパーエッジを通して複数のエンティティ間の高次相互作用を表現する。
近年,テキスト対応ハイパーグラフにおけるノード分類問題に対する情報表現を学習するためのハイパーグラフに基づくディープラーニング手法が研究の注目を集めている。
しかし、既存の手法は、ハイパーグラフ構造情報の全範囲と、ノード属性に固有の豊富な言語特性を同時に捉えるのに苦労し、その有効性と一般化性を大きく損なう。
これらの課題を克服するために、ノード分類のタスクのために、特別なハイパーグラフ対応層を持つ事前訓練されたBERTモデルをさらに強化する方法を探る。
このようなレイヤは言語モデルに高階構造帰納バイアスを導入し、ハイパーグラフ構造からの高階コンテキスト情報とテキストに存在する意味情報の両方を活用するためのモデルの能力を向上させる。
本稿では,事前学習したBERTの高品質テキスト符号化能力を維持しつつ,ハイパーグラフ関係構造を同時にモデル化する混合テキストハイパグラフモデルであるHyperBERTを提案する。
特に、HyperBERTは5つの挑戦的なテキスト分散ハイパーグラフノード分類ベンチマークに対して、最先端の新たな結果を提供する。
関連論文リスト
- Hypergraph Transformer for Semi-Supervised Classification [50.92027313775934]
我々は新しいハイパーグラフ学習フレームワークHyperGraph Transformer(HyperGT)を提案する。
HyperGTはTransformerベースのニューラルネットワークアーキテクチャを使用して、すべてのノードとハイパーエッジのグローバル相関を効果的に検討する。
局所接続パターンを保ちながら、グローバルな相互作用を効果的に組み込むことで、包括的なハイパーグラフ表現学習を実現する。
論文 参考訳（メタデータ） (2023-12-18T17:50:52Z) - Hypergraph-MLP: Learning on Hypergraphs without Message Passing [41.43504601820411]
多くのハイパーグラフニューラルネットワークは、ハイパーグラフ構造上のメッセージパッシングを利用してノード表現学習を強化する。
我々は、ハイパーグラフ構造に関する情報を、明示的なメッセージパッシングを伴わずに、トレーニングの監督に組み込む方法を提案する。
具体的には,ハイパーグラフ構造化データのための新しい学習フレームワークであるHypergraph-MLPを紹介する。
論文 参考訳（メタデータ） (2023-12-15T13:30:04Z) - Learning from Heterogeneity: A Dynamic Learning Framework for Hypergraphs [22.64740740462169]
本稿では,動的ハイパーエッジ構築と注意深い埋め込み更新が可能なLFHというハイパーグラフ学習フレームワークを提案する。
提案手法の有効性を評価するため,いくつかの一般的なデータセットを対象とした総合的な実験を行った。
論文 参考訳（メタデータ） (2023-07-07T06:26:44Z) - From Hypergraph Energy Functions to Hypergraph Neural Networks [94.88564151540459]
パラメータ化されたハイパーグラフ正規化エネルギー関数の表現型族を示す。
次に、これらのエネルギーの最小化がノード埋め込みとして効果的に機能することを実証する。
提案した双レベルハイパーグラフ最適化と既存のGNNアーキテクチャを共通的に用いている。
論文 参考訳（メタデータ） (2023-06-16T04:40:59Z) - Tensorized Hypergraph Neural Networks [69.65385474777031]
我々は,新しいアジャケーシテンソルベースのtextbfTensorized textbfHypergraph textbfNeural textbfNetwork (THNN) を提案する。
THNNは高次外装機能パッシングメッセージを通じて、忠実なハイパーグラフモデリングフレームワークである。
3次元視覚オブジェクト分類のための2つの広く使われているハイパーグラフデータセットの実験結果から、モデルの有望な性能を示す。
論文 参考訳（メタデータ） (2023-06-05T03:26:06Z) - Augmentations in Hypergraph Contrastive Learning: Fabricated and
Generative [126.0985540285981]
我々は、ハイパーグラフニューラルネットワークの一般化性を改善するために、画像/グラフからの対照的な学習アプローチ(ハイパーGCLと呼ぶ)を適用する。
我々は、高次関係を符号化したハイパーエッジを増大させる2つのスキームを作成し、グラフ構造化データから3つの拡張戦略を採用する。
拡張ビューを生成するためのハイパーグラフ生成モデルを提案し、次に、ハイパーグラフ拡張とモデルパラメータを協調的に学習するエンド・ツー・エンドの微分可能なパイプラインを提案する。
論文 参考訳（メタデータ） (2022-10-07T20:12:20Z) - Equivariant Hypergraph Diffusion Neural Operators [81.32770440890303]
ハイパーグラフを符号化するためにニューラルネットワークを使用するハイパーグラフニューラルネットワーク(HNN)は、データの高次関係をモデル化する有望な方法を提供する。
本研究ではED-HNNと呼ばれる新しいHNNアーキテクチャを提案する。
実世界の9つのハイパーグラフデータセットのノード分類におけるED-HNNの評価を行った。
論文 参考訳（メタデータ） (2022-07-14T06:17:00Z) - Hypergraph Convolutional Networks via Equivalency between Hypergraphs
and Undirected Graphs [59.71134113268709]
本稿では,EDVWおよびEIVWハイパーグラフを処理可能な一般学習フレームワークであるGeneral Hypergraph Spectral Convolution(GHSC)を提案する。
本稿では,提案するフレームワークが最先端の性能を達成できることを示す。
ソーシャルネットワーク分析,視覚的客観的分類,タンパク質学習など,様々な分野の実験により,提案手法が最先端の性能を達成できることが実証された。
論文 参考訳（メタデータ） (2022-03-31T10:46:47Z) - Adaptive Neural Message Passing for Inductive Learning on Hypergraphs [21.606287447052757]
本稿では,新しいハイパーグラフ学習フレームワークHyperMSGを紹介する。
各ノードの次数集中度に関連する注意重みを学習することで、データとタスクに適応する。
堅牢で、幅広いタスクやデータセットで最先端のハイパーグラフ学習手法より優れています。
論文 参考訳（メタデータ） (2021-09-22T12:24:02Z) - Learnable Hypergraph Laplacian for Hypergraph Learning [34.28748027233654]
HyperGraph Convolutional Neural Networks (HGCNN) は、グラフ構造化データに保存された高次関係をモデル化する可能性を示した。
我々はHypERgrAph Laplacian aDaptor(HERALD)と呼ばれる適応的なハイパーグラフ構造を構築するための最初の学習ベース手法を提案する。
HERALDは、ハイパーノードとハイパーエッジの隣接関係をエンドツーエンドで適応的に最適化し、タスク認識ハイパーグラフを学習する。
論文 参考訳（メタデータ） (2021-06-12T02:07:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。