Fugu-MT 論文翻訳(概要): Graph Masked Language Models

論文の概要: Graph Masked Language Models

arxiv url: http://arxiv.org/abs/2503.05763v2
Date: Fri, 21 Mar 2025 16:42:49 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-24 14:54:47.618302
Title: Graph Masked Language Models
Title（参考訳）: グラフマスキング言語モデル
Authors: Aarush Sinha, OM Kumar CU,
Abstract要約: 言語モデル (LM) とグラフニューラルネットワーク (GNN) はそれぞれの分野で大きな可能性を示している。 EmphGraph Masked Language Models (GMLM) は、GNNの構造学習と事前訓練された言語モデルの文脈パワーを組み合わせた、新しい二重ブランチアーキテクチャである。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Language Models (LMs) and Graph Neural Networks (GNNs) have shown great promise in their respective areas, yet integrating structured graph data with rich textual information remains challenging. In this work, we propose \emph{Graph Masked Language Models} (GMLM), a novel dual-branch architecture that combines the structural learning of GNNs with the contextual power of pretrained language models. Our approach introduces two key innovations: (i) a \emph{semantic masking strategy} that leverages graph topology to selectively mask nodes based on their structural importance, and (ii) a \emph{soft masking mechanism} that interpolates between original node features and a learnable mask token, ensuring smoother information flow during training. Extensive experiments on multiple node classification and language understanding benchmarks demonstrate that GMLM not only achieves state-of-the-art performance but also exhibits enhanced robustness and stability. This work underscores the benefits of integrating structured and unstructured data representations for improved graph learning.
Abstract（参考訳）: 言語モデル (LM) とグラフニューラルネットワーク (GNN) はそれぞれの分野で大きな可能性を示しているが、構造化グラフデータとリッチテキスト情報の統合は依然として困難である。本稿では,GNNの構造学習と事前学習された言語モデルの文脈パワーを組み合わせた,新しい二分岐アーキテクチャである \emph{Graph Masked Language Models} (GMLM) を提案する。このアプローチには2つの重要なイノベーションがあります。 (i)グラフトポロジを利用してノードを選択的にマスキングする「emph{semantic masking strategy」 (i)元のノード特徴と学習可能なマスクトークンを補間し、トレーニング中によりスムーズな情報の流れを確保する「emph{soft masking mechanism」。複数のノード分類と言語理解ベンチマークに関する大規模な実験により、GMLMは最先端の性能を達成するだけでなく、堅牢性と安定性の向上も示している。この研究は、グラフ学習を改善するために構造化データ表現と非構造化データ表現を統合する利点を浮き彫りにする。

関連論文リスト

Deep Semantic Graph Learning via LLM based Node Enhancement [5.312946761836463]
大規模言語モデル(LLM)は、テキストセマンティクスを理解する上で優れた能力を示している。本稿では,グラフトランスフォーマーアーキテクチャとLLM拡張ノード機能を組み合わせた新しいフレームワークを提案する。
論文参考訳（メタデータ） (2025-02-11T21:55:46Z)
Bridging Large Language Models and Graph Structure Learning Models for Robust Representation Learning [22.993015048941444]
グラフ表現学習は現実世界のアプリケーションには不可欠だが、広範にわたるノイズに遭遇することが多い。本稿では,事前学習された言語モデルとグラフ構造学習モデルの相補的な長所を統合するフレームワークであるLangGSLを紹介する。
論文参考訳（メタデータ） (2024-10-15T22:43:32Z)
NT-LLM: A Novel Node Tokenizer for Integrating Graph Structure into Large Language Models [26.739650151993928]
グラフは、現実世界のシナリオにおける関係を表現するための基本的なデータ構造である。グラフ関連のタスクにLLM(Large Language Models)を適用することは、大きな課題となる。我々は,グラフ構造を効率的にエンコードする新しいフレームワークNT-LLM(Node Tokenizer for Large Language Models)を紹介する。
論文参考訳（メタデータ） (2024-10-14T17:21:57Z)
Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting [50.181824673039436]
本稿では,グラフ構造情報をメッセージパッシングなしで学習するグラフ構造自己コントラスト(GSSC)フレームワークを提案する。提案するフレームワークは,構造情報を事前知識として暗黙的にのみ組み込む,MLP(Multi-Layer Perceptrons)に基づいている。これはまず、近傍の潜在的非形式的あるいはノイズの多いエッジを取り除くために構造的スペーシングを適用し、その後、スペーシングされた近傍で構造的自己コントラストを行い、ロバストなノード表現を学ぶ。
論文参考訳（メタデータ） (2024-09-09T12:56:02Z)
A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
論文参考訳（メタデータ） (2024-06-19T22:30:08Z)
Multi-View Empowered Structural Graph Wordification for Language Models [12.22063024099311]
本稿では,LLM-graphアライメントのためのエンドツーエンドのモダリティアライメントフレームワークについて紹介する。提案手法は LLM とのトークンレベルアライメントを容易にするために設計されており,グラフの内在的' を理解可能な自然言語に効果的に翻訳することができる。我々のフレームワークは、LLMとGNN間のトークンレベルのアライメントを実現するための、有望な試みである、ある視覚的解釈可能性、効率、堅牢性を保証する。
論文参考訳（メタデータ） (2024-06-19T16:43:56Z)
Parameter-Efficient Tuning Large Language Models for Graph Representation Learning [62.26278815157628]
Graph-awareを導入します。 GPEFT - グラフ表現学習のための新しい手法。グラフニューラルネットワーク(GNN)を用いて、隣接するノードからグラフプロンプトに構造情報をエンコードする。我々は8つの異なるテキストリッチグラフで実施した総合的な実験を通じて,リンク予測評価において hit@1 と Mean Reciprocal Rank (MRR) の平均 2% の改善を観察し,本手法の有効性を検証した。
論文参考訳（メタデータ） (2024-04-28T18:36:59Z)
GraphEdit: Large Language Models for Graph Structure Learning [14.16155596597421]
グラフ構造学習(GSL)は、グラフ構造データ中のノード間の固有の依存関係と相互作用をキャプチャすることに焦点を当てている。既存のGSL法は、監督信号として明示的なグラフ構造情報に大きく依存している。グラフ構造化データの複雑なノード関係を学習するために,大規模言語モデル(LLM)を利用したグラフ編集を提案する。
論文参考訳（メタデータ） (2024-02-23T08:29:42Z)
Graph Language Models [18.75364157933661]
両アプローチの長所を統合し,その短所を緩和する新しいLM型であるグラフ言語モデル(GLM)を導入する。我々はGLMのアーキテクチャを設計し、グラフバイアスを取り入れ、グラフ内の効果的な知識分布を促進する。関係分類タスクに関する実証的な評価は、GLM埋め込みが、教師付きおよびゼロショット設定におけるLMベースラインとGNNベースベースラインの両方を上回っていることを示している。
論文参考訳（メタデータ） (2024-01-13T16:09:49Z)
GraphFormers: GNN-nested Transformers for Representation Learning on Textual Graph [53.70520466556453]
階層的にGNNコンポーネントを言語モデルのトランスフォーマーブロックと一緒にネストするGraphFormerを提案する。提案したアーキテクチャでは、テキストエンコーディングとグラフ集約を反復的なワークフローに融合する。さらに、プログレッシブ・ラーニング・ストラテジーを導入し、そのモデルが操作されたデータと元のデータに基づいて連続的に訓練され、グラフ上の情報を統合する能力を強化する。
論文参考訳（メタデータ） (2021-05-06T12:20:41Z)
Graph Information Bottleneck [77.21967740646784]
グラフニューラルネットワーク(GNN)は、ネットワーク構造とノード機能から情報を融合する表現的な方法を提供する。 GIBは、一般的なInformation Bottleneck (IB) を継承し、与えられたタスクに対する最小限の表現を学習することを目的としている。提案したモデルが最先端のグラフ防御モデルよりも堅牢であることを示す。
論文参考訳（メタデータ） (2020-10-24T07:13:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。