論文の概要: Can Language Models Capture Graph Semantics? From Graphs to Language
Model and Vice-Versa
- arxiv url: http://arxiv.org/abs/2206.09259v1
- Date: Sat, 18 Jun 2022 18:12:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-26 02:32:15.311765
- Title: Can Language Models Capture Graph Semantics? From Graphs to Language
Model and Vice-Versa
- Title（参考訳）: 言語モデルはグラフセマンティクスをキャプチャできるか?
グラフから言語モデル、そしてその逆まで
- Authors: Tarun Garg, Kaushik Roy, Amit Sheth
- Abstract要約: 我々は、ディープラーニングモデルがグラフを圧縮し、ほとんどの意味論をそのままで同じグラフを出力できるかどうかを調査する。
実験の結果,Transformerモデルでは入力知識グラフの完全な意味を表現できないことがわかった。
- 参考スコア（独自算出の注目度）: 5.340730281227837
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge Graphs are a great resource to capture semantic knowledge in terms
of entities and relationships between the entities. However, current deep
learning models takes as input distributed representations or vectors. Thus,
the graph is compressed in a vectorized representation. We conduct a study to
examine if the deep learning model can compress a graph and then output the
same graph with most of the semantics intact. Our experiments show that
Transformer models are not able to express the full semantics of the input
knowledge graph. We find that this is due to the disparity between the
directed, relationship and type based information contained in a Knowledge
Graph and the fully connected token-token undirected graphical interpretation
of the Transformer Attention matrix.
- Abstract（参考訳）: ナレッジグラフは、エンティティとエンティティ間の関係の観点から意味的知識を捉えるための優れたリソースです。
しかし、現在のディープラーニングモデルは、入力された分散表現またはベクトルである。
したがって、グラフはベクトル化表現で圧縮される。
我々は、ディープラーニングモデルがグラフを圧縮し、ほとんどの意味論をそのままで同じグラフを出力できるかどうかを調査する。
実験の結果,トランスフォーマーモデルは入力知識グラフの完全な意味を表現できないことがわかった。
これは、知識グラフに含まれる有向関係情報とタイプベース情報と、トランスフォーマトリクスの完全連結トークントケン非有向グラフィカル解釈との相違によるものである。
関連論文リスト
- Language Independent Neuro-Symbolic Semantic Parsing for Form
Understanding [11.042088913869462]
LAGNNと呼ばれるスキャンされたフォームに対するユニークなエンティティ関係グラフ解析法を提案する。
本モデルでは, 形式を単語関係グラフに解析し, 実体と関係を共同で同定する。
我々のモデルは、レイアウト情報から境界ボックス間の相対的な間隔を考慮し、言語間の転送を容易にする。
論文 参考訳（メタデータ） (2023-05-08T05:03:07Z) - Probing Graph Representations [77.7361299039905]
グラフ表現でキャプチャされた意味のある情報の量を定量化するために、探索フレームワークを使用します。
本研究は, グラフモデルにおける帰納的バイアスを理解するための探索の可能性を示すものである。
グラフベースモデルを評価する上で有用な診断ツールとして,探索を提唱する。
論文 参考訳（メタデータ） (2023-03-07T14:58:18Z) - State of the Art and Potentialities of Graph-level Learning [54.68482109186052]
グラフレベルの学習は、比較、回帰、分類など、多くのタスクに適用されている。
グラフの集合を学習する伝統的なアプローチは、サブストラクチャのような手作りの特徴に依存している。
ディープラーニングは、機能を自動的に抽出し、グラフを低次元表現に符号化することで、グラフレベルの学習をグラフの規模に適応させるのに役立っている。
論文 参考訳（メタデータ） (2023-01-14T09:15:49Z) - Relphormer: Relational Graph Transformer for Knowledge Graph
Representations [25.40961076988176]
本稿ではRelphormerと呼ばれる知識グラフ表現のためのTransformerの新しい変種を提案する。
本稿では,関係情報をエンコードし,意味情報を実体や関係内に保持する構造強化型自己認識機構を提案する。
6つのデータセットの実験結果から、Relphormerはベースラインよりも優れたパフォーマンスが得られることが示された。
論文 参考訳（メタデータ） (2022-05-22T15:30:18Z) - Explanation Graph Generation via Pre-trained Language Models: An
Empirical Study with Contrastive Learning [84.35102534158621]
エンドツーエンドで説明グラフを生成する事前学習言語モデルについて検討する。
本稿では,ノードとエッジの編集操作によるグラフ摂動の簡易かつ効果的な方法を提案する。
提案手法は,説明グラフの構造的精度と意味的精度を両立させる。
論文 参考訳（メタデータ） (2022-04-11T00:58:27Z) - Graph-in-Graph (GiG): Learning interpretable latent graphs in
non-Euclidean domain for biological and healthcare applications [52.65389473899139]
グラフは、医療領域において、非ユークリッドな非ユークリッドデータをユビキタスに表現し、分析するための強力なツールである。
近年の研究では、入力データサンプル間の関係を考慮すると、下流タスクに正の正の正則化効果があることが示されている。
タンパク質分類と脳イメージングのためのニューラルネットワークアーキテクチャであるGraph-in-Graph(GiG)を提案する。
論文 参考訳（メタデータ） (2022-04-01T10:01:37Z) - Graph Self-supervised Learning with Accurate Discrepancy Learning [64.69095775258164]
離散性に基づく自己監督型LeArning(D-SLA)と呼ばれる原図と摂動グラフの正確な相違を学習することを目的としたフレームワークを提案する。
本稿では,分子特性予測,タンパク質機能予測,リンク予測タスクなど,グラフ関連下流タスクにおける本手法の有効性を検証する。
論文 参考訳（メタデータ） (2022-02-07T08:04:59Z) - Generating a Doppelganger Graph: Resembling but Distinct [5.618335078130568]
本論文では,与えられたグラフ特性に類似したドッペルガンガーグラフを生成する手法を提案する。
このアプローチは、グラフ表現学習、生成的敵ネットワーク、およびグラフ実現アルゴリズムのオーケストレーションである。
論文 参考訳（メタデータ） (2021-01-23T22:08:27Z) - Auto-decoding Graphs [91.3755431537592]
生成モデルは、潜在コードからグラフを合成することを学ぶ自動デコーダである。
グラフは、おそらく接続パターンを特定するためにトレーニングされた自己アテンションモジュールを使用して合成される。
論文 参考訳（メタデータ） (2020-06-04T14:23:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。