論文の概要: Embedding Words in Non-Vector Space with Unsupervised Graph Learning
- arxiv url: http://arxiv.org/abs/2010.02598v1
- Date: Tue, 6 Oct 2020 10:17:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-10 05:28:30.705844
- Title: Embedding Words in Non-Vector Space with Unsupervised Graph Learning
- Title（参考訳）: 教師なしグラフ学習による非ベクトル空間への単語埋め込み
- Authors: Max Ryabinin, Sergei Popov, Liudmila Prokhorenkova, Elena Voita
- Abstract要約: GraphGlove: エンドツーエンドで学習される教師なしグラフワード表現について紹介する。
我々の設定では、各単語は重み付きグラフのノードであり、単語間の距離は対応するノード間の最短経路距離である。
グラフに基づく表現は、単語類似性や類似性タスクにおいて、ベクターベースの手法よりもかなり優れていることを示す。
- 参考スコア（独自算出の注目度）: 33.51809615505692
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It has become a de-facto standard to represent words as elements of a vector
space (word2vec, GloVe). While this approach is convenient, it is unnatural for
language: words form a graph with a latent hierarchical structure, and this
structure has to be revealed and encoded by word embeddings. We introduce
GraphGlove: unsupervised graph word representations which are learned
end-to-end. In our setting, each word is a node in a weighted graph and the
distance between words is the shortest path distance between the corresponding
nodes. We adopt a recent method learning a representation of data in the form
of a differentiable weighted graph and use it to modify the GloVe training
algorithm. We show that our graph-based representations substantially
outperform vector-based methods on word similarity and analogy tasks. Our
analysis reveals that the structure of the learned graphs is hierarchical and
similar to that of WordNet, the geometry is highly non-trivial and contains
subgraphs with different local topology.
- Abstract（参考訳）: 単語をベクトル空間(word2vec, GloVe)の要素として表現するデファクト標準となっている。
この手法は便利であるが、言語には不自然である:単語は潜在階層構造を持つグラフを形成し、この構造は単語埋め込みによって明らかにされエンコードされなければならない。
graphglove: エンドツーエンドで学習される教師なしのグラフワード表現。
我々の設定では、各単語は重み付きグラフのノードであり、単語間の距離は対応するノード間の最短経路距離である。
本研究では,データ表現を微分可能な重み付きグラフとして学習し,グローブトレーニングアルゴリズムの修正に利用する手法を提案する。
グラフに基づく表現は,単語の類似性や類推タスクにおいて,ベクトルに基づく手法を実質的に上回っていることを示す。
解析の結果,学習グラフの構造は階層的であり,WordNetと類似しており,幾何学は非常に非自明であり,局所位相の異なる部分グラフを含んでいることがわかった。
関連論文リスト
- Graph Neural Networks on Discriminative Graphs of Words [19.817473565906777]
本研究では,単語グラフニューラルネットワーク(DGoW-GNN)によるテキストの識別手法を提案する。
本稿では,GNNとシーケンスモデルを組み合わせたグラフベースのテキスト分類の新しいモデルを提案する。
提案手法を7つのベンチマークデータセットで評価し,いくつかの最先端ベースラインモデルにより性能が向上していることを確認した。
論文 参考訳（メタデータ） (2024-10-27T15:14:06Z) - Conversational Semantic Parsing using Dynamic Context Graphs [68.72121830563906]
汎用知識グラフ(KG)を用いた会話意味解析の課題を,数百万のエンティティと数千のリレーショナルタイプで検討する。
ユーザ発話を実行可能な論理形式にインタラクティブにマッピングできるモデルに焦点を当てる。
論文 参考訳（メタデータ） (2023-05-04T16:04:41Z) - Semi-Supervised Hierarchical Graph Classification [54.25165160435073]
ノードがグラフのインスタンスである階層グラフにおけるノード分類問題について検討する。
本稿では階層グラフ相互情報(HGMI)を提案し,理論的保証をもってHGMIを計算する方法を提案する。
本稿では,この階層グラフモデリングとSEAL-CI法がテキストおよびソーシャルネットワークデータに与える影響を実証する。
論文 参考訳（メタデータ） (2022-06-11T04:05:29Z) - CGMN: A Contrastive Graph Matching Network for Self-Supervised Graph
Similarity Learning [65.1042892570989]
自己教師付きグラフ類似性学習のためのコントラストグラフマッチングネットワーク(CGMN)を提案する。
我々は,効率的なノード表現学習のために,クロスビューインタラクションとクロスグラフインタラクションという2つの戦略を用いる。
我々はノード表現をグラフ類似性計算のためのプール演算によりグラフレベル表現に変換する。
論文 参考訳（メタデータ） (2022-05-30T13:20:26Z) - Hierarchical Heterogeneous Graph Representation Learning for Short Text
Classification [60.233529926965836]
短文分類のためのグラフニューラルネットワーク(GNN)に基づく ShiNE と呼ばれる新しい手法を提案する。
まず,短文データセットを単語レベル成分グラフからなる階層的不均一グラフとしてモデル化する。
そして、類似した短いテキスト間の効果的なラベル伝搬を容易にするショート文書グラフを動的に学習する。
論文 参考訳（メタデータ） (2021-10-30T05:33:05Z) - Learning grounded word meaning representations on similarity graphs [16.422174125381762]
本稿では,単語の意味表現を視覚的に学習するための新しいアプローチを提案する。
階層の下位レベルは、専用だが通信するグラフを通して、モダリティ固有の単語表現をモデル化する。
高いレベルは、これらの表現を1つのグラフにまとめて、両方のモダリティから共同で表現を学ぶ。
論文 参考訳（メタデータ） (2021-09-07T13:40:32Z) - Online Graph Dictionary Learning [10.394615068526505]
本論文では,Gromov Wassersteinの発散をデータフィッティング用語として用いるオンライングラフ辞書学習手法を提案する。
私たちの研究では、グラフはノードの対関係を通じてエンコードされ、グラフ原子の凸結合としてモデル化されます。
私たちのアプローチはラベル付きグラフに自然に拡張され、埋め込み空間におけるGromov Wassersteinの高速近似として使用できる新しい上界によって完了されます。
論文 参考訳（メタデータ） (2021-02-12T14:39:28Z) - COLOGNE: Coordinated Local Graph Neighborhood Sampling [1.6498361958317633]
グラフノードのような個別の未順序オブジェクトを実数値ベクトルで置き換えることは、グラフデータから学ぶための多くのアプローチの中心である。
ノードベクトル表現の座標がグラフノードであるような離散ノード埋め込みを学習する問題に対処する。
これにより、ノードにもともと存在するすべての属性が保存されているため、グラフの解釈可能な機械学習アルゴリズムを設計する扉が開く。
論文 参考訳（メタデータ） (2021-02-09T11:39:06Z) - Learning the Implicit Semantic Representation on Graph-Structured Data [57.670106959061634]
グラフ畳み込みネットワークにおける既存の表現学習手法は主に、各ノードの近傍を知覚全体として記述することで設計される。
本稿では,グラフの潜在意味パスを学習することで暗黙的な意味を探索する意味グラフ畳み込みネットワーク(sgcn)を提案する。
論文 参考訳（メタデータ） (2021-01-16T16:18:43Z) - Morphological Skip-Gram: Using morphological knowledge to improve word
representation [2.0129974477913457]
我々は,文字n-gramのFastTextバッグを単語形態素の袋に置き換えることで,単語埋め込みを訓練する新しい手法を提案する。
結果は、FastTextと比較して、競争力のあるパフォーマンスを示している。
論文 参考訳（メタデータ） (2020-07-20T12:47:36Z) - Graph-Structured Referring Expression Reasoning in The Wild [105.95488002374158]
接地参照表現は、自然言語表現によって参照されるオブジェクトのイメージ中を特定することを目的としている。
本研究では,シーングラフとシーングラフの推論を行うために,シーングラフガイドモジュールネットワーク(SGMN)を提案する。
また,構造化参照式推論のための大規模実世界のデータセットRef-Reasoningを提案する。
論文 参考訳（メタデータ） (2020-04-19T11:00:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。