Fugu-MT 論文翻訳(概要): Squashed Shifted PMI Matrix: Bridging Word Embeddings and Hyperbolic Spaces

論文の概要: Squashed Shifted PMI Matrix: Bridging Word Embeddings and Hyperbolic Spaces

arxiv url: http://arxiv.org/abs/2002.12005v2
Date: Sat, 26 Sep 2020 15:06:00 GMT
ステータス: 処理完了
システム内更新日: 2022-12-28 07:30:24.476536
Title: Squashed Shifted PMI Matrix: Bridging Word Embeddings and Hyperbolic Spaces
Title（参考訳）: Squashed Shifted PMI Matrix: Bridging Word Embeddings and Hyperbolic Spaces
Authors: Zhenisbek Assylbekov and Alibi Jangeldin
Abstract要約: 陰性サンプリングによるスキップグラムにおけるシグモイド変換の除去は,単語ベクトルの品質を著しく損なうものではないことを示す。また、ランダムグラフの接続確率行列として扱うことができるスクワットシフトPMI行列を分解する。
参考スコア（独自算出の注目度）: 7.855758501691244
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We show that removing sigmoid transformation in the skip-gram with negative sampling (SGNS) objective does not harm the quality of word vectors significantly and at the same time is related to factorizing a squashed shifted PMI matrix which, in turn, can be treated as a connection probabilities matrix of a random graph. Empirically, such graph is a complex network, i.e. it has strong clustering and scale-free degree distribution, and is tightly connected with hyperbolic spaces. In short, we show the connection between static word embeddings and hyperbolic spaces through the squashed shifted PMI matrix using analytical and empirical methods.
Abstract（参考訳）: 負サンプリング(sgns)目的のスキップグラムにおけるsgmoid変換の除去は,単語ベクトルの品質に大きな影響を及ぼさないと同時に,ランダムグラフの接続確率行列として扱うことができるスカッシュシフトpmi行列の分解に関連していることを示す。経験的に、そのようなグラフは複雑なネットワーク、すなわち強いクラスタリングとスケール自由度分布を持ち、双曲空間と強く結びついている。要約すると, 静的単語埋め込みと双曲空間との接続を解析的および経験的手法を用いて, 偏移したPMI行列を通して示す。

関連論文リスト

Symmetry-driven embedding of networks in hyperbolic space [0.4779196219827508]
双曲モデルでは、経験的ネットワークの重み付き次数分布、高いクラスタリング、階層構造を再現することができる。しかし、ネットワークの双曲座標を見つけるための現在のアルゴリズムは、推論された座標の不確かさを定量化しない。 BIGUEはマルコフ連鎖モンテカルロアルゴリズムであり、ベイズ的双曲乱数グラフモデルの後部分布をサンプリングする。
論文参考訳（メタデータ） (2024-06-15T18:44:02Z)
HeNCler: Node Clustering in Heterophilous Graphs through Learned Asymmetric Similarity [55.27586970082595]
HeNClerは、Heterophilous Node Clusteringの新しいアプローチである。 HeNClerは異種グラフコンテキストにおけるノードクラスタリングタスクの性能を大幅に向上させることを示す。
論文参考訳（メタデータ） (2024-05-27T11:04:05Z)
Dynamic transition of the density-matrix topology under parity-time symmetry [1.5596062401801003]
密度行列トポロジーは対応する開系力学において遷移を起こすことができる。隠れパリティ時間対称性がさらに促進できることが示される。注目すべきことに、動的遷移はパリティ時対称性が破れた状態でも周期的に起こることがある。
論文参考訳（メタデータ） (2024-04-23T06:30:44Z)
Bayesian Inference of Transition Matrices from Incomplete Graph Data with a Topological Prior [1.2891210250935143]
本研究では, 繰り返し相互作用とトポロジカルなトポロジカルな手法を用いて解析的に抽出可能なベイズ法を導出し, 遷移行列をデータ効率よく推論する。トポロジカル制約の知識が部分的である場合においても, 高い精度で遷移確率を回復し, 頑健であることを示す。
論文参考訳（メタデータ） (2022-10-27T13:17:47Z)
Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。この問題は楕円分布のペナルティ化された最大推定値として表される。楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文参考訳（メタデータ） (2022-10-21T13:19:45Z)
Hybrid Model-based / Data-driven Graph Transform for Image Coding [54.31406300524195]
予測内残差ブロックを符号化するハイブリッドモデルベース/データ駆動方式を提案する。変換行列の最初の$K$固有ベクトルは、安定性のための非対称離散正弦変換(ADST)のような統計モデルから導かれる。 WebPをベースライン画像として使用することにより、我々のハイブリッドグラフ変換は、デフォルトの離散コサイン変換(DCT)よりもエネルギーの圧縮が良く、KLTよりも安定性がよいことを示す。
論文参考訳（メタデータ） (2022-03-02T15:36:44Z)
Compressing Heavy-Tailed Weight Matrices for Non-Vacuous Generalization Bounds [0.0]
arXiv:1802.05296の圧縮フレームワークを用いて、重テール分布行列要素を持つ行列を圧縮可能であることを示す。ベクトル上のこれらの行列の作用について論じ、圧縮と弾力的な分類との関係について分析する。
論文参考訳（メタデータ） (2021-05-23T21:36:33Z)
Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
論文参考訳（メタデータ） (2021-05-03T16:36:27Z)
Distributed support-vector-machine over dynamic balanced directed networks [10.76210145983805]
分散サポートマシンによるバイナリ分類問題を考察する。離散ジャンプにおけるネットワークトポロジの変化を取り入れた連続時間アルゴリズムを提案する。
論文参考訳（メタデータ） (2021-04-01T11:02:10Z)
Joint Network Topology Inference via Structured Fusion Regularization [70.30364652829164]
結合ネットワークトポロジ推論は、異種グラフ信号から複数のグラフラプラシア行列を学習する標準的な問題を表す。新規な構造化融合正規化に基づく一般グラフ推定器を提案する。提案するグラフ推定器は高い計算効率と厳密な理論保証の両方を享受できることを示す。
論文参考訳（メタデータ） (2021-03-05T04:42:32Z)
Semiparametric Nonlinear Bipartite Graph Representation Learning with Provable Guarantees [106.91654068632882]
半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
論文参考訳（メタデータ） (2020-03-02T16:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。