論文の概要: LowFER: Low-rank Bilinear Pooling for Link Prediction

• arxiv url: http://arxiv.org/abs/2008.10858v1
• Date: Tue, 25 Aug 2020 07:33:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 03:08:01.663344
• Title: LowFER: Low-rank Bilinear Pooling for Link Prediction
• Title（参考訳）: LowFER: リンク予測のための低ランクバイリニアプール
• Authors: Saadullah Amin, Stalin Varanasi, Katherine Ann Dunfield, G\"unter Neumann
• Abstract要約: 本稿では,多モーダル学習においてよく用いられる因子化双線形プールモデルを提案する。 我々のモデルは、他のモデルを一般化することが示されている分解タッカーベースのタッカーモデルを自然に一般化する。 実世界のデータセット、パー・オブ・ザ・アーティファクトのパフォーマンスについて評価する。
• 参考スコア（独自算出の注目度）: 4.110108749051657
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge graphs are incomplete by nature, with only a limited number of observed facts from the world knowledge being represented as structured relations between entities. To partly address this issue, an important task in statistical relational learning is that of link prediction or knowledge graph completion. Both linear and non-linear models have been proposed to solve the problem. Bilinear models, while expressive, are prone to overfitting and lead to quadratic growth of parameters in number of relations. Simpler models have become more standard, with certain constraints on bilinear map as relation parameters. In this work, we propose a factorized bilinear pooling model, commonly used in multi-modal learning, for better fusion of entities and relations, leading to an efficient and constraint-free model. We prove that our model is fully expressive, providing bounds on the embedding dimensionality and factorization rank. Our model naturally generalizes Tucker decomposition based TuckER model, which has been shown to generalize other models, as efficient low-rank approximation without substantially compromising the performance. Due to low-rank approximation, the model complexity can be controlled by the factorization rank, avoiding the possible cubic growth of TuckER. Empirically, we evaluate on real-world datasets, reaching on par or state-of-the-art performance. At extreme low-ranks, model preserves the performance while staying parameter efficient.
• Abstract（参考訳）: 知識グラフは本質的に不完全であり、世界知識からの観測された事実は、実体間の構造的関係として表される。 この問題を部分的に解決するためには、統計的関係学習における重要な課題はリンク予測や知識グラフの補完である。 この問題を解決するために線形モデルと非線形モデルの両方が提案されている。 双線型モデルは表現力に富むが、過剰にフィットしやすく、関係数におけるパラメータの2次成長につながる。 より単純なモデルはより標準となり、関係パラメータとして双線型写像に一定の制約がある。 本研究では,マルチモーダル学習においてよく用いられる分解型双線形プールモデルを提案し,エンティティとリレーションの融合性を向上し,効率的かつ制約のないモデルを提案する。 我々は,モデルが完全表現的であることを証明し,埋め込み次元と分解ランクの有界性を示す。 本モデルでは,タッカー分解に基づくタッカーモデルを,性能を損なうことなく効率のよい低ランク近似として自然に一般化する。 低ランク近似により、モデル複雑性は因子化ランクによって制御でき、タッカーの立方体成長の可能性を回避できる。 経験的に、実世界のデータセットについて評価し、同等または最先端のパフォーマンスに到達します。 極端な低ランクでは、モデルはパラメータを効率的に保ちながら性能を維持する。

関連論文リスト

• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
  この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。 言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
  論文  参考訳（メタデータ） (2022-01-08T00:47:50Z)
• A Probit Tensor Factorization Model For Relational Learning [31.613211987639296]
  本稿では,従来のテンソル因数分解モデルから計算効率を継承する,プロビットリンク付きバイナリテンソル因数分解モデルを提案する。 提案手法は,予測精度と解釈可能性の両面で優位性を示す。
  論文  参考訳（メタデータ） (2021-11-06T19:23:07Z)
• T-LoHo: A Bayesian Regularization Model for Structured Sparsity and Smoothness on Graphs [0.0]
  グラフ構造化データでは、構造化されたスパーシリティと滑らかさが団結する傾向にある。 グラフィカルな関係を持つ高次元パラメータに先立って提案する。 構造された空間と滑らかさを同時に検出するために使用します。
  論文  参考訳（メタデータ） (2021-07-06T10:10:03Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Non-parametric Models for Non-negative Functions [48.7576911714538]
  同じ良い線形モデルから非負関数に対する最初のモデルを提供する。 我々は、それが表現定理を認め、凸問題に対する効率的な二重定式化を提供することを証明した。
  論文  参考訳（メタデータ） (2020-07-08T07:17:28Z)
• Causal Inference with Deep Causal Graphs [0.0]
  パラメトリック因果モデリング技術は、カウンターファクト推定の機能を提供することはめったにない。 Deep Causal Graphsは、因果分布をモデル化するニューラルネットワークに必要な機能の抽象的な仕様である。 複雑な相互作用をモデル化する上で,その表現力を示し,機械学習の説明可能性と公正性を示す。
  論文  参考訳（メタデータ） (2020-06-15T13:03:33Z)
• Residual Correlation in Graph Neural Network Regression [39.54530450932135]
  我々は条件付き独立仮定が予測力を著しく制限していることを示します。 この問題を解釈可能かつ効率的なフレームワークで解決する。 我々のフレームワークは、競合するベースラインよりもかなり高い精度を実現している。
  論文  参考訳（メタデータ） (2020-02-19T16:32:54Z)
• On the Discrepancy between Density Estimation and Sequence Generation [92.70116082182076]
  log-likelihoodは、同じファミリー内のモデルを考えるとき、BLEUと非常に相関している。 異なる家族間でのモデルランキングの相関はみられない。
  論文  参考訳（メタデータ） (2020-02-17T20:13:35Z)
• Predicting Multidimensional Data via Tensor Learning [0.0]
  本研究では,本データセットの内在的多次元構造を保持するモデルを開発する。 モデルパラメータを推定するために、オルタネート・リースト・スクエアスアルゴリズムを開発した。 提案モデルは,予測文献に存在するベンチマークモデルより優れている。
  論文  参考訳（メタデータ） (2020-02-11T11:57:07Z)
• Revisiting Graph based Collaborative Filtering: A Linear Residual Graph Convolutional Network Approach [55.44107800525776]
  グラフ畳み込みネットワーク(GCN)は、最先端のグラフベースの表現学習モデルである。 本稿では、GCNベースの協調フィルタリング(CF)ベースのレコメンダシステム(RS)について再検討する。 単純なグラフ畳み込みネットワークの理論と整合して,非線形性を取り除くことで推奨性能が向上することを示す。 本稿では,ユーザ・イテム相互作用モデリングを用いたCF用に特別に設計された残差ネットワーク構造を提案する。
  論文  参考訳（メタデータ） (2020-01-28T04:41:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。