論文の概要: Efficient distributed representations beyond negative sampling
- arxiv url: http://arxiv.org/abs/2303.17475v1
- Date: Thu, 30 Mar 2023 15:48:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-31 13:01:56.397142
- Title: Efficient distributed representations beyond negative sampling
- Title(参考訳): 負サンプリングを超えた効率的な分散表現
- Authors: Lorenzo Dall'Amico and Enrico Maria Belliardo
- Abstract要約: 本稿では,分散表現を効率よく学習する手法について述べる。
我々は,sotfmax正規化定数を線形時間で推定でき,効率的な最適化戦略を設計できることを示した。
- 参考スコア(独自算出の注目度): 7.005458308454873
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This article describes an efficient method to learn distributed
representations, also known as embeddings. This is accomplished minimizing an
objective function similar to the one introduced in the Word2Vec algorithm and
later adopted in several works. The optimization computational bottleneck is
the calculation of the softmax normalization constants for which a number of
operations scaling quadratically with the sample size is required. This
complexity is unsuited for large datasets and negative sampling is a popular
workaround, allowing one to obtain distributed representations in linear time
with respect to the sample size. Negative sampling consists, however, in a
change of the loss function and hence solves a different optimization problem
from the one originally proposed. Our contribution is to show that the sotfmax
normalization constants can be estimated in linear time, allowing us to design
an efficient optimization strategy to learn distributed representations. We
test our approximation on two popular applications related to word and node
embeddings. The results evidence competing performance in terms of accuracy
with respect to negative sampling with a remarkably lower computational time.
- Abstract(参考訳): 本稿では,分散表現を学習するための効率的な手法について述べる。
これはWord2Vecアルゴリズムで導入されたものと類似した目的関数を最小化し、後にいくつかの作品で採用された。
最適化計算のボトルネックは、サンプルサイズと2次にスケーリングする多数の演算を必要とするソフトマックス正規化定数の計算である。
この複雑さは大規模なデータセットには不適であり、負のサンプリングは一般的な回避策であり、サンプルサイズに関して線形時間で分散表現を得ることができる。
しかし、負のサンプリングは損失関数の変更に含まれるため、当初提案されたものと異なる最適化問題を解決する。
我々の貢献は、sotfmax正規化定数を線形時間で推定できることを示し、分散表現を学習するための効率的な最適化戦略を設計できることである。
単語とノードの埋め込みに関連する2つの一般的なアプリケーションで近似をテストします。
その結果, 計算時間が著しく低い負サンプリングに対して, 精度で競合する性能を実証した。
関連論文リスト
- Fast Screening Rules for Optimal Design via Quadratic Lasso
Reformulation [0.135975510645475]
本研究は, 安全スクリーニングのルールを導出し, インテリジェンスサンプルを廃棄する。
新しいテストは、特に高次元のパラメータ空間に関わる問題に対して、より高速に計算できる。
本稿では,ラッソ法の正規化経路を計算するホモトピーアルゴリズムを,正方形 $ell_$-penalty に対して再パラメータ化する方法を示す。
論文 参考訳(メタデータ) (2023-10-13T08:10:46Z) - An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。
このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。
本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-09-30T15:57:14Z) - Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。
本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
論文 参考訳(メタデータ) (2023-06-13T01:18:16Z) - Plug-and-Play split Gibbs sampler: embedding deep generative priors in
Bayesian inference [12.91637880428221]
本稿では, 後方分布から効率的にサンプリングするために, 可変分割を利用したプラグアンドプレイサンプリングアルゴリズムを提案する。
後方サンプリングの課題を2つの単純なサンプリング問題に分割する。
その性能は最近の最先端の最適化とサンプリング手法と比較される。
論文 参考訳(メタデータ) (2023-04-21T17:17:51Z) - Sequential Linearithmic Time Optimal Unimodal Fitting When Minimizing
Univariate Linear Losses [0.0]
スコア値と対象領域の最適マッピングは長方形関数であることを示す。
このアプローチは反復ごとに対数的時間的複雑さを持ち、最適に効率的です。
論文 参考訳(メタデータ) (2023-04-04T22:00:40Z) - Rethinking Collaborative Metric Learning: Toward an Efficient
Alternative without Negative Sampling [156.7248383178991]
コラボレーティブ・メトリック・ラーニング(CML)パラダイムはレコメンデーション・システム(RS)分野に広く関心を集めている。
負のサンプリングが一般化誤差のバイアス付き推定に繋がることがわかった。
そこで我々は,SFCML (textitSampling-Free Collaborative Metric Learning) という名前のCMLに対して,負のサンプリングを伴わない効率的な手法を提案する。
論文 参考訳(メタデータ) (2022-06-23T08:50:22Z) - Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。
これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
論文 参考訳(メタデータ) (2020-06-10T12:48:37Z) - Spatially Adaptive Inference with Stochastic Feature Sampling and
Interpolation [72.40827239394565]
スパースサンプリングされた場所のみの機能を計算することを提案する。
次に、効率的な手順で特徴写像を密に再構築する。
提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
論文 参考訳(メタデータ) (2020-03-19T15:36:31Z) - Distributed Averaging Methods for Randomized Second Order Optimization [54.51566432934556]
我々はヘッセン語の形成が計算的に困難であり、通信がボトルネックとなる分散最適化問題を考察する。
我々は、ヘッセンのサンプリングとスケッチを用いたランダム化二階最適化のための非バイアスパラメータ平均化手法を開発した。
また、不均一なコンピューティングシステムのための非バイアス分散最適化フレームワークを導入するために、二階平均化手法のフレームワークを拡張した。
論文 参考訳(メタデータ) (2020-02-16T09:01:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。