論文の概要: Quantized Wasserstein Procrustes Alignment of Word Embedding Spaces

• arxiv url: http://arxiv.org/abs/2212.02468v1
• Date: Mon, 5 Dec 2022 18:23:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 16:48:05.794211
• Title: Quantized Wasserstein Procrustes Alignment of Word Embedding Spaces
• Title（参考訳）: 量子化ワッサースタインによる単語埋め込み空間のアライメント
• Authors: Prince O Aboagye, Yan Zheng, Michael Yeh, Junpeng Wang, Zhongfang Zhuang, Huiyuan Chen, Liang Wang, Wei Zhang, Jeff Phillips
• Abstract要約: 我々は、量子化ワッサースタイン・プロクリスト(qWP)と呼ばれる教師なしプロジェクションに基づくCLWEモデルを提案する。 qWPは、置換行列を推定するために、ソースとターゲットのモノリンガル埋め込み空間の量子化ステップに依存する。 我々は,qWPがバイリンガル語彙誘導(BLI)タスクの最先端結果を達成することを実証した。
• 参考スコア（独自算出の注目度）: 19.75354765549272
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimal Transport (OT) provides a useful geometric framework to estimate the permutation matrix under unsupervised cross-lingual word embedding (CLWE) models that pose the alignment task as a Wasserstein-Procrustes problem. However, linear programming algorithms and approximate OT solvers via Sinkhorn for computing the permutation matrix come with a significant computational burden since they scale cubically and quadratically, respectively, in the input size. This makes it slow and infeasible to compute OT distances exactly for a larger input size, resulting in a poor approximation quality of the permutation matrix and subsequently a less robust learned transfer function or mapper. This paper proposes an unsupervised projection-based CLWE model called quantized Wasserstein Procrustes (qWP). qWP relies on a quantization step of both the source and target monolingual embedding space to estimate the permutation matrix given a cheap sampling procedure. This approach substantially improves the approximation quality of empirical OT solvers given fixed computational cost. We demonstrate that qWP achieves state-of-the-art results on the Bilingual lexicon Induction (BLI) task.
• Abstract（参考訳）: 最適輸送(OT)は、アライメントタスクをWasserstein-Procrustes問題として表す、教師なし言語間単語埋め込み(CLWE)モデルの下での置換行列を推定するための有用な幾何学的枠組みを提供する。 しかし、置換行列を計算するためにシンクホーンを経由する線形プログラミングアルゴリズムと近似otソルバは、それぞれ入力サイズで立方体と二次体にスケールするため、かなりの計算負荷を負う。 これにより、ot距離をより大きな入力サイズで正確に計算することができなくなり、置換行列の近似品質が低くなり、学習伝達関数やマッパーのロバストが低下する。 本稿では,量子化waserstein procrustes (qwp) と呼ばれる非教師付き投影型clweモデルを提案する。 qWPは、安価なサンプリング手順を与えられた置換行列を推定するために、ソースとターゲットのモノリンガル埋め込み空間の量子化ステップに依存する。 このアプローチは、固定計算コストが与えられた経験的otソルバの近似品質を実質的に改善する。 我々は,qWPがバイリンガル語彙誘導(BLI)タスクの最先端結果を達成することを示す。

関連論文リスト

• Computational-Statistical Gaps in Gaussian Single-Index Models [77.1473134227844]
  単次元モデル(Single-Index Models)は、植木構造における高次元回帰問題である。 我々は,統計的クエリ (SQ) と低遅延多項式 (LDP) フレームワークの両方において,計算効率のよいアルゴリズムが必ずしも$Omega(dkstar/2)$サンプルを必要とすることを示した。
  論文  参考訳（メタデータ） (2024-03-08T18:50:19Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• QuantEase: Optimization-based Quantization for Language Models [17.333778751252392]
  本研究は,近年のLarge Language Models (LLMs) の進歩から,様々な量子化層の量子化(PTQ)を導入する。 当社のCDベースのアプローチは、ベクター操作にのみ依存して、簡単にアップデートできる。 我々はまた、完全な精度で重要な重量(外積)を維持することができるような、外れ値のアプローチも検討している。
  論文  参考訳（メタデータ） (2023-09-05T01:39:09Z)
• Linearized Wasserstein dimensionality reduction with approximation guarantees [65.16758672591365]
  LOT Wassmap は、ワーッサーシュタイン空間の低次元構造を明らかにするための計算可能なアルゴリズムである。 我々は,LOT Wassmapが正しい埋め込みを実現し,サンプルサイズの増加とともに品質が向上することを示す。 また、LOT Wassmapがペア距離計算に依存するアルゴリズムと比較して計算コストを大幅に削減することを示す。
  論文  参考訳（メタデータ） (2023-02-14T22:12:16Z)
• A doubly stochastic matrices-based approach to optimal qubit routing [0.0]
  スワップマッピングは、SWAPゲートによって論理量子回路を等価な物理実装可能なものにマッピングする量子コンパイラ最適化である。 本研究では、置換行列の組み合わせとして定義される二重凸行列と呼ばれる構造を用いる。 提案アルゴリズムは,追加時間のコストで,アートアルゴリズムSABREの状態と比較して,大幅な深度低減を実現することができることを示す。
  論文  参考訳（メタデータ） (2022-11-14T09:25:35Z)
• Statistical Inference of Constrained Stochastic Optimization via Sketched Sequential Quadratic Programming [53.63469275932989]
  制約付き非線形最適化問題のオンライン統計的推測を考察する。 これらの問題を解決するために、逐次二次計画法(StoSQP)を適用する。
  論文  参考訳（メタデータ） (2022-05-27T00:34:03Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
  共分散行列の明示的な構成を避ける新しい推論手法を提案する。 本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。 いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
  論文  参考訳（メタデータ） (2022-02-25T16:35:26Z)
• Projection Robust Wasserstein Barycenter [36.97843660480747]
  ワッサースタイン・バリセンターの 近似は 次元の呪いのため 数値的に困難です 本稿では,次元の呪いを緩和するプロジェクションロバストなワッサーシュタインバリセンタ(PRWB)を提案する。
  論文  参考訳（メタデータ） (2021-02-05T19:23:35Z)
• Metalearning: Sparse Variable-Structure Automata [0.0]
  本研究では,動的スパース符号ベクトルをフライ時に使用する基底ベクトルの数を増やすメタラーニング手法を提案する。 アクター批判アルゴリズムが展開され、必要な精度のレベルに関する特徴の適切な寸法を自動的に選択する。
  論文  参考訳（メタデータ） (2021-01-30T21:32:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。