論文の概要: Pruned Wasserstein Index Generation Model and wigpy Package
- arxiv url: http://arxiv.org/abs/2004.00999v3
- Date: Thu, 9 Jul 2020 14:42:59 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-18 06:58:08.190131
- Title: Pruned Wasserstein Index Generation Model and wigpy Package
- Title（参考訳）: Pruned Wasserstein Index Generation Modelとウィッピーパッケージ
- Authors: Fangzhou Xie
- Abstract要約: 本稿では,WIGモデルに適合する前処理ステップとして,語彙の次元性を低減するためのラッソに基づく縮小法を提案する。
両方のフレーバーで計算を実行するために、Pythonのtextitwigpyモジュールも提供しています。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent proposal of Wasserstein Index Generation model (WIG) has shown a new
direction for automatically generating indices. However, it is challenging in
practice to fit large datasets for two reasons. First, the Sinkhorn distance is
notoriously expensive to compute and suffers from dimensionality severely.
Second, it requires to compute a full $N\times N$ matrix to be fit into memory,
where $N$ is the dimension of vocabulary. When the dimensionality is too large,
it is even impossible to compute at all. I hereby propose a Lasso-based
shrinkage method to reduce dimensionality for the vocabulary as a
pre-processing step prior to fitting the WIG model. After we get the word
embedding from Word2Vec model, we could cluster these high-dimensional vectors
by $k$-means clustering, and pick most frequent tokens within each cluster to
form the "base vocabulary". Non-base tokens are then regressed on the vectors
of base token to get a transformation weight and we could thus represent the
whole vocabulary by only the "base tokens". This variant, called pruned WIG
(pWIG), will enable us to shrink vocabulary dimension at will but could still
achieve high accuracy. I also provide a \textit{wigpy} module in Python to
carry out computation in both flavor. Application to Economic Policy
Uncertainty (EPU) index is showcased as comparison with existing methods of
generating time-series sentiment indices.
- Abstract（参考訳）: Wasserstein Index Generation Model (WIG) の最近の提案は、インデックスを自動的に生成する新しい方向を示している。
しかし、大きなデータセットを2つの理由で適合させることは実際には難しい。
まず、シンクホーン距離は計算に費用がかかり、寸法が厳しくなる。
第二に、完全な$N\times N$行列をメモリに適合させるためには、$N$は語彙の次元である。
次元が大きすぎると、計算が全く不可能になる。
本稿では,WIGモデルに適合する前処理ステップとして,語彙の次元性を低減するためのラッソに基づく縮小法を提案する。
word2vec モデルから単語埋め込みを得た後、これらの高次元ベクトルを $k$-means クラスタリングでクラスタ化し、各クラスタ内で最も頻度の高いトークンを選択して "base vocabulary" を形成することができる。
非ベーストークンは、変換の重み付けを得るためにベーストークンのベクター上でレグレッションされ、それによって「ベーストークン」のみによって語彙全体を表現できる。
この変種はpWIG(pruned WIG)と呼ばれ、語彙次元を自由に縮めることができるが、精度は高い。
Pythonで \textit{wigpy} モジュールを提供し、両方のフレーバーで計算を実行します。
経済政策不確実性(EPU)指標の適用は、時系列感情指数を生成する既存の方法との比較として示される。
関連論文リスト
- Do you know what q-means? [50.045011844765185]
クラスタリングは、大規模なデータセットを分析する上で最も重要なツールの1つである。
クラスタリングのための"$q$-means"アルゴリズムの改良版を提案する。
また、$Obig(frack2varepsilon2(sqrtkd + log(Nd))big で実行される $varepsilon に対する "dequantized" アルゴリズムも提示する。
論文 参考訳（メタデータ） (2023-08-18T17:52:12Z) - Torch-Choice: A PyTorch Package for Large-Scale Choice Modelling with
Python [11.566791864440262]
$texttttorch-choice$はPythonとPyTorchを使ったフレキシブルで高速な選択モデリングのためのオープンソースライブラリである。
$textttChoiceDataset$は、データベースを柔軟かつメモリ効率よく管理するための、$textttChoiceDataset$データ構造を提供します。
論文 参考訳（メタデータ） (2023-04-04T16:00:48Z) - Convergence of alternating minimisation algorithms for dictionary
learning [4.5687771576879594]
辞書学習のための2つの交互最小化アルゴリズムの収束に十分な条件を導出する。
我々は、生成辞書に少なくとも1/log(K)$の距離で、あるいは、初期化の各要素が1つの生成要素のみを指していることを保証する特別な構造を持つような、よく知られた初期化が与えられた場合、どちらのアルゴリズムも生成辞書への幾何収束率に収束することを示す。
論文 参考訳（メタデータ） (2023-04-04T12:58:47Z) - N-Gram Nearest Neighbor Machine Translation [101.25243884801183]
本稿では, 自己回帰翻訳(AT)モデルと非自己回帰翻訳(NAT)モデルの両方に適用可能な, モデルに依存しない新しいn$-gram近傍検索手法を提案する。
提案手法は,ATモデルおよびNATモデルおよび一般のドメイン適応翻訳タスクにおいて,トークンレベル法を一貫して上回ることを示す。
論文 参考訳（メタデータ） (2023-01-30T13:19:19Z) - Modeling Label Correlations for Second-Order Semantic Dependency Parsing
with Mean-Field Inference [34.75002236767817]
エンド・ツー・エンド平均場推論を用いた2次セマンティック解析は優れた性能を示した。
本研究では,隣り合う弧間のラベル相関をモデル化することで,この手法を改善することを目的とする。
この計算課題に対処するために、テンソル分解技術を利用する。
論文 参考訳（メタデータ） (2022-04-07T17:40:08Z) - Efficient and robust high-dimensional sparse logistic regression via
nonlinear primal-dual hybrid gradient algorithms [0.0]
弾性ネットペナルティによって正規化されるロジスティック回帰問題に対する解を確実に計算する反復アルゴリズムを提案する。
この結果は、一階最適化法に対して$O(min(m2n,mn2)log (1/epsilon))$の既知の複雑性境界を改善する。
論文 参考訳（メタデータ） (2021-11-30T14:16:48Z) - Compressing 1D Time-Channel Separable Convolutions using Sparse Random
Ternary Matrices [65.4388266814055]
1次元時間チャネル分離可能な畳み込みの1x1-畳み込みを、定数でスパースな乱数三元行列で-1,0,+1$の重みで置き換える。
Google Speech Commands v1のコマンド認識のために、最新の精度を同じネットワークサイズで97.21%$から97.41%$に改善します。
librispeech上での音声認識では、トレーニングすべき重みの数は半分になり、浮動小数点ベースラインの単語誤り率の約1%を犠牲にします。
論文 参考訳（メタデータ） (2021-03-31T15:09:20Z) - Learning Universal Shape Dictionary for Realtime Instance Segmentation [40.27913339054021]
事例分割のための新しい明示的な形状表現を提案する。
オブジェクトの形状をモデル化する方法に基づいて、現在のインスタンスセグメンテーションシステムは暗黙のモデルと明示的なモデルという2つのカテゴリに分けられる。
提案したUSD-Segは、オブジェクト形状に対して、辞書を用いたスパース符号化という線形モデルを採用する。
論文 参考訳（メタデータ） (2020-12-02T09:44:49Z) - Deep Learning Meets Projective Clustering [66.726500395069]
NLPネットワークを圧縮するための一般的なアプローチは、埋め込み層を行列 $AinmathbbRntimes d$ としてエンコードすることである。
計算幾何学から遠射的クラスタリングに着想を得て、この部分空間を$k$部分空間の集合で置き換えることを提案する。
論文 参考訳（メタデータ） (2020-10-08T22:47:48Z) - Improving Robustness and Generality of NLP Models Using Disentangled
Representations [62.08794500431367]
スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。
本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。
提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
論文 参考訳（メタデータ） (2020-09-21T02:48:46Z) - Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。
テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
論文 参考訳（メタデータ） (2020-03-18T13:07:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。