論文の概要: Discovering linguistic (ir)regularities in word embeddings through
max-margin separating hyperplanes
- arxiv url: http://arxiv.org/abs/2003.03654v1
- Date: Sat, 7 Mar 2020 20:21:50 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-25 19:49:48.397794
- Title: Discovering linguistic (ir)regularities in word embeddings through
max-margin separating hyperplanes
- Title（参考訳）: max-margin 分離超平面による単語埋め込みにおける言語的(ir)レギュラリティの発見
- Authors: Noel Kennedy, Imogen Schofield, Dave C. Brodbelt, David B. Church, Dan
G. O'Neill
- Abstract要約: 単語埋め込み空間において,関係する単語の相対的な位置を学習するための新しい手法を示す。
私たちのモデルであるSVMCosは、単語埋め込みのトレーニングにおいて、さまざまな実験的な選択に対して堅牢です。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We experiment with new methods for learning how related words are positioned
relative to each other in word embedding spaces. Previous approaches learned
constant vector offsets: vectors that point from source tokens to target tokens
with an assumption that these offsets were parallel to each other. We show that
the offsets between related tokens are closer to orthogonal than parallel, and
that they have low cosine similarities. We proceed by making a different
assumption; target tokens are linearly separable from source and un-labeled
tokens. We show that a max-margin hyperplane can separate target tokens and
that vectors orthogonal to this hyperplane represent the relationship between
source and targets. We find that this representation of the relationship
obtains the best results in dis-covering linguistic regularities. We experiment
with vector space models trained by a variety of algorithms (Word2vec:
CBOW/skip-gram, fastText, or GloVe), and various word context choices such as
linear word-order, syntax dependency grammars, and with and without knowledge
of word position. These experiments show that our model, SVMCos, is robust to a
range of experimental choices when training word embeddings.
- Abstract（参考訳）: 単語埋め込み空間における関連単語の位置関係を学習するための新しい手法について実験を行った。
以前のアプローチでは、一定のベクトルオフセットを学習した: ソーストークンからターゲットトークンへ向けられたベクトルは、これらのオフセットが互いに平行である、という仮定である。
関連するトークン間のオフセットは並列よりも直交に近いこと,コサイン類似度が低いこと,などが分かる。
ターゲットトークンは、ソーストークンとラベルなしトークンから線形に分離可能である。
最大マージン超平面は対象トークンを分離でき、この超平面に直交するベクトルはソースとターゲットの関係を表す。
この関係の表現は、言語規則性を明らかにする最良の結果を得る。
我々は,様々なアルゴリズム(Word2vec:CBOW/skip-gram,fastText,GloVe)で訓練されたベクトル空間モデルと,線形語順,構文依存文法,および単語位置の知識のない言語コンテキスト選択を実験した。
これらの実験から,我々のモデルであるSVMCosは,単語埋め込みのトレーニングにおいて,実験的な選択に対して堅牢であることが示された。
関連論文リスト
- Tsetlin Machine Embedding: Representing Words Using Logical Expressions [10.825099126920028]
本稿では,論理節を自己教師する自動エンコーダについて紹介する。
節は、"black"、"cup"、"hot"のような文脈的な単語からなり、"coffee"のような他の単語を定義する。
我々は,GLoVeを6つの分類タスクで上回り,いくつかの内在的および外在的ベンチマークに対する埋め込み手法の評価を行った。
論文 参考訳（メタデータ） (2023-01-02T15:02:45Z) - Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。
RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
論文 参考訳（メタデータ） (2022-12-17T05:25:17Z) - More Than Words: Collocation Tokenization for Latent Dirichlet
Allocation Models [71.42030830910227]
モデルが異なる環境でクラスタリングの品質を測定するための新しい指標を提案する。
マージトークンでトレーニングされたトピックは、マージされていないモデルよりも、より明確で、一貫性があり、トピックを区別する効果が高いトピックキーをもたらすことを示す。
論文 参考訳（メタデータ） (2021-08-24T14:08:19Z) - Improving Pretrained Cross-Lingual Language Models via Self-Labeled Word
Alignment [49.45399359826453]
言語間の言語モデルは通常、多言語テキストやパラレル文の言語モデリングで事前訓練される。
本稿では,新たな言語間事前学習課題として認知単語アライメントを導入する。
実験結果から,本手法は各種データセットの言語間移動性を向上することが示された。
論文 参考訳（メタデータ） (2021-06-11T13:36:01Z) - Learning to Remove: Towards Isotropic Pre-trained BERT Embedding [7.765987411382461]
単語表現の研究は、等方的埋め込みが下流タスクの性能を大幅に改善できることを示している。
事前に訓練されたBERT埋め込みのジオメトリを測定し、分析し、等方性とは程遠いことを見つけます。
この問題を解決するためのシンプルで効果的な方法を提案する:学習可能な重みのセットでBERT埋め込みのいくつかの支配的な方向を削除します。
論文 参考訳（メタデータ） (2021-04-12T08:13:59Z) - SemGloVe: Semantic Co-occurrences for GloVe from BERT [55.420035541274444]
GloVeは単語共起行列からの統計情報を利用して単語埋め込みを学ぶ。
BERTから静的なGloVeワード埋め込みに意味的共起を蒸留するSemGloVeを提案します。
論文 参考訳（メタデータ） (2020-12-30T15:38:26Z) - Rethinking Positional Encoding in Language Pre-training [111.2320727291926]
絶対的な位置符号化では、位置埋め込みと単語埋め込みに適用される付加操作が混合相関をもたらすことを示す。
我々はtextbfUntied textPositional textbfEncoding (T) を用いた textbfTransformer という新しい位置符号化手法を提案する。
論文 参考訳（メタデータ） (2020-06-28T13:11:02Z) - Supervised Understanding of Word Embeddings [1.160208922584163]
単語埋め込みにおける線形キーワードレベル分類器の形で教師付きプロジェクションを得た。
我々は,本手法が元の埋め込み次元の解釈可能な投影を生成することを示した。
論文 参考訳（メタデータ） (2020-06-23T20:13:42Z) - Rationalizing Text Matching: Learning Sparse Alignments via Optimal
Transport [14.86310501896212]
本研究では,この選択的合理化アプローチをテキストマッチングに拡張する。
目標は、下流の予測の正当化として、トークンや文などのテキストを共同で選択し、調整することである。
我々のアプローチでは、入力間の最小コストアライメントを見つけるために最適なトランスポート(OT)を採用している。
論文 参考訳（メタデータ） (2020-05-27T01:20:49Z) - Word Rotator's Distance [50.67809662270474]
テキスト類似性を評価する上での鍵となる原則は、単語のアライメントを考慮した2つのテキスト間の意味的重複度を測定することである。
単語ベクトルのノルムは単語の重要度によいプロキシであり、その角度は単語類似度によいプロキシであることを示す。
本稿では,まず単語ベクトルをノルムと方向に分解し,アライメントに基づく類似性を計算する手法を提案する。
論文 参考訳（メタデータ） (2020-04-30T17:48:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。