論文の概要: Contrastive Loss is All You Need to Recover Analogies as Parallel Lines
- arxiv url: http://arxiv.org/abs/2306.08221v1
- Date: Wed, 14 Jun 2023 03:22:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-16 20:35:32.672532
- Title: Contrastive Loss is All You Need to Recover Analogies as Parallel Lines
- Title(参考訳): 反対の損失は、パラレルラインとしてアナロジーを回復するために必要なもの
- Authors: Narutatsu Ri, Fei-Tzin Lee, Nakul Verma
- Abstract要約: 単語埋め込みにおいて並列構造を生成するのに、対照的な損失が十分であることを示す。
我々は,共起統計量と結果の単語埋め込みの幾何学的構造との正確な関係を確立する。
- 参考スコア(独自算出の注目度): 2.413521030313969
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While static word embedding models are known to represent linguistic
analogies as parallel lines in high-dimensional space, the underlying mechanism
as to why they result in such geometric structures remains obscure. We find
that an elementary contrastive-style method employed over distributional
information performs competitively with popular word embedding models on
analogy recovery tasks, while achieving dramatic speedups in training time.
Further, we demonstrate that a contrastive loss is sufficient to create these
parallel structures in word embeddings, and establish a precise relationship
between the co-occurrence statistics and the geometric structure of the
resulting word embeddings.
- Abstract(参考訳): 静的な単語埋め込みモデルは、言語アナロジーを高次元空間における平行線として表現することが知られているが、なぜそのような幾何学的構造をもたらすのかというメカニズムは、いまだ不明である。
学習時間に劇的な高速化を図りながら、分布情報よりも基本的なコントラスト型手法が、アナログ回復タスクにおける一般的な単語埋め込みモデルと競合することを示した。
さらに, コントラスト損失は, 単語埋め込みにおいてこれらの並列構造を作るのに十分であることを示すとともに, 共起統計量と単語埋め込みの幾何学的構造との正確な関係を確立する。
関連論文リスト
- REBAR: Retrieval-Based Reconstruction for Time-series Contrastive Learning [64.08293076551601]
正の対を識別する学習尺度を新たに提案する。
検索ベースレコンストラクションは2つのシーケンス間の類似度を測定する。
本稿では,REBAR誤差が相互クラスメンバシップの予測因子であることを示す。
論文 参考訳(メタデータ) (2023-11-01T13:44:45Z) - Why bother with geometry? On the relevance of linear decompositions of
Transformer embeddings [5.151529346168568]
このような2つの埋め込み分解法を用いて,機械翻訳デコーダの表現について検討した。
結果から,分解誘導指標はモデル性能と効果的に相関するが,異なる実行時間にまたがる変動は,この問題に対するより微妙な取扱いを示唆している。
論文 参考訳(メタデータ) (2023-10-10T19:56:10Z) - An Investigation on Word Embedding Offset Clustering as Relationship
Classification [0.0]
本研究は,一対の単語ベクトル間の関係のベクトル表現を導出する試みである。
我々は6つのプーリング戦略を使ってベクトル関係を表現している。
本研究の目的は,単語の組込みに基づく教師なし手法により,一対の単語で表される関係の性質を識別することである。
論文 参考訳(メタデータ) (2023-05-07T13:03:17Z) - Linear Spaces of Meanings: Compositional Structures in Vision-Language
Models [110.00434385712786]
事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。
まず,幾何学的観点から構成構造を理解するための枠組みを提案する。
次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
論文 参考訳(メタデータ) (2023-02-28T08:11:56Z) - Model Criticism for Long-Form Text Generation [113.13900836015122]
我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。
我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。
トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
論文 参考訳(メタデータ) (2022-10-16T04:35:58Z) - Temporally-Consistent Surface Reconstruction using Metrically-Consistent
Atlases [131.50372468579067]
そこで本稿では,時間変化点雲列から時間一貫性のある面列を復元する手法を提案する。
我々は、再構成された表面をニューラルネットワークによって計算されたアトラスとして表現し、フレーム間の対応性を確立することができる。
当社のアプローチは、いくつかの挑戦的なデータセットにおいて、最先端のものよりも優れています。
論文 参考訳(メタデータ) (2021-11-12T17:48:25Z) - Imposing Relation Structure in Language-Model Embeddings Using
Contrastive Learning [30.00047118880045]
グラフ構造における関係をエンコードするために文埋め込みを訓練する新しいコントラスト学習フレームワークを提案する。
結果として得られた関係認識文の埋め込みは、関係抽出タスクにおける最先端の結果を得る。
論文 参考訳(メタデータ) (2021-09-02T10:58:27Z) - The Low-Dimensional Linear Geometry of Contextualized Word
Representations [27.50785941238007]
ELMOおよびBERTにおける文脈化単語表現の線形幾何学について検討する。
様々な言語特徴が低次元部分空間に符号化されていることを示す。
論文 参考訳(メタデータ) (2021-05-15T00:58:08Z) - Unsupervised Word Translation Pairing using Refinement based Point Set
Registration [8.568050813210823]
単語埋め込みの言語間アライメントは、言語間の知識伝達において重要な役割を果たす。
現在の教師なしのアプローチは、言語にまたがる単語埋め込み空間の幾何学的構造における類似性に依存している。
本稿では,バイリンガル単語の共有ベクトル空間への埋め込みを教師なしでマッピングするBioSpereを提案する。
論文 参考訳(メタデータ) (2020-11-26T09:51:29Z) - Supporting Optimal Phase Space Reconstructions Using Neural Network
Architecture for Time Series Modeling [68.8204255655161]
位相空間特性を暗黙的に学習する機構を持つ人工ニューラルネットワークを提案する。
私たちのアプローチは、ほとんどの最先端戦略と同じくらいの競争力があるか、あるいは優れているかのどちらかです。
論文 参考訳(メタデータ) (2020-06-19T21:04:47Z) - Multiplex Word Embeddings for Selectional Preference Acquisition [70.33531759861111]
単語間の様々な関係に応じて容易に拡張できる多重単語埋め込みモデルを提案する。
本モデルでは,不必要なスパース性を導入することなく,関係の異なる単語を効果的に識別することができる。
論文 参考訳(メタデータ) (2020-01-09T04:47:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。