論文の概要: Contrastive Loss is All You Need to Recover Analogies as Parallel Lines
- arxiv url: http://arxiv.org/abs/2306.08221v1
- Date: Wed, 14 Jun 2023 03:22:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-16 20:35:32.672532
- Title: Contrastive Loss is All You Need to Recover Analogies as Parallel Lines
- Title(参考訳): 反対の損失は、パラレルラインとしてアナロジーを回復するために必要なもの
- Authors: Narutatsu Ri, Fei-Tzin Lee, Nakul Verma
- Abstract要約: 単語埋め込みにおいて並列構造を生成するのに、対照的な損失が十分であることを示す。
我々は,共起統計量と結果の単語埋め込みの幾何学的構造との正確な関係を確立する。
- 参考スコア(独自算出の注目度): 2.413521030313969
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While static word embedding models are known to represent linguistic
analogies as parallel lines in high-dimensional space, the underlying mechanism
as to why they result in such geometric structures remains obscure. We find
that an elementary contrastive-style method employed over distributional
information performs competitively with popular word embedding models on
analogy recovery tasks, while achieving dramatic speedups in training time.
Further, we demonstrate that a contrastive loss is sufficient to create these
parallel structures in word embeddings, and establish a precise relationship
between the co-occurrence statistics and the geometric structure of the
resulting word embeddings.
- Abstract(参考訳): 静的な単語埋め込みモデルは、言語アナロジーを高次元空間における平行線として表現することが知られているが、なぜそのような幾何学的構造をもたらすのかというメカニズムは、いまだ不明である。
学習時間に劇的な高速化を図りながら、分布情報よりも基本的なコントラスト型手法が、アナログ回復タスクにおける一般的な単語埋め込みモデルと競合することを示した。
さらに, コントラスト損失は, 単語埋め込みにおいてこれらの並列構造を作るのに十分であることを示すとともに, 共起統計量と単語埋め込みの幾何学的構造との正確な関係を確立する。
関連論文リスト
- The Double-Ellipsoid Geometry of CLIP [4.013156524547072]
対照的に、CLIP(Contrastive Language- Image Pre-Training)は機械学習アプリケーションにおいて非常に有効である。
テキストと画像は, 原点中心ではなく, 線形分離可能な楕円体殻上に存在することを示す。
インスタンスの任意の他のインスタンスに対する平均コサイン類似度を測定する、新しい整合性の概念が導入された。
論文 参考訳(メタデータ) (2024-11-21T16:27:22Z) - Geometric Relational Embeddings [19.383110247906256]
本稿では,基礎となるシンボル構造を尊重する埋め込みのパラダイムであるリレーショナル埋め込みを提案する。
実世界のベンチマークデータセットから得られた結果は、幾何学的リレーショナル埋め込みの有効性を示す。
論文 参考訳(メタデータ) (2024-09-18T22:02:24Z) - Compositional Structures in Neural Embedding and Interaction Decompositions [101.40245125955306]
ニューラルネットワークにおけるベクトル埋め込みにおける線形代数構造間の基本的な対応について述べる。
相互作用分解」の観点から構成構造の特徴づけを導入する。
モデルの表現の中にそのような構造が存在するためには、必要かつ十分な条件を確立する。
論文 参考訳(メタデータ) (2024-07-12T02:39:50Z) - REBAR: Retrieval-Based Reconstruction for Time-series Contrastive Learning [64.08293076551601]
正の対を識別する学習尺度を新たに提案する。
検索ベースレコンストラクションは2つのシーケンス間の類似度を測定する。
本稿では,REBAR誤差が相互クラスメンバシップの予測因子であることを示す。
論文 参考訳(メタデータ) (2023-11-01T13:44:45Z) - Linear Spaces of Meanings: Compositional Structures in Vision-Language
Models [110.00434385712786]
事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。
まず,幾何学的観点から構成構造を理解するための枠組みを提案する。
次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
論文 参考訳(メタデータ) (2023-02-28T08:11:56Z) - Model Criticism for Long-Form Text Generation [113.13900836015122]
我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。
我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。
トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
論文 参考訳(メタデータ) (2022-10-16T04:35:58Z) - The Low-Dimensional Linear Geometry of Contextualized Word
Representations [27.50785941238007]
ELMOおよびBERTにおける文脈化単語表現の線形幾何学について検討する。
様々な言語特徴が低次元部分空間に符号化されていることを示す。
論文 参考訳(メタデータ) (2021-05-15T00:58:08Z) - Unsupervised Word Translation Pairing using Refinement based Point Set
Registration [8.568050813210823]
単語埋め込みの言語間アライメントは、言語間の知識伝達において重要な役割を果たす。
現在の教師なしのアプローチは、言語にまたがる単語埋め込み空間の幾何学的構造における類似性に依存している。
本稿では,バイリンガル単語の共有ベクトル空間への埋め込みを教師なしでマッピングするBioSpereを提案する。
論文 参考訳(メタデータ) (2020-11-26T09:51:29Z) - Supporting Optimal Phase Space Reconstructions Using Neural Network
Architecture for Time Series Modeling [68.8204255655161]
位相空間特性を暗黙的に学習する機構を持つ人工ニューラルネットワークを提案する。
私たちのアプローチは、ほとんどの最先端戦略と同じくらいの競争力があるか、あるいは優れているかのどちらかです。
論文 参考訳(メタデータ) (2020-06-19T21:04:47Z) - Multiplex Word Embeddings for Selectional Preference Acquisition [70.33531759861111]
単語間の様々な関係に応じて容易に拡張できる多重単語埋め込みモデルを提案する。
本モデルでは,不必要なスパース性を導入することなく,関係の異なる単語を効果的に識別することができる。
論文 参考訳(メタデータ) (2020-01-09T04:47:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。