論文の概要: Topological Interpretations of GPT-3

• arxiv url: http://arxiv.org/abs/2308.03565v2
• Date: Tue, 8 Aug 2023 12:12:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-09 15:45:00.551672
• Title: Topological Interpretations of GPT-3
• Title（参考訳）: GPT-3のトポロジカル解釈
• Authors: Tianyi Sun and Bradley Nelson
• Abstract要約: 本研究では,文ベクトルと文の意味的意味の相関関係を導出する一貫した手法について検討した。 我々はまず,GPT-3,Word2Vec,Sentence-BERTの3つの最先端単語/文埋め込み手法を用いた。 異なる埋め込み空間における同じ文の相関と,同じ埋め込み空間における異なる文の相関を観察した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This is an experiential study of investigating a consistent method for deriving the correlation between sentence vector and semantic meaning of a sentence. We first used three state-of-the-art word/sentence embedding methods including GPT-3, Word2Vec, and Sentence-BERT, to embed plain text sentence strings into high dimensional spaces. Then we compute the pairwise distance between any possible combination of two sentence vectors in an embedding space and map them into a matrix. Based on each distance matrix, we compute the correlation of distances of a sentence vector with respect to the other sentence vectors in an embedding space. Then we compute the correlation of each pair of the distance matrices. We observed correlations of the same sentence in different embedding spaces and correlations of different sentences in the same embedding space. These observations are consistent with our hypothesis and take us to the next stage.
• Abstract（参考訳）: 文ベクトルと文の意味的意味の相関関係を導出する一貫した方法を検討するための実験的検討である。 我々はまず,GPT-3,Word2Vec,Sentence-BERTの3つの最先端単語/文埋め込み手法を用いて,平文文字列を高次元空間に埋め込む。 次に、埋め込み空間における2つの文ベクトルの任意の組合せ間の対距離を計算し、それらを行列にマッピングする。 各距離行列に基づいて、埋め込み空間における他の文ベクトルに対する文ベクトルの距離の相関を計算する。 次に、距離行列の各対の相関を計算する。 異なる埋め込み空間における同じ文の相関と同一埋め込み空間における異なる文の相関を観察した。 これらの観察は私たちの仮説と一致し、次の段階へと進む。

関連論文リスト

• Sub-Sentence Encoder: Contrastive Learning of Propositional Semantic Representations [102.05351905494277]
  サブ文エンコーダ(Sub-sentence encoder)は、テキストの微細な意味表現のためのコンテクスト埋め込みモデルである。 文エンコーダと比較して,サブ文エンコーダは推論コストと空間複雑さのレベルが同じであることを示す。
  論文  参考訳（メタデータ） (2023-11-07T20:38:30Z)
• Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations [80.45474362071236]
  文の合成意味論が埋め込み空間における構成操作として直接反映できるかどうかは不明である。 文埋め込み学習のためのエンドツーエンドフレームワークであるInterSentを提案する。
  論文  参考訳（メタデータ） (2023-05-24T00:44:49Z)
• Sentence Representations via Gaussian Embedding [15.235687410343171]
  GaussCSEは文埋め込みのための対照的な学習フレームワークである。 文間の非対称関係と、包含関係を識別するための類似度尺度を扱うことができる。 実験の結果,ガウスCSEは自然言語推論タスクにおける従来の手法と同じ性能を達成できた。
  論文  参考訳（メタデータ） (2023-05-22T12:51:38Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Improving word mover's distance by leveraging self-attention matrix [7.934452214142754]
  提案手法は,単語の埋め込みの類似性を同時に考慮したFused Gromov-Wasserstein距離と,2つの文間の最適な移動を計算するSAMに基づく。 提案手法は, 意味的テキストの類似性にほぼ等価な性能を持つパラフレーズ識別において, WMDとその変種を向上することを示す。
  論文  参考訳（メタデータ） (2022-11-11T14:25:08Z)
• Simple, Interpretable and Stable Method for Detecting Words with Usage Change across Corpora [54.757845511368814]
  2つの文体を比較し、その用法が異なる単語を探すという問題は、しばしばデジタル人文科学や計算社会科学において生じる。 これは一般に、各コーパスに単語の埋め込みを訓練し、ベクトル空間を整列させ、整列空間における余弦距離が大きい単語を探すことでアプローチされる。 本稿では,ベクトル空間アライメントを使わず,各単語の近傍を考慮した代替手法を提案する。
  論文  参考訳（メタデータ） (2021-12-28T23:46:00Z)
• SemGloVe: Semantic Co-occurrences for GloVe from BERT [55.420035541274444]
  GloVeは単語共起行列からの統計情報を利用して単語埋め込みを学ぶ。 BERTから静的なGloVeワード埋め込みに意味的共起を蒸留するSemGloVeを提案します。
  論文  参考訳（メタデータ） (2020-12-30T15:38:26Z)
• Word Rotator's Distance [50.67809662270474]
  テキスト類似性を評価する上での鍵となる原則は、単語のアライメントを考慮した2つのテキスト間の意味的重複度を測定することである。 単語ベクトルのノルムは単語の重要度によいプロキシであり、その角度は単語類似度によいプロキシであることを示す。 本稿では,まず単語ベクトルをノルムと方向に分解し,アライメントに基づく類似性を計算する手法を提案する。
  論文  参考訳（メタデータ） (2020-04-30T17:48:42Z)
• Discovering linguistic (ir)regularities in word embeddings through max-margin separating hyperplanes [0.0]
  単語埋め込み空間において,関係する単語の相対的な位置を学習するための新しい手法を示す。 私たちのモデルであるSVMCosは、単語埋め込みのトレーニングにおいて、さまざまな実験的な選択に対して堅牢です。
  論文  参考訳（メタデータ） (2020-03-07T20:21:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。