論文の概要: Subspace-based Set Operations on a Pre-trained Word Embedding Space
- arxiv url: http://arxiv.org/abs/2210.13034v1
- Date: Mon, 24 Oct 2022 08:34:10 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 14:12:00.846943
- Title: Subspace-based Set Operations on a Pre-trained Word Embedding Space
- Title(参考訳): 事前学習した単語埋め込み空間上のサブスペースベース設定操作
- Authors: Yoichi Ishibashi, Sho Yokoi, Katsuhito Sudoh, Satoshi Nakamura
- Abstract要約: 本稿では,事前学習した単語埋め込み空間における部分空間を用いた集合演算の新たな定式化を提案する。
定義に基づいて,単語が集合に属する度合いと,2つの集合を埋め込むことの類似性に基づく2つの指標を提案する。
- 参考スコア(独自算出の注目度): 19.505432150316704
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Word embedding is a fundamental technology in natural language processing. It
is often exploited for tasks using sets of words, although standard methods for
representing word sets and set operations remain limited. If we can leverage
the advantage of word embedding for such set operations, we can calculate
sentence similarity and find words that effectively share a concept with a
given word set in a straightforward way. In this study, we formulate
representations of sets and set operations in a pre-trained word embedding
space. Inspired by \textit{quantum logic}, we propose a novel formulation of
set operations using subspaces in a pre-trained word embedding space. Based on
our definitions, we propose two metrics based on the degree to which a word
belongs to a set and the similarity between embedding two sets. Our experiments
with Text Concept Set Retrieval and Semantic Textual Similarity tasks
demonstrated the effectiveness of our proposed method.
- Abstract(参考訳): 単語埋め込みは自然言語処理の基本的な技術である。
単語集合や集合演算を表す標準的な手法は限られているが、しばしば単語集合を用いたタスクに利用される。
このような集合演算に対する単語埋め込みの利点を活用できれば、文の類似度を計算し、与えられた単語集合と効果的に概念を共有できる単語を見つけることができる。
本研究では,事前学習した単語埋め込み空間における集合と集合の表現を定式化する。
本稿では,事前学習された単語埋め込み空間における部分空間を用いた集合演算の新しい定式化を提案する。
定義に基づいて,単語が集合に属する度合いと,2つの集合を埋め込むことの類似性に基づく2つの指標を提案する。
テキスト概念検索と意味的テキスト類似性タスクを用いた実験により,提案手法の有効性を実証した。
関連論文リスト
- Bridging Continuous and Discrete Spaces: Interpretable Sentence
Representation Learning via Compositional Operations [80.45474362071236]
文の合成意味論が埋め込み空間における構成操作として直接反映できるかどうかは不明である。
文埋め込み学習のためのエンドツーエンドフレームワークであるInterSentを提案する。
論文 参考訳(メタデータ) (2023-05-24T00:44:49Z) - Linear Spaces of Meanings: Compositional Structures in Vision-Language
Models [110.00434385712786]
事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。
まず,幾何学的観点から構成構造を理解するための枠組みを提案する。
次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
論文 参考訳(メタデータ) (2023-02-28T08:11:56Z) - Using Context-to-Vector with Graph Retrofitting to Improve Word
Embeddings [39.30342855873457]
より文脈的な情報をSkip-gramフレームワークに組み込むことで、単語の埋め込みを改善することを目指している。
我々の手法は、基準線を大きなマージンで上回ることがよく証明されている。
論文 参考訳(メタデータ) (2022-10-30T14:15:43Z) - Obtaining Better Static Word Embeddings Using Contextual Embedding
Models [53.86080627007695]
提案手法はCBOWをベースとした簡易な蒸留法である。
副作用として、我々の手法は文脈的および静的な埋め込みの公正な比較を可能にする。
論文 参考訳(メタデータ) (2021-06-08T12:59:32Z) - On Guaranteed Optimal Robust Explanations for NLP Models [16.358394218953833]
我々は,マシーン学習のための推論に基づく説明を構築し,ニューラルネットワークモデルのための局所的説明を計算する方法を開発した。
我々は,それぞれ暗黙の打撃集合と最大普遍部分集合に基づく2つの解アルゴリズムを提案する。
SST、Twitter、IMDBデータセットから、広く使用されている3つの感情分析タスクと最大100ワードのテキストに基づいてフレームワークを評価します。
論文 参考訳(メタデータ) (2021-05-08T08:44:48Z) - Infusing Finetuning with Semantic Dependencies [62.37697048781823]
シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。
次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
論文 参考訳(メタデータ) (2020-12-10T01:27:24Z) - SLM: Learning a Discourse Language Representation with Sentence
Unshuffling [53.42814722621715]
談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。
本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
論文 参考訳(メタデータ) (2020-10-30T13:33:41Z) - Unsupervised Distillation of Syntactic Information from Contextualized
Word Representations [62.230491683411536]
我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。
この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。
我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
論文 参考訳(メタデータ) (2020-10-11T15:13:18Z) - Putting a Spin on Language: A Quantum Interpretation of Unary
Connectives for Linguistic Applications [0.0]
ランベック・カルキュラスは構造規則の制御を許すために一様法則に依存している。
FVect と線型写像のコンパクト閉圏におけるランベック計算の合成解釈の提案がなされている。
我々の目標は、モダリティをベクトル解釈の第一級市民にすることである。
論文 参考訳(メタデータ) (2020-04-08T17:25:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。