論文の概要: Subspace Representations for Soft Set Operations and Sentence Similarities

• arxiv url: http://arxiv.org/abs/2210.13034v3
• Date: Tue, 9 Apr 2024 09:33:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 20:55:40.638945
• Title: Subspace Representations for Soft Set Operations and Sentence Similarities
• Title（参考訳）: ソフトセット操作のための部分空間表現と文類似性
• Authors: Yoichi Ishibashi, Sho Yokoi, Katsuhito Sudoh, Satoshi Nakamura,
• Abstract要約: 我々は,事前学習した単語埋め込み空間内の単語集合の表現とそれに対応する集合演算を実現する。 線形部分空間にアプローチを基礎付けることにより、様々な集合演算の効率的な計算が可能となる。 部分空間ベースの集合演算は、文類似性および集合検索タスクにおいて、ベクトルベースの演算よりも一貫して優れていることを示す。
• 参考スコア（独自算出の注目度）: 17.52824249186434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the field of natural language processing (NLP), continuous vector representations are crucial for capturing the semantic meanings of individual words. Yet, when it comes to the representations of sets of words, the conventional vector-based approaches often struggle with expressiveness and lack the essential set operations such as union, intersection, and complement. Inspired by quantum logic, we realize the representation of word sets and corresponding set operations within pre-trained word embedding spaces. By grounding our approach in the linear subspaces, we enable efficient computation of various set operations and facilitate the soft computation of membership functions within continuous spaces. Moreover, we allow for the computation of the F-score directly within word vectors, thereby establishing a direct link to the assessment of sentence similarity. In experiments with widely-used pre-trained embeddings and benchmarks, we show that our subspace-based set operations consistently outperform vector-based ones in both sentence similarity and set retrieval tasks.
• Abstract（参考訳）: 自然言語処理(NLP)の分野では、連続ベクトル表現は個々の単語の意味を捉えるのに不可欠である。 しかし、単語の集合の表現に関しては、従来のベクトルベースのアプローチは表現性に苦しむことが多く、結合、交叉、補集合といった基本的な集合の操作が欠如している。 量子論理に着想を得て,事前学習した単語埋め込み空間内の単語集合とそれに対応する集合演算の表現を実現する。 線形部分空間にアプローチを基礎づけることで、様々な集合演算の効率的な計算を可能にし、連続空間内のメンバシップ関数のソフト計算を容易にする。 さらに、単語ベクトル内で直接Fスコアの計算を行うことで、文の類似性を評価するための直接的なリンクを確立する。 広く使われている事前学習型埋め込みとベンチマークの実験では、我々のサブスペースベースの集合演算は、文類似性および集合検索タスクの両方において、ベクトルベースの演算よりも一貫して優れていた。

関連論文リスト

• Optimal synthesis embeddings [1.565361244756411]
  単語集合に対する公平な埋め込み表現が満足すべきという直感的な考え方に基づく単語埋め込み合成手法を提案する。 本手法は,文の単純な言語的特徴を捉えることを目的とした探索課題の解法に優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-10T18:06:33Z)
• Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations [80.45474362071236]
  文の合成意味論が埋め込み空間における構成操作として直接反映できるかどうかは不明である。 文埋め込み学習のためのエンドツーエンドフレームワークであるInterSentを提案する。
  論文  参考訳（メタデータ） (2023-05-24T00:44:49Z)
• Sentence Representations via Gaussian Embedding [15.235687410343171]
  GaussCSEは文埋め込みのための対照的な学習フレームワークである。 文間の非対称関係と、包含関係を識別するための類似度尺度を扱うことができる。 実験の結果,ガウスCSEは自然言語推論タスクにおける従来の手法と同じ性能を達成できた。
  論文  参考訳（メタデータ） (2023-05-22T12:51:38Z)
• A Comprehensive Empirical Evaluation of Existing Word Embedding Approaches [5.065947993017158]
  既存の単語埋め込み手法の特徴を概説し,多くの分類タスクについて解析する。 伝統的なアプローチでは、主に単語表現を生成するために行列分解を使い、言語の意味的および構文的規則性をうまく捉えることができない。 一方、ニューラルネットワークに基づくアプローチは、言語の洗練された規則性を捕捉し、生成した単語表現における単語関係を保存することができる。
  論文  参考訳（メタデータ） (2023-03-13T15:34:19Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)
• Filtered Inner Product Projection for Crosslingual Embedding Alignment [28.72288652451881]
  フィルタ内積投影(FIPP)は、埋め込みを共通表現空間にマッピングする手法である。 FIPPは、ソースとターゲットの埋め込みが異なる次元である場合でも適用可能である。 提案手法は,MUSEデータセット上の既存の手法よりも,様々な言語ペアに対して優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-05T19:53:30Z)
• Multidirectional Associative Optimization of Function-Specific Word Representations [86.87082468226387]
  本稿では,関係する単語群間の関連を学習するためのニューラルネットワークフレームワークを提案する。 我々のモデルは結合関数固有の単語ベクトル空間を誘導し、例えば可塑性SVO合成のベクトルが近接して配置される。 このモデルは、共同空間においても単語群のメンバーシップに関する情報を保持し、SVO構造を前提とした複数のタスクに効果的に適用することができる。
  論文  参考訳（メタデータ） (2020-05-11T17:07:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。