論文の概要: Beyond Vectors: Subspace Representations for Set Operations of Embeddings

• arxiv url: http://arxiv.org/abs/2210.13034v2
• Date: Wed, 15 Nov 2023 03:24:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-16 21:17:30.961992
• Title: Beyond Vectors: Subspace Representations for Set Operations of Embeddings
• Title（参考訳）: Beyond Vectors: 埋め込みのセット操作のためのサブスペース表現
• Authors: Yoichi Ishibashi, Sho Yokoi, Katsuhito Sudoh, Satoshi Nakamura
• Abstract要約: 我々は、事前訓練された埋め込み空間内で集合とその操作を定式化し、適用する。 量子論理に触発されて、我々は新しい部分空間に基づくアプローチで従来のベクトル集合表現を超えることを提案する。 この手法は事前訓練された埋め込み集合を用いて部分空間を構築し、以前は見落とされた意味的ニュアンスを効果的に保存する。
• 参考スコア（独自算出の注目度）: 19.14834570200683
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In natural language processing (NLP), the role of embeddings in representing linguistic semantics is crucial. Despite the prevalence of vector representations in embedding sets, they exhibit limitations in expressiveness and lack comprehensive set operations. To address this, we attempt to formulate and apply sets and their operations within pre-trained embedding spaces. Inspired by quantum logic, we propose to go beyond the conventional vector set representation with our novel subspace-based approach. This methodology constructs subspaces using pre-trained embedding sets, effectively preserving semantic nuances previously overlooked, and consequently consistently improving performance in downstream tasks.
• Abstract（参考訳）: 自然言語処理(NLP)では、言語意味論の表現における埋め込みの役割が重要である。 埋め込み集合におけるベクトル表現の普及にもかかわらず、それらは表現性に限界を示し、包括的集合演算を欠いている。 これに対処するため、事前訓練された埋め込み空間内で集合とその操作を定式化し適用しようとする。 量子論理に触発されて,従来のベクトル集合表現を超越し,新しい部分空間に基づく手法を提案する。 この手法は、事前訓練された埋め込みセットを使用してサブスペースを構築し、以前は見落とされた意味的ニュアンスを効果的に保存し、従って下流タスクのパフォーマンスを継続的に改善する。

関連論文リスト

• Optimal synthesis embeddings [1.565361244756411]
  単語集合に対する公平な埋め込み表現が満足すべきという直感的な考え方に基づく単語埋め込み合成手法を提案する。 本手法は,文の単純な言語的特徴を捉えることを目的とした探索課題の解法に優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-10T18:06:33Z)
• Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations [80.45474362071236]
  文の合成意味論が埋め込み空間における構成操作として直接反映できるかどうかは不明である。 文埋め込み学習のためのエンドツーエンドフレームワークであるInterSentを提案する。
  論文  参考訳（メタデータ） (2023-05-24T00:44:49Z)
• Sentence Representations via Gaussian Embedding [15.235687410343171]
  GaussCSEは文埋め込みのための対照的な学習フレームワークである。 文間の非対称関係と、包含関係を識別するための類似度尺度を扱うことができる。 実験の結果,ガウスCSEは自然言語推論タスクにおける従来の手法と同じ性能を達成できた。
  論文  参考訳（メタデータ） (2023-05-22T12:51:38Z)
• A Comprehensive Empirical Evaluation of Existing Word Embedding Approaches [5.065947993017158]
  既存の単語埋め込み手法の特徴を概説し,多くの分類タスクについて解析する。 伝統的なアプローチでは、主に単語表現を生成するために行列分解を使い、言語の意味的および構文的規則性をうまく捉えることができない。 一方、ニューラルネットワークに基づくアプローチは、言語の洗練された規則性を捕捉し、生成した単語表現における単語関係を保存することができる。
  論文  参考訳（メタデータ） (2023-03-13T15:34:19Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)
• Filtered Inner Product Projection for Crosslingual Embedding Alignment [28.72288652451881]
  フィルタ内積投影(FIPP)は、埋め込みを共通表現空間にマッピングする手法である。 FIPPは、ソースとターゲットの埋め込みが異なる次元である場合でも適用可能である。 提案手法は,MUSEデータセット上の既存の手法よりも,様々な言語ペアに対して優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-05T19:53:30Z)
• Multidirectional Associative Optimization of Function-Specific Word Representations [86.87082468226387]
  本稿では,関係する単語群間の関連を学習するためのニューラルネットワークフレームワークを提案する。 我々のモデルは結合関数固有の単語ベクトル空間を誘導し、例えば可塑性SVO合成のベクトルが近接して配置される。 このモデルは、共同空間においても単語群のメンバーシップに関する情報を保持し、SVO構造を前提とした複数のタスクに効果的に適用することができる。
  論文  参考訳（メタデータ） (2020-05-11T17:07:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。