論文の概要: Static Word Embeddings for Sentence Semantic Representation

• arxiv url: http://arxiv.org/abs/2506.04624v1
• Date: Thu, 05 Jun 2025 04:33:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.532272
• Title: Static Word Embeddings for Sentence Semantic Representation
• Title（参考訳）: 文意味表現のための静的な単語埋め込み
• Authors: Takashi Wada, Yuki Hirakawa, Ryotaro Shimizu, Takahiro Kawashima, Yuki Saito,
• Abstract要約: 文意味表現に最適化された静的単語埋め込みを提案する。 まず、事前学習した文変換器から単語埋め込みを抽出し、文レベルの主成分分析により改善する。 推論では,単語の埋め込みを単純に平均化することで文を表現するが,計算コストは少ない。
• 参考スコア（独自算出の注目度）: 9.879896956915598
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose new static word embeddings optimised for sentence semantic representation. We first extract word embeddings from a pre-trained Sentence Transformer, and improve them with sentence-level principal component analysis, followed by either knowledge distillation or contrastive learning. During inference, we represent sentences by simply averaging word embeddings, which requires little computational cost. We evaluate models on both monolingual and cross-lingual tasks and show that our model substantially outperforms existing static models on sentence semantic tasks, and even rivals a basic Sentence Transformer model (SimCSE) on some data sets. Lastly, we perform a variety of analyses and show that our method successfully removes word embedding components that are irrelevant to sentence semantics, and adjusts the vector norms based on the influence of words on sentence semantics.
• Abstract（参考訳）: 文意味表現に最適化された静的単語埋め込みを提案する。 まず,事前学習した文変換器から単語埋め込みを抽出し,文レベルの主成分分析により改善し,その後に知識蒸留やコントラスト学習を行った。 推論では,単語の埋め込みを単純に平均化することで文を表現するが,計算コストは少ない。 単言語タスクと言語間タスクの両方のモデルを評価し、我々のモデルは文意味タスクにおける既存の静的モデルよりも大幅に優れており、いくつかのデータセットにおける基本文変換モデル(SimCSE)とさえ競合していることを示す。 最後に, 文意味論とは無関係な単語埋め込み成分の除去に成功し, 文意味論に対する単語の影響に基づいてベクトルノルムを調整したことを示す。

関連論文リスト

• Lexical Substitution is not Synonym Substitution: On the Importance of Producing Contextually Relevant Word Substitutes [5.065947993017158]
  モデルに送信された文脈情報を強化するために,原文を利用した単純な拡張手法であるConCatを導入する。 本研究は,文の類似度とタスクパフォーマンスを指標とした定量的評価を含む。 また,従来手法とは対照的に,利用者が提案した代替品を優先することを示す定性的な人間分析を行った。
  論文  参考訳（メタデータ） (2025-02-06T16:05:50Z)
• Unsupervised Semantic Variation Prediction using the Distribution of Sibling Embeddings [17.803726860514193]
  単語の意味的変化の検出は,様々なNLPアプリケーションにおいて重要な課題である。 意味表現だけではそのような意味的バリエーションを正確に捉えることはできないと我々は主張する。 対象単語の文脈的埋め込みのコホート全体を利用する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-15T13:58:21Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Exploiting Word Semantics to Enrich Character Representations of Chinese Pre-trained Models [12.0190584907439]
  本稿では,単語構造を利用して語彙意味を事前学習したモデルの文字表現に統合する手法を提案する。 提案手法は,中国の異なるNLPタスクにおけるBERT,BERT-wwm,ERNIEよりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2022-07-13T02:28:08Z)
• TransDrift: Modeling Word-Embedding Drift using Transformer [8.707217592903735]
  単語埋め込みのための変換器に基づく予測モデルであるTransDriftを提案する。 我々のモデルは埋め込みドリフトの力学を正確に学習し、将来の埋め込みを予測する。 私たちの埋め込みは、以前の方法よりも優れたパフォーマンスをもたらします。
  論文  参考訳（メタデータ） (2022-06-16T10:48:26Z)
• Disentangling Semantics and Syntax in Sentence Embeddings with Pre-trained Language Models [32.003787396501075]
  ParaBARTは、予め訓練された言語モデルによって得られる文埋め込みにおける意味論と構文を解き放つことを学ぶ意味論文埋め込みモデルである。 ParaBARTは、ターゲットのパラフレーズとセマンティクスを共有するソース文と、ターゲットの構文を指定するパースツリーに基づいて、構文誘導のパラフレーズを実行するように訓練されている。
  論文  参考訳（メタデータ） (2021-04-11T21:34:46Z)
• Narrative Incoherence Detection [76.43894977558811]
  本稿では,文間セマンティック理解のための新たなアリーナとして,物語不整合検出の課題を提案する。 複数文の物語を考えると、物語の流れに意味的な矛盾があるかどうかを決定します。
  論文  参考訳（メタデータ） (2020-12-21T07:18:08Z)
• On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
  本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。 BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。 本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
  論文  参考訳（メタデータ） (2020-11-02T13:14:57Z)
• Unsupervised Extractive Summarization by Pre-training Hierarchical Transformers [107.12125265675483]
  教師なし抽出文書要約は、訓練中にラベル付き要約を用いることなく、文書から重要な文章を選択することを目的としている。 既存の手法は主にグラフベースで、文をノードとして、エッジの重みは文の類似性によって測定される。 教師なし抽出要約のための文のランク付けにはトランスフォーマーの注意が利用できることがわかった。
  論文  参考訳（メタデータ） (2020-10-16T08:44:09Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。