論文の概要: Optimal synthesis embeddings

• arxiv url: http://arxiv.org/abs/2406.10259v1
• Date: Mon, 10 Jun 2024 18:06:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-23 13:24:48.418181
• Title: Optimal synthesis embeddings
• Title（参考訳）: 最適合成埋め込み
• Authors: Roberto Santana, Mauricio Romero Sicre,
• Abstract要約: 単語集合に対する公平な埋め込み表現が満足すべきという直感的な考え方に基づく単語埋め込み合成手法を提案する。 本手法は,文の単純な言語的特徴を捉えることを目的とした探索課題の解法に優れていることを示す。
• 参考スコア（独自算出の注目度）: 1.565361244756411
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we introduce a word embedding composition method based on the intuitive idea that a fair embedding representation for a given set of words should satisfy that the new vector will be at the same distance of the vector representation of each of its constituents, and this distance should be minimized. The embedding composition method can work with static and contextualized word representations, it can be applied to create representations of sentences and learn also representations of sets of words that are not necessarily organized as a sequence. We theoretically characterize the conditions for the existence of this type of representation and derive the solution. We evaluate the method in data augmentation and sentence classification tasks, investigating several design choices of embeddings and composition methods. We show that our approach excels in solving probing tasks designed to capture simple linguistic features of sentences.
• Abstract（参考訳）: 本稿では,与えられた単語の集合に対する公平な埋め込み表現が,各成分のベクトル表現の同じ距離にあることを満足すべきである,という直感的な考え方に基づく単語埋め込み合成手法を提案する。 埋め込み合成法は、静的かつ文脈化された単語表現で機能し、文の表現を作成し、必ずしもシーケンスとして組織化されていない単語の集合の表現も学習することができる。 このタイプの表現の存在条件を理論的に特徴づけ、解を導出する。 本研究では,データ拡張および文分類タスクにおける手法の評価を行い,組込み法と合成法の設計選択について検討した。 本手法は,文の単純な言語的特徴を捉えることを目的とした探索課題の解法に優れていることを示す。

関連論文リスト

• Learning Visual-Semantic Subspace Representations for Propositional Reasoning [49.17165360280794]
  本稿では,特定の意味構造に適合する視覚表現を学習するための新しい手法を提案する。 我々のアプローチは、新しい核規範に基づく損失に基づいている。 部分空間格子におけるセマンティクスのスペクトル幾何学を最小エンコードしていることを示す。
  論文  参考訳（メタデータ） (2024-05-25T12:51:38Z)
• Composition-contrastive Learning for Sentence Embeddings [23.85590618900386]
  この作業は、補助的なトレーニング目標や追加のネットワークパラメータのコストを発生させることなく、初めて実施される。 意味的テキスト類似性タスクの実験結果は、最先端のアプローチに匹敵するベースラインの改善を示す。
  論文  参考訳（メタデータ） (2023-07-14T14:39:35Z)
• Conjunct Resolution in the Face of Verbal Omissions [51.220650412095665]
  本稿では,テキスト上で直接動作する接続分解タスクを提案し,コーディネーション構造に欠けている要素を復元するために,分割・言い換えパラダイムを利用する。 クラウドソースアノテーションによる自然に発生する動詞の省略例を10万件以上を含む,大規模なデータセットをキュレートする。 我々は、このタスクのために様々な神経ベースラインをトレーニングし、最良の手法が適切なパフォーマンスを得る一方で、改善のための十分なスペースを残していることを示す。
  論文  参考訳（メタデータ） (2023-05-26T08:44:02Z)
• Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations [80.45474362071236]
  文の合成意味論が埋め込み空間における構成操作として直接反映できるかどうかは不明である。 文埋め込み学習のためのエンドツーエンドフレームワークであるInterSentを提案する。
  論文  参考訳（メタデータ） (2023-05-24T00:44:49Z)
• A Comprehensive Empirical Evaluation of Existing Word Embedding Approaches [5.065947993017158]
  既存の単語埋め込み手法の特徴を概説し,多くの分類タスクについて解析する。 伝統的なアプローチでは、主に単語表現を生成するために行列分解を使い、言語の意味的および構文的規則性をうまく捉えることができない。 一方、ニューラルネットワークに基づくアプローチは、言語の洗練された規則性を捕捉し、生成した単語表現における単語関係を保存することができる。
  論文  参考訳（メタデータ） (2023-03-13T15:34:19Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)
• Subspace Representations for Soft Set Operations and Sentence Similarities [17.52824249186434]
  我々は,事前学習した単語埋め込み空間内の単語集合の表現とそれに対応する集合演算を実現する。 線形部分空間にアプローチを基礎付けることにより、様々な集合演算の効率的な計算が可能となる。 部分空間ベースの集合演算は、文類似性および集合検索タスクにおいて、ベクトルベースの演算よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-24T08:34:10Z)
• DirectProbe: Studying Representations without Classifiers [21.23284793831221]
  DirectProbeは、タスクのバージョン空間の概念に基づいて表現の幾何学を研究します。 いくつかの言語的タスクと文脈的埋め込みの実験は、訓練された分類器がなくても、DirectProbeは埋め込み空間がラベルの表現方法に光を当てることができることを示している。
  論文  参考訳（メタデータ） (2021-04-13T02:40:26Z)
• Accurate Word Representations with Universal Visual Guidance [55.71425503859685]
  本稿では,視覚指導から従来の単語埋め込みを視覚的に強調する視覚的表現法を提案する。 各単語が多様な関連画像に対応するマルチモーダルシードデータセットから,小型の単語画像辞書を構築する。 12の自然言語理解および機械翻訳タスクの実験により,提案手法の有効性と一般化能力がさらに検証された。
  論文  参考訳（メタデータ） (2020-12-30T09:11:50Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。