論文の概要: Revisiting Additive Compositionality: AND, OR and NOT Operations with Word Embeddings

• arxiv url: http://arxiv.org/abs/2105.08585v1
• Date: Tue, 18 May 2021 15:13:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-19 14:01:55.417626
• Title: Revisiting Additive Compositionality: AND, OR and NOT Operations with Word Embeddings
• Title（参考訳）: 付加的な構成性を再考する: 単語埋め込みによるAND, OR, NOT操作
• Authors: Masahiro Naito, Sho Yokoi, Geewook Kim, Hidetoshi Shimodaira
• Abstract要約: word2vec や glove のような典型的な単語埋め込みメソッドは、その意味を埋め込みを追加することで構成できるという特性を持つことはよく知られている。 添加組成性を説明するためにいくつかの理論が提案されているが、以下の疑問は未解決のままである。
• 参考スコア（独自算出の注目度）: 14.147513198396808
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is well-known that typical word embedding methods such as Word2Vec and GloVe have the property that the meaning can be composed by adding up the embeddings (additive compositionality). Several theories have been proposed to explain additive compositionality, but the following questions remain unanswered: (Q1) The assumptions of those theories do not hold for the practical word embedding. (Q2) Ordinary additive compositionality can be seen as an AND operation of word meanings, but it is not well understood how other operations, such as OR and NOT, can be computed by the embeddings. We address these issues by the idea of frequency-weighted centering at its core. This paper proposes a post-processing method for bridging the gap between practical word embedding and the assumption of theory about additive compositionality as an answer to (Q1). It also gives a method for taking OR or NOT of the meaning by linear operation of word embedding as an answer to (Q2). Moreover, we confirm experimentally that the accuracy of AND operation, i.e., the ordinary additive compositionality, can be improved by our post-processing method (3.5x improvement in top-100 accuracy) and that OR and NOT operations can be performed correctly.
• Abstract（参考訳）: word2vec や glove のような典型的な単語埋め込みメソッドは、その意味を埋め込み(付加的合成性)を付加することで構成できるという特性を持つことはよく知られている。 加法構成性を説明するためにいくつかの理論が提案されているが、以下の疑問は未解決である: (q1) これらの理論の仮定は、実際的な単語埋め込みには当てはまらない。 (q2) 通常の加法構成性は、単語の意味の操作や操作と見なすことができるが、埋め込みによって他の演算がどのように計算されるかはよく分かっていない。 我々は,周波数重み付けセンタリングの考え方によってこの問題に対処した。 本稿では, (q1) に対する回答として, 実用的な単語埋め込みと付加合成性理論とのギャップを橋渡しする後処理法を提案する。 また、(Q2)への応答として単語埋め込みの線形操作により、意味のORまたはNOTを取る方法を提供する。 さらに,本手法の処理後処理(トップ100における3.5倍の精度向上)により,通常の加法的構成性であるAND操作の精度が向上し,ORおよびNOT操作が正しく行えることを実験的に確認した。

関連論文リスト

• A Complexity-Based Theory of Compositionality [53.025566128892066]
  AIでは、構成表現は配布外一般化の強力な形式を可能にすることができる。 ここでは、構成性に関する直観を考慮し、拡張する構成性の公式な定義を提案する。 この定義は概念的には単純で量的であり、アルゴリズム情報理論に基礎を置いており、あらゆる表現に適用できる。
  論文  参考訳（メタデータ） (2024-10-18T18:37:27Z)
• Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations [80.45474362071236]
  文の合成意味論が埋め込み空間における構成操作として直接反映できるかどうかは不明である。 文埋め込み学習のためのエンドツーエンドフレームワークであるInterSentを提案する。
  論文  参考訳（メタデータ） (2023-05-24T00:44:49Z)
• HPE:Answering Complex Questions over Text by Hybrid Question Parsing and Execution [92.69684305578957]
  テキストQAにおける質問解析と実行の枠組みを提案する。 提案したフレームワークは、トップダウンの質問パースとして、ボトムアップの回答バックトラックとみなすことができる。 MuSiQue,2WikiQA,HotpotQA,およびNQに関する実験により,提案した解析およびハイブリッド実行フレームワークが,教師付き,少数ショット,ゼロショット設定における既存のアプローチより優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-12T22:37:06Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Semeval-2022 Task 1: CODWOE -- Comparing Dictionaries and Word Embeddings [1.5293427903448025]
  我々は不透明な単語ベクトルと人間可読な定義との関係に焦点をあてる。 この問題は自然に2つのサブタスクに分けられる: 定義を埋め込みに変換し、埋め込みを定義に変換する。 このタスクは、同質に訓練された埋め込みの同等のセットを使用して、多言語設定で実行された。
  論文  参考訳（メタデータ） (2022-05-27T09:40:33Z)
• Fast Extraction of Word Embedding from Q-contexts [17.370344754614518]
  コーパス全体(および単語との相互情報)に典型的な文脈(Q-contexts)のごく一部で、無視可能な誤りを伴う高品質な単語埋め込みを構築することができることを示す。 本稿では,これらの典型的な文脈から直接単語埋め込みを抽出できる,効率的かつ効果的なWEQ手法を提案する。
  論文  参考訳（メタデータ） (2021-09-15T05:14:31Z)
• Learning to Remove: Towards Isotropic Pre-trained BERT Embedding [7.765987411382461]
  単語表現の研究は、等方的埋め込みが下流タスクの性能を大幅に改善できることを示している。 事前に訓練されたBERT埋め込みのジオメトリを測定し、分析し、等方性とは程遠いことを見つけます。 この問題を解決するためのシンプルで効果的な方法を提案する:学習可能な重みのセットでBERT埋め込みのいくつかの支配的な方向を削除します。
  論文  参考訳（メタデータ） (2021-04-12T08:13:59Z)
• On the Sentence Embeddings from Pre-trained Language Models [78.45172445684126]
  本稿では,BERT埋め込みにおける意味情報が完全に活用されていないことを論じる。 BERTは常に文の非滑らかな異方性意味空間を誘導し,その意味的類似性を損なう。 本稿では,非教師対象で学習した正規化フローにより,異方性文の埋め込み分布を滑らかで等方性ガウス分布に変換することを提案する。
  論文  参考訳（メタデータ） (2020-11-02T13:14:57Z)
• Supervised Understanding of Word Embeddings [1.160208922584163]
  単語埋め込みにおける線形キーワードレベル分類器の形で教師付きプロジェクションを得た。 我々は,本手法が元の埋め込み次元の解釈可能な投影を生成することを示した。
  論文  参考訳（メタデータ） (2020-06-23T20:13:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。