論文の概要: Contextual Skipgram: Training Word Representation Using Context Information

• arxiv url: http://arxiv.org/abs/2102.08565v1
• Date: Wed, 17 Feb 2021 04:19:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-18 14:48:59.864796
• Title: Contextual Skipgram: Training Word Representation Using Context Information
• Title（参考訳）: コンテキストスキップグラム:コンテキスト情報を用いた単語表現のトレーニング
• Authors: Dongjae Kim, Jong-Kook Kim
• Abstract要約: context skip-gramは、センタワードとコンテキスト情報の両方でコンテキストワードを予測するように設計されている。 この単純なアイデアは、トレーニングプロセスにおける無関係な単語の影響を減らし、最終的なパフォーマンスを高めるのに役立つ。
• 参考スコア（独自算出の注目度）: 5.33024001730262
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The skip-gram (SG) model learns word representation by predicting the words surrounding a center word from unstructured text data. However, not all words in the context window contribute to the meaning of the center word. For example, less relevant words could be in the context window, hindering the SG model from learning a better quality representation. In this paper, we propose an enhanced version of the SG that leverages context information to produce word representation. The proposed model, Contextual Skip-gram, is designed to predict contextual words with both the center words and the context information. This simple idea helps to reduce the impact of irrelevant words on the training process, thus enhancing the final performance
• Abstract（参考訳）: スキップグラム(SG)モデルは、非構造化テキストデータから中心語を取り巻く単語を予測して単語表現を学習する。 しかし、コンテキストウィンドウ内の全ての単語が中心語の意味に寄与するわけではない。 例えば、関連する単語がコンテキストウィンドウにある場合、sgモデルがより良い品質表現を学ぶことを妨げる可能性がある。 本稿では,文脈情報を利用して単語表現を生成するSGの拡張版を提案する。 提案手法であるコンテキスト・スキップ・グラムは,単語中心と文脈情報の両方を用いて文脈単語を予測できる。 このシンプルなアイデアは、トレーニングプロセスにおける無関係な単語の影響を減らし、最終的なパフォーマンスを高めるのに役立つ

関連論文リスト

• Learning Word Embedding with Better Distance Weighting and Window Size Scheduling [5.607676459156788]
  本稿では,Learnerable Formulated Weights (LFW) と Epoch ベースの Dynamic Window Size (EDWS) を導入し,距離情報を Word2Vec に組み込む。 LFW と EDWS が Word2Vec の性能向上に有効であることを実証した。
  論文  参考訳（メタデータ） (2024-04-23T00:05:48Z)
• Visually-Aware Context Modeling for News Image Captioning [54.31708859631821]
  News Image Captioningは、ニュース記事や画像からキャプションを作成することを目的としている。 より優れた名前埋め込みを学習するための顔命名モジュールを提案する。 私たちはCLIPを使用して、画像にセマンティックに近い文を検索します。
  論文  参考訳（メタデータ） (2023-08-16T12:39:39Z)
• Conversational Semantic Parsing using Dynamic Context Graphs [68.72121830563906]
  汎用知識グラフ(KG)を用いた会話意味解析の課題を,数百万のエンティティと数千のリレーショナルタイプで検討する。 ユーザ発話を実行可能な論理形式にインタラクティブにマッピングできるモデルに焦点を当てる。
  論文  参考訳（メタデータ） (2023-05-04T16:04:41Z)
• STAIR: Learning Sparse Text and Image Representation in Grounded Tokens [84.14528645941128]
  疎結合なセマンティック表現を構築することは、密度の高いプレゼンテーションと同程度、あるいはそれ以上に強力であることを示す。 CLIPモデルを拡張してスパーステキストと画像表現(STAIR)を構築し、画像とテキストをスパーストークン空間にマッピングする。 CLIPモデルでは、+4.9%$と+4.3%$絶対リコール@1の改善で大幅にパフォーマンスが向上した。
  論文  参考訳（メタデータ） (2023-01-30T17:21:30Z)
• Lost in Context? On the Sense-wise Variance of Contextualized Word Embeddings [11.475144702935568]
  各単語感覚の文脈的埋め込みが、典型的な事前学習モデルにおける文脈によってどの程度異なるかを定量化する。 単語表現は位置バイアスを受けており、異なる文脈における最初の単語はより類似する傾向にある。
  論文  参考訳（メタデータ） (2022-08-20T12:27:25Z)
• DAE-GAN: Dynamic Aspect-aware GAN for Text-to-Image Synthesis [55.788772366325105]
  本研究では,文レベル,単語レベル,アスペクトレベルを含む複数の粒度からテキスト情報を包括的に表現する動的アスペクト・アワーン(DAE-GAN)を提案する。 人間の学習行動にインスパイアされた画像改善のためのADR(Aspect-aware Dynamic Re-drawer)を開発し,AGR(Attended Global Refinement)モジュールとALR(Aspect-aware Local Refinement)モジュールを交互に使用する。
  論文  参考訳（メタデータ） (2021-08-27T07:20:34Z)
• Accurate Word Representations with Universal Visual Guidance [55.71425503859685]
  本稿では,視覚指導から従来の単語埋め込みを視覚的に強調する視覚的表現法を提案する。 各単語が多様な関連画像に対応するマルチモーダルシードデータセットから,小型の単語画像辞書を構築する。 12の自然言語理解および機械翻訳タスクの実験により,提案手法の有効性と一般化能力がさらに検証された。
  論文  参考訳（メタデータ） (2020-12-30T09:11:50Z)
• Embedding Words in Non-Vector Space with Unsupervised Graph Learning [33.51809615505692]
  GraphGlove: エンドツーエンドで学習される教師なしグラフワード表現について紹介する。 我々の設定では、各単語は重み付きグラフのノードであり、単語間の距離は対応するノード間の最短経路距離である。 グラフに基づく表現は、単語類似性や類似性タスクにおいて、ベクターベースの手法よりもかなり優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-06T10:17:49Z)
• Morphological Skip-Gram: Using morphological knowledge to improve word representation [2.0129974477913457]
  我々は,文字n-gramのFastTextバッグを単語形態素の袋に置き換えることで,単語埋め込みを訓練する新しい手法を提案する。 結果は、FastTextと比較して、競争力のあるパフォーマンスを示している。
  論文  参考訳（メタデータ） (2020-07-20T12:47:36Z)
• Learning Representations by Predicting Bags of Visual Words [55.332200948110895]
  自己教師付き表現学習ターゲットは、ラベルなしデータから畳み込みに基づく画像表現を学習する。 この分野におけるNLP手法の成功に触発された本研究では,空間的に高密度な画像記述に基づく自己教師型アプローチを提案する。
  論文  参考訳（メタデータ） (2020-02-27T16:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。