論文の概要: Modelling General Properties of Nouns by Selectively Averaging Contextualised Embeddings

• arxiv url: http://arxiv.org/abs/2012.07580v2
• Date: Mon, 17 May 2021 15:00:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-22 20:53:24.376505
• Title: Modelling General Properties of Nouns by Selectively Averaging Contextualised Embeddings
• Title（参考訳）: 文脈付埋め込みの選択的平均化による名詞の一般特性のモデル化
• Authors: Na Li, Zied Bouraoui, Jose Camacho Collados, Luis Espinosa-Anke, Qing Gu, Steven Schockaert
• Abstract要約: 本稿では,BERTによって予測される文脈的埋め込みを用いて,高品質な単語ベクトルを生成する方法を示す。 マスク付き単語参照の文脈的埋め込みを平均化する単純な戦略が静的な単語ベクトルよりも優れたベクトルをもたらすことが判明した。
• 参考スコア（独自算出の注目度）: 46.49372320363155
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While the success of pre-trained language models has largely eliminated the need for high-quality static word vectors in many NLP applications, such vectors continue to play an important role in tasks where words need to be modelled in the absence of linguistic context. In this paper, we explore how the contextualised embeddings predicted by BERT can be used to produce high-quality word vectors for such domains, in particular related to knowledge base completion, where our focus is on capturing the semantic properties of nouns. We find that a simple strategy of averaging the contextualised embeddings of masked word mentions leads to vectors that outperform the static word vectors learned by BERT, as well as those from standard word embedding models, in property induction tasks. We notice in particular that masking target words is critical to achieve this strong performance, as the resulting vectors focus less on idiosyncratic properties and more on general semantic properties. Inspired by this view, we propose a filtering strategy which is aimed at removing the most idiosyncratic mention vectors, allowing us to obtain further performance gains in property induction.
• Abstract（参考訳）: 事前訓練された言語モデルの成功は、多くのNLPアプリケーションにおいて高品質な静的単語ベクトルの必要性を大きく排除してきたが、そのようなベクトルは、言語文脈がない場合に単語をモデル化する必要があるタスクにおいて、引き続き重要な役割を果たす。 本稿では,bert によって予測される文脈的埋め込みが,そのような領域,特に名詞の意味的性質を捉えることに焦点を当てた知識ベース補完に関して,高品質な単語ベクトルの生成にどのように役立つかを検討する。 マスキングされた単語言及の文脈的埋め込みを平均化する単純な戦略は、bertが学習した静的な単語ベクトルや標準的な単語埋め込みモデルのベクトルを、プロパティ誘導タスクで上回るベクトルへと導く。 特に,この強い性能を達成するにはマスキング対象語が不可欠であることに気付き,結果として得られるベクトルは慣用的性質よりも一般的な意味的性質に重点を置いている。 この考え方に触発されて、最も慣用的な参照ベクトルを取り除くことを目的としたフィルタリング戦略を提案し、プロパティ誘導におけるさらなるパフォーマンス向上を実現する。

関連論文リスト

• Local Topology Measures of Contextual Language Model Latent Spaces With Applications to Dialogue Term Extraction [4.887047578768969]
  本稿では,文脈言語モデルの潜在空間の局所位相の複雑性尺度を導入する。 我々の研究は、単語埋め込みの多様体仮説を探求する一連の研究を継続している。
  論文  参考訳（メタデータ） (2024-08-07T11:44:32Z)
• Exploring State Space and Reasoning by Elimination in Tsetlin Machines [14.150011713654331]
  Tsetlin Machine(TM)は機械学習(ML)において大きな注目を集めている。 TMは、単語の埋め込みを構築し、節を使ってターゲット語を記述するために使われる。 これらの節の記述能力を高めるために,節の定式化におけるReasoning by Elimination(RbE)の概念を検討した。
  論文  参考訳（メタデータ） (2024-07-12T10:58:01Z)
• Tsetlin Machine Embedding: Representing Words Using Logical Expressions [10.825099126920028]
  本稿では,論理節を自己教師する自動エンコーダについて紹介する。 節は、"black"、"cup"、"hot"のような文脈的な単語からなり、"coffee"のような他の単語を定義する。 我々は,GLoVeを6つの分類タスクで上回り,いくつかの内在的および外在的ベンチマークに対する埋め込み手法の評価を行った。
  論文  参考訳（メタデータ） (2023-01-02T15:02:45Z)
• Context-aware Fine-tuning of Self-supervised Speech Models [56.95389222319555]
  微調整におけるコンテキスト,すなわち周辺セグメントの使用について検討する。 我々はコンテキスト認識ファインチューニングと呼ばれる新しいアプローチを提案する。 いくつかの下流タスクに対して,SLUE と Libri-light ベンチマークを用いて提案手法の評価を行った。
  論文  参考訳（メタデータ） (2022-12-16T15:46:15Z)
• Searching for Discriminative Words in Multidimensional Continuous Feature Space [0.0]
  文書から識別キーワードを抽出する新しい手法を提案する。 異なる差別的指標が全体的な結果にどのように影響するかを示す。 単語特徴ベクトルは文書の意味のトピック的推論を大幅に改善することができると結論付けている。
  論文  参考訳（メタデータ） (2022-11-26T18:05:11Z)
• Compositional Generalization in Grounded Language Learning via Induced Model Sparsity [81.38804205212425]
  グリッド環境における単純な言語条件のナビゲーション問題について考察する。 本研究では,オブジェクトの指示文と属性のスパース相関を助長するエージェントを設計し,それらを組み合わせて目的を導出する。 我々のエージェントは、少数のデモンストレーションから学習した場合でも、新しいプロパティの組み合わせを含む目標に対して高いレベルのパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2022-07-06T08:46:27Z)
• Graph Adaptive Semantic Transfer for Cross-domain Sentiment Classification [68.06496970320595]
  クロスドメイン感情分類(CDSC)は、ソースドメインから学んだ伝達可能なセマンティクスを使用して、ラベルなしのターゲットドメインにおけるレビューの感情を予測することを目的としている。 本稿では、単語列と構文グラフの両方からドメイン不変セマンティクスを学習できる適応型構文グラフ埋め込み法であるグラフ適応意味伝達(GAST)モデルを提案する。
  論文  参考訳（メタデータ） (2022-05-18T07:47:01Z)
• Deriving Word Vectors from Contextualized Language Models using Topic-Aware Mention Selection [46.97185212695267]
  本稿では,この基本戦略に従って単語表現を学習する手法を提案する。 我々は、文脈を符号化するワードベクトルの袋ではなく、文脈化された言語モデル(CLM)を利用する。 この単純な戦略は、単語埋め込みや既存のCLMベースの戦略よりも意味的特性をより予測し、高品質な単語ベクトルに繋がることを示す。
  論文  参考訳（メタデータ） (2021-06-15T08:02:42Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。