論文の概要: Spying on your neighbors: Fine-grained probing of contextual embeddings
for information about surrounding words
- arxiv url: http://arxiv.org/abs/2005.01810v1
- Date: Mon, 4 May 2020 19:34:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-07 00:02:15.986756
- Title: Spying on your neighbors: Fine-grained probing of contextual embeddings
for information about surrounding words
- Title（参考訳）: 隣人へのスパイ行為:周囲の単語の情報に対する文脈埋め込みのきめ細かい探究
- Authors: Josef Klafka and Allyson Ettinger
- Abstract要約: 本稿では,周辺単語の情報エンコーディングのためのコンテキスト埋め込みのきめ細かいテストを可能にする探索タスクのスイートを紹介する。
我々は、人気のあるBERT、ELMoおよびGPTコンテキストエンコーダを調べ、テストされた情報型が実際にトークン間でコンテキスト情報としてエンコードされていることを発見した。
トークン埋め込みを構築する際に,異なる種類のモデルがどのように分解し,単語レベルのコンテキスト情報を優先するかについて,これらの結果の意味を論じる。
- 参考スコア（独自算出の注目度）: 12.394077144994617
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although models using contextual word embeddings have achieved
state-of-the-art results on a host of NLP tasks, little is known about exactly
what information these embeddings encode about the context words that they are
understood to reflect. To address this question, we introduce a suite of
probing tasks that enable fine-grained testing of contextual embeddings for
encoding of information about surrounding words. We apply these tasks to
examine the popular BERT, ELMo and GPT contextual encoders, and find that each
of our tested information types is indeed encoded as contextual information
across tokens, often with near-perfect recoverability-but the encoders vary in
which features they distribute to which tokens, how nuanced their distributions
are, and how robust the encoding of each feature is to distance. We discuss
implications of these results for how different types of models breakdown and
prioritize word-level context information when constructing token embeddings.
- Abstract（参考訳）: 文脈的単語埋め込みを用いたモデルは、NLPタスクのホスト上で最先端の結果を得たが、これらの埋め込みが反映されるコンテキストワードについてエンコードする情報について正確には分かっていない。
この問題に対処するために,周辺単語の情報エンコーディングのための文脈埋め込みのきめ細かいテストを可能にする探索タスクスイートを導入する。
これらのタスクをbert、elmo、gptのコンテクストエンコーダに適用し、テストした各情報型がトークン間のコンテクスト情報として実際にエンコードされ、ほぼ完全なリカバリ性を持つことが分かりました。
トークン埋め込みを構築する際に,異なる種類のモデルがどのように分解し,単語レベルのコンテキスト情報を優先するかを考察する。
関連論文リスト
- Dissecting Paraphrases: The Impact of Prompt Syntax and supplementary Information on Knowledge Retrieval from Pretrained Language Models [8.588056811772693]
ConPARE-LAMAは、3400万の異なるプロンプトからなるプローブで、最小限のパラフレーズ間での比較を容易にする。
ConPARE-LAMAは, PLMの知識検索性能に対する統語的形態や意味情報の独立的な影響についての洞察を可能にする。
論文 参考訳（メタデータ） (2024-04-02T14:35:08Z) - Text-To-KG Alignment: Comparing Current Methods on Classification Tasks [2.191505742658975]
知識グラフ(KG)は、事実情報の密集した構造化された表現を提供する。
最近の研究は、追加のコンテキストとしてKGから情報を取得するパイプラインモデルの作成に重点を置いている。
現在のメソッドが、アライメントされたサブグラフがクエリに完全に関連しているシナリオとどのように比較されているかは分かっていない。
論文 参考訳（メタデータ） (2023-06-05T13:45:45Z) - What Are You Token About? Dense Retrieval as Distributions Over the
Vocabulary [68.77983831618685]
本稿では,2つのエンコーダが生成するベクトル表現を,モデルの語彙空間に投影することで解釈する。
得られたプロジェクションは、リッチな意味情報を含み、それらの間の接続を描画し、スパース検索を行う。
論文 参考訳（メタデータ） (2022-12-20T16:03:25Z) - Python Code Generation by Asking Clarification Questions [57.63906360576212]
本稿では,この課題に対して,より斬新で現実的なセットアップを導入する。
我々は、自然言語記述の過小評価は、明確化を問うことで解決できると仮定する。
我々は、生成した合成明確化質問と回答を含む自然言語記述とコードのペアを含む、CodeClarQAという新しいデータセットを収集し、導入する。
論文 参考訳（メタデータ） (2022-12-19T22:08:36Z) - Span Classification with Structured Information for Disfluency Detection
in Spoken Utterances [47.05113261111054]
本稿では,音声音声からテキスト中の不一致を検出する新しいアーキテクチャを提案する。
提案手法は, 広範に使われているイングリッシュスイッチボードを用いて, ディフルエンシ検出の最先端化を実現する。
論文 参考訳（メタデータ） (2022-03-30T03:22:29Z) - KnowPrompt: Knowledge-aware Prompt-tuning with Synergistic Optimization
for Relation Extraction [111.74812895391672]
シナジスティック最適化(KnowPrompt)を用いた知識認識型Promptチューニング手法を提案する。
関係ラベルに含まれる潜在知識をインジェクトして,学習可能な仮想型語と解答語で構築する。
論文 参考訳（メタデータ） (2021-04-15T17:57:43Z) - On the Evolution of Syntactic Information Encoded by BERT's
Contextualized Representations [11.558645364193486]
本稿では,6つのタスクに対してBERTの微調整プロセスに沿って,組込み構文木の進化を解析する。
実験結果から, 符号化された情報は, タスクに応じて微調整プロセスに沿って, 忘れられ(PoSタグ付け), 強化された(依存度・隣接度解析) あるいは保存された(セマンティック関連タスク) 。
論文 参考訳（メタデータ） (2021-01-27T15:41:09Z) - CokeBERT: Contextual Knowledge Selection and Embedding towards Enhanced
Pre-Trained Language Models [103.18329049830152]
我々は,コンテキスト知識を動的に選択し,テキストコンテキストに応じて知識コンテキストを埋め込む,Cokeという新しいフレームワークを提案する。
実験の結果、コークは知識駆動型NLPタスクにおいて、様々なベースラインを上回ります。
コークは、テキスト関連の知識のセマンティクスを従来のPLMよりも解釈可能な形で記述することができる。
論文 参考訳（メタデータ） (2020-09-29T12:29:04Z) - A Comparative Study on Structural and Semantic Properties of Sentence
Embeddings [77.34726150561087]
本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。
異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。
これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
論文 参考訳（メタデータ） (2020-09-23T15:45:32Z) - A Survey on Contextual Embeddings [48.04732268018772]
文脈埋め込みは、各単語を文脈に基づく表現として割り当て、様々な文脈にまたがる単語の使用を捉え、言語間で伝達される知識を符号化する。
本稿では,既存の文脈埋め込みモデル,言語間多言語事前学習,下流タスクへの文脈埋め込みの適用,モデル圧縮,モデル解析についてレビューする。
論文 参考訳（メタデータ） (2020-03-16T15:22:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。