論文の概要: Low Anisotropy Sense Retrofitting (LASeR) : Towards Isotropic and Sense
Enriched Representations
- arxiv url: http://arxiv.org/abs/2104.10833v1
- Date: Thu, 22 Apr 2021 02:44:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-23 13:59:21.442921
- Title: Low Anisotropy Sense Retrofitting (LASeR) : Towards Isotropic and Sense
Enriched Representations
- Title(参考訳): 低異方性センスリトロフィッティング(LASeR) : 等方性と高密度表現に向けて
- Authors: Geetanjali Bihani and Julia Taylor Rayz
- Abstract要約: 我々は表現幾何学を解析し、学習済みの言語モデルのほとんどの層が高度に異方性のある表現を作り出すことを発見した。
既成表現を等方的かつ意味的に意味的に表現する 'Low Anisotropy Sense Retrofitting' アプローチである LASeR を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contextual word representation models have shown massive improvements on a
multitude of NLP tasks, yet their word sense disambiguation capabilities remain
poorly explained. To address this gap, we assess whether contextual word
representations extracted from deep pretrained language models create
distinguishable representations for different senses of a given word. We
analyze the representation geometry and find that most layers of deep
pretrained language models create highly anisotropic representations, pointing
towards the existence of representation degeneration problem in contextual word
representations. After accounting for anisotropy, our study further reveals
that there is variability in sense learning capabilities across different
language models. Finally, we propose LASeR, a 'Low Anisotropy Sense
Retrofitting' approach that renders off-the-shelf representations isotropic and
semantically more meaningful, resolving the representation degeneration problem
as a post-processing step, and conducting sense-enrichment of contextualized
representations extracted from deep neural language models.
- Abstract(参考訳): 文脈表現モデルは多数のnlpタスクで大幅に改善されているが、word senseの曖昧さ回避機能は説明されていない。
このギャップに対処するために,事前学習された言語モデルから抽出された文脈表現が,ある単語の異なる感覚に対して識別可能な表現を生成するかどうかを評価する。
我々は表現幾何学を解析し、文脈表現における表現退化問題の存在を指して、深層事前学習言語モデルのほとんどの層が高度に異方性のある表現を生成することを発見した。
異方性を考慮した結果,様々な言語モデルにまたがる感覚学習能力の変動が明らかになった。
最後に,Low Anisotropy Sense RetrofittingのアプローチであるLASeRを提案する。このアプローチは,既製の表現を等方的かつ意味的に有意義に表現し,表現退化問題を後処理のステップとして解決し,深層ニューラルネットワークモデルから抽出した文脈的表現の感覚豊か化を行う。
関連論文リスト
- Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [53.7168869241458]
現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。
しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。
より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか?
本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
論文 参考訳(メタデータ) (2023-10-20T03:33:36Z) - Shades of meaning: Uncovering the geometry of ambiguous word
representations through contextualised language models [6.760960482418417]
語彙的曖昧さは言語科学に深く永続的な挑戦をもたらす。
我々の研究は、一連のシミュレーションを通して、語彙的あいまいさの心理的理解に関する新たな洞察を提供する。
論文 参考訳(メタデータ) (2023-04-26T14:47:38Z) - Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
比喩的・比喩的な言語は言論において一般的である。
現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。
ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
論文 参考訳(メタデータ) (2022-04-26T23:42:22Z) - SimAN: Exploring Self-Supervised Representation Learning of Scene Text
via Similarity-Aware Normalization [66.35116147275568]
自己指導型表現学習は、現場テキスト認識コミュニティからかなりの注目を集めている。
表現学習スキームを生成的手法で定式化することで,この問題に対処する。
そこで我々は,異なるパターンを識別し,対応するスタイルを誘導パッチから整列するSimANモジュールを提案する。
論文 参考訳(メタデータ) (2022-03-20T08:43:10Z) - A Latent-Variable Model for Intrinsic Probing [94.61336186402615]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳(メタデータ) (2022-01-20T15:01:12Z) - Semantic Representation and Inference for NLP [2.969705152497174]
この論文は、新しい意味表現と推論のための深層学習の利用について考察する。
我々は,自動クレーム検証を目的とした,現実の事実クレームの公開データセットとして最大である。
語句表現を外部単語埋め込みと知識グラフで豊かにすることにより,句の構成性を文脈的に操作する。
論文 参考訳(メタデータ) (2021-06-15T13:22:48Z) - Accurate Word Representations with Universal Visual Guidance [55.71425503859685]
本稿では,視覚指導から従来の単語埋め込みを視覚的に強調する視覚的表現法を提案する。
各単語が多様な関連画像に対応するマルチモーダルシードデータセットから,小型の単語画像辞書を構築する。
12の自然言語理解および機械翻訳タスクの実験により,提案手法の有効性と一般化能力がさらに検証された。
論文 参考訳(メタデータ) (2020-12-30T09:11:50Z) - Unsupervised Distillation of Syntactic Information from Contextualized
Word Representations [62.230491683411536]
我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。
この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。
我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
論文 参考訳(メタデータ) (2020-10-11T15:13:18Z) - Analysing Lexical Semantic Change with Contextualised Word
Representations [7.071298726856781]
本稿では,BERTニューラルネットワークモデルを用いて単語使用率の表現を求める手法を提案する。
我々は新しい評価データセットを作成し、モデル表現と検出された意味変化が人間の判断と正に相関していることを示す。
論文 参考訳(メタデータ) (2020-04-29T12:18:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。