Fugu-MT 論文翻訳(概要): Overcoming Poor Word Embeddings with Word Definitions

論文の概要: Overcoming Poor Word Embeddings with Word Definitions

arxiv url: http://arxiv.org/abs/2103.03842v1
Date: Fri, 5 Mar 2021 17:57:54 GMT
ステータス: 処理完了
システム内更新日: 2021-03-08 20:59:48.858318
Title: Overcoming Poor Word Embeddings with Word Definitions
Title（参考訳）: 単語定義による貧弱な単語埋め込みの克服
Authors: Christopher Malon
Abstract要約: より稀な単語に依存する例は、自然言語推論モデルにおいてより困難であることを示す。モデルの定義に対する理解は通常、よくモデル化された単語埋め込みよりも弱いが、完全に訓練されていない単語の使用からパフォーマンスのギャップの大部分を回復する。
参考スコア（独自算出の注目度）: 1.0878040851638
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Modern natural language understanding models depend on pretrained subword embeddings, but applications may need to reason about words that were never or rarely seen during pretraining. We show that examples that depend critically on a rarer word are more challenging for natural language inference models. Then we explore how a model could learn to use definitions, provided in natural text, to overcome this handicap. Our model's understanding of a definition is usually weaker than a well-modeled word embedding, but it recovers most of the performance gap from using a completely untrained word.
Abstract（参考訳）: 現代の自然言語理解モデルは、事前学習されたサブワード埋め込みに依存するが、アプリケーションは、事前学習中に見られなかったり、滅多に見られない単語を判断する必要がある。より稀な単語に依存する例は、自然言語推論モデルにおいてより困難であることを示す。そして、モデルがこのハンディキャップを克服するために、自然文で提供される定義をどう使うかを学ぶ。モデルの定義に対する理解は通常、よくモデル化された単語埋め込みよりも弱いが、完全に訓練されていない単語の使用からパフォーマンスのギャップの大部分を回復する。

関連論文リスト

Towards preserving word order importance through Forced Invalidation [80.33036864442182]
事前学習された言語モデルは単語の順序に敏感であることを示す。我々は,単語順序の重要性を維持するために強制的無効化を提案する。実験の結果,強制的無効化は単語順に対するモデルの感度を著しく向上させることがわかった。
論文参考訳（メタデータ） (2023-04-11T13:42:10Z)
Lexical Generalization Improves with Larger Models and Longer Training [42.024050065980845]
本稿では,自然言語推論,パラフレーズ検出,読解理解における語彙重なりの活用について分析する。より大型のモデルでは、語彙的な重複を採用することへの感受性がはるかに低いことが分かりました。
論文参考訳（メタデータ） (2022-10-23T09:20:11Z)
Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文参考訳（メタデータ） (2022-10-14T02:35:19Z)
How Should Pre-Trained Language Models Be Fine-Tuned Towards Adversarial Robustness? [121.57551065856164]
本稿では,情報理論の観点から,新しい対角的微調整法としてロバスト・インフォーマティブ・ファインチューニング(RIFT)を提案する。 RIFTは、微調整プロセス全体を通して、事前訓練されたモデルから学んだ特徴を維持するために客観的モデルを奨励する。実験の結果, RIFTは2つのNLPタスクにおいて, 最先端のタスクを一貫して上回っていることがわかった。
論文参考訳（メタデータ） (2021-12-22T05:04:41Z)
The Greedy and Recursive Search for Morphological Productivity [9.082163670985281]
形態素学習は、完全に生産的な規則でさえ例外があるという事実によって挑戦される。許容原則は、生産的ルールが耐えうる例外の正確なしきい値を提供する最近の提案である。本稿では,ルールを自動的に仮定し,語彙よりも生産性を評価する欲望検索モデルを提案する。
論文参考訳（メタデータ） (2021-05-12T17:02:32Z)
Provable Limitations of Acquiring Meaning from Ungrounded Form: What will Future Language Models Understand? [87.20342701232869]
未知のシステムが意味を習得する能力について検討する。アサーションによってシステムが等価性のような意味関係を保存する表現をエミュレートできるかどうか検討する。言語内のすべての表現が参照的に透明であれば,アサーションによってセマンティックエミュレーションが可能になる。しかし、言語が変数バインディングのような非透過的なパターンを使用する場合、エミュレーションは計算不能な問題になる可能性がある。
論文参考訳（メタデータ） (2021-04-22T01:00:17Z)
Does He Wink or Does He Nod? A Challenging Benchmark for Evaluating Word Understanding of Language Models [0.6091702876917281]
大規模コーパスにおける事前学習言語モデルの最近の進歩は、多くのNLPタスクにおいて大きなパフォーマンス向上をもたらした。どのような知識が獲得されたかを評価するため、言語モデルは通常、空白スタイルのクローゼ質問を埋めてクエリすることで探索される。単語の辞書定義を用いて単語理解を直接評価するためにWDLMProを導入する。
論文参考訳（メタデータ） (2021-02-06T15:15:57Z)
Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。言語モデルのための完全合成出力埋め込み層を提案する。我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
論文参考訳（メタデータ） (2020-09-24T07:21:14Z)
Word Sense Disambiguation for 158 Languages using Word Embeddings Only [80.79437083582643]
文脈における単語感覚の曖昧さは人間にとって容易であるが、自動的アプローチでは大きな課題である。本稿では,学習前の標準単語埋め込みモデルを入力として,完全に学習した単語認識のインベントリを誘導する手法を提案する。この手法を用いて、158の言語に対して、事前訓練されたfastText単語の埋め込みに基づいて、センスインベントリのコレクションを誘導する。
論文参考訳（メタデータ） (2020-03-14T14:50:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。