論文の概要: Probing Commonsense Knowledge in Pre-trained Language Models with Sense-level Precision and Expanded Vocabulary

• arxiv url: http://arxiv.org/abs/2210.06376v1
• Date: Wed, 12 Oct 2022 16:26:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 12:32:48.935824
• Title: Probing Commonsense Knowledge in Pre-trained Language Models with Sense-level Precision and Expanded Vocabulary
• Title（参考訳）: 意味レベルの精度と拡張語彙を有する事前学習言語モデルにおける常識知識の探索
• Authors: Daniel Loureiro, Al\'ipio M\'ario Jorge
• Abstract要約: 本稿では,言語モデルに接地感インベントリ(WordNet)を付加する手法を提案する。 LMは自己スーパービジョンから非自明なコモンセンス知識を学習でき、多くの関係をカバーし、類似性に基づくアプローチよりも効果的である。
• 参考スコア（独自算出の注目度）: 2.588973722689844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Progress on commonsense reasoning is usually measured from performance improvements on Question Answering tasks designed to require commonsense knowledge. However, fine-tuning large Language Models (LMs) on these specific tasks does not directly evaluate commonsense learned during pre-training. The most direct assessments of commonsense knowledge in pre-trained LMs are arguably cloze-style tasks targeting commonsense assertions (e.g., A pen is used for [MASK].). However, this approach is restricted by the LM's vocabulary available for masked predictions, and its precision is subject to the context provided by the assertion. In this work, we present a method for enriching LMs with a grounded sense inventory (i.e., WordNet) available at the vocabulary level, without further training. This modification augments the prediction space of cloze-style prompts to the size of a large ontology while enabling finer-grained (sense-level) queries and predictions. In order to evaluate LMs with higher precision, we propose SenseLAMA, a cloze-style task featuring verbalized relations from disambiguated triples sourced from WordNet, WikiData, and ConceptNet. Applying our method to BERT, producing a WordNet-enriched version named SynBERT, we find that LMs can learn non-trivial commonsense knowledge from self-supervision, covering numerous relations, and more effectively than comparable similarity-based approaches.
• Abstract（参考訳）: コモンセンス推論の進歩は通常、コモンセンスの知識を必要とするように設計された質問応答タスクのパフォーマンス改善から測定される。 しかし、これらの特定のタスクに対する微調整された大きな言語モデル(LM)は、事前学習中に学んだ常識を直接評価するものではない。 事前訓練されたlmmにおけるコモンセンス知識の最も直接的な評価は、コモンセンスアサーション(例えば[マスク]にペンが使用される)をターゲットとしたクロゼスタイルのタスクである。 しかしながら、このアプローチはマスキング予測に使用可能なlmの語彙によって制限され、その精度はアサーションによって与えられる文脈に従属する。 本稿では,語彙レベルで利用可能な接地感覚インベントリ(すなわちwordnet)を,さらなる学習なしにlmsを充実させる手法を提案する。 この修正は、クローゼスタイルのプロンプトの予測空間を大きなオントロジーのサイズに拡張し、よりきめ細かい(センスレベルの)クエリと予測を可能にする。 高い精度でLMを評価するために,WordNet,WikiData,ConceptNetから派生した曖昧な三重項から言語化された関係を特徴付ける閉鎖型タスクであるSenseLAMAを提案する。 この手法をBERTに適用し、SynBERTというWordNetに富んだバージョンを生成することで、LMは自己スーパービジョンから非自明なコモンセンス知識を学習し、多くの関係をカバーし、同等の類似性に基づくアプローチよりも効果的であることが分かる。

関連論文リスト

• Improving Language Models Meaning Understanding and Consistency by Learning Conceptual Roles from Dictionary [65.268245109828]
  現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。 驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。 本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-24T06:15:15Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• Context-faithful Prompting for Large Language Models [51.194410884263135]
  大言語モデル(LLM)は世界事実に関するパラメトリック知識を符号化する。 パラメトリック知識への依存は、文脈的手がかりを見落とし、文脈に敏感なNLPタスクにおいて誤った予測をもたらす可能性がある。 我々は, LLMの文脈的忠実度を, 知識の衝突と, 棄権による予測の2つの側面で評価し, 向上する。
  論文  参考訳（メタデータ） (2023-03-20T17:54:58Z)
• DictBERT: Dictionary Description Knowledge Enhanced Language Model Pre-training via Contrastive Learning [18.838291575019504]
  事前訓練された言語モデル(PLM)は、知識駆動タスクを扱う際に知識が不足していることが示されている。 辞書知識で PLM を強化する新しい手法である textbfDictBERT を提案する。 我々は、NER、関係抽出、CommonsenseQA、OpenBookQA、GLUEなど、さまざまな知識駆動型および言語理解タスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-01T06:43:19Z)
• An Interpretability Evaluation Benchmark for Pre-trained Language Models [37.16893581395874]
  英語と中国語の両方の注釈付きデータを提供する新しい評価ベンチマークを提案する。 複数の次元(文法、意味論、知識、推論、計算など)でLMの能力をテストする。 各元のインスタンスに対する摂動インスタンスを含み、摂動の下での有理整合を忠実性の計量として使う。
  論文  参考訳（メタデータ） (2022-07-28T08:28:09Z)
• Editing Factual Knowledge in Language Models [51.947280241185]
  本稿では,この知識を編集する手法であるKnowledgeEditorを提案する。 knowledgeeditorは計算効率が高いだけでなく、lm事前トレーニングの修正も必要としない。 2つの一般的なアーキテクチャと知識集約型タスクで、KnowledgeEditorの有効性を示します。
  論文  参考訳（メタデータ） (2021-04-16T15:24:42Z)
• ERICA: Improving Entity and Relation Understanding for Pre-trained Language Models via Contrastive Learning [97.10875695679499]
  そこで本研究では, ERICA という新たなコントラスト学習フレームワークを提案し, エンティティとその関係をテキストでより深く理解する。 実験の結果,提案する erica フレームワークは文書レベルの言語理解タスクにおいて一貫した改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-12-30T03:35:22Z)
• CoLAKE: Contextualized Language and Knowledge Embedding [81.90416952762803]
  文脈型言語と知識埋め込み(CoLAKE)を提案する。 CoLAKEは、言語と知識の両方の文脈化された表現を、拡張された目的によって共同で学習する。 知識駆動タスク、知識探索タスク、言語理解タスクについて実験を行う。
  論文  参考訳（メタデータ） (2020-10-01T11:39:32Z)
• REALM: Retrieval-Augmented Language Model Pre-Training [37.3178586179607]
  言語モデルの事前学習を潜伏知識検索システムで強化し,ウィキペディアのような大規模コーパスから文書を検索し,出席できるようにする。 本研究では,このような知識検索を教師なしで事前学習する方法を初めて示す。 オープンドメイン質問回答(Open-QA)の課題を微調整し,検索型言語モデル事前学習(REALM)の有効性を実証する。
  論文  参考訳（メタデータ） (2020-02-10T18:40:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。