論文の概要: Probing Linguistic Information For Logical Inference In Pre-trained Language Models

• arxiv url: http://arxiv.org/abs/2112.01753v1
• Date: Fri, 3 Dec 2021 07:19:42 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-07 01:36:07.582007
• Title: Probing Linguistic Information For Logical Inference In Pre-trained Language Models
• Title（参考訳）: 事前学習型言語モデルにおける論理推論のための言語情報の提案
• Authors: Zeming Chen and Qiyue Gao
• Abstract要約: 本稿では,事前学習した言語モデル表現における論理推論のための言語情報探索手法を提案する。 i)事前学習された言語モデルは、推論のためにいくつかの種類の言語情報を符号化するが、弱符号化された情報もいくつか存在する。 シンボリック推論支援のためのセマンティックおよび背景知識基盤としての言語モデルの可能性を実証した。
• 参考スコア（独自算出の注目度）: 2.4366811507669124
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Progress in pre-trained language models has led to a surge of impressive results on downstream tasks for natural language understanding. Recent work on probing pre-trained language models uncovered a wide range of linguistic properties encoded in their contextualized representations. However, it is unclear whether they encode semantic knowledge that is crucial to symbolic inference methods. We propose a methodology for probing linguistic information for logical inference in pre-trained language model representations. Our probing datasets cover a list of linguistic phenomena required by major symbolic inference systems. We find that (i) pre-trained language models do encode several types of linguistic information for inference, but there are also some types of information that are weakly encoded, (ii) language models can effectively learn missing linguistic information through fine-tuning. Overall, our findings provide insights into which aspects of linguistic information for logical inference do language models and their pre-training procedures capture. Moreover, we have demonstrated language models' potential as semantic and background knowledge bases for supporting symbolic inference methods.
• Abstract（参考訳）: 事前学習された言語モデルの進歩は、自然言語理解のための下流タスクに対する印象的な結果の急増につながった。 事前学習された言語モデルの探索に関する最近の研究で、文脈化表現にエンコードされた幅広い言語特性が明らかになった。 しかし、シンボリック推論法に不可欠な意味的知識をエンコードするかどうかは定かではない。 本稿では,事前学習した言語モデル表現における論理推論のための言語情報探索手法を提案する。 我々の探索データセットは、主要な記号推論システムに必要な言語現象のリストをカバーしている。 私たちはそれを見つけ (i)事前学習された言語モデルは、推論のためにいくつかの種類の言語情報をエンコードしているが、弱いエンコードされた情報もある。 (ii)言語モデルは、微調整によって欠落した言語情報を効果的に学習することができる。 本研究は,論理的推論のための言語情報のどの側面が言語モデルと事前学習手順を捉えるかについての知見を提供する。 さらに,記号推論支援のための意味的および背景知識基盤としての言語モデルの可能性を示した。

関連論文リスト

• Learning Phonotactics from Linguistic Informants [54.086544221761486]
  本モデルでは,情報理論的なポリシーの1つに従って,データポイントを反復的に選択または合成する。 提案モデルでは,情報提供者を問う項目の選択に使用する情報理論のポリシーが,完全教師付きアプローチに匹敵する,あるいはそれ以上の効率性が得られることがわかった。
  論文  参考訳（メタデータ） (2024-05-08T00:18:56Z)
• Towards Understanding What Code Language Models Learned [10.989953856458996]
  事前訓練された言語モデルは、様々な自然言語処理に有効である。 彼らの能力は、完全に学習する意味や言語を理解する能力に欠けている、と論じられている。 本研究は,表面周波数と共起を超越した,コードのセマンティクスをキャプチャする能力について考察する。
  論文  参考訳（メタデータ） (2023-06-20T23:42:14Z)
• Language Embeddings Sometimes Contain Typological Generalizations [0.0]
  我々は、1295の言語における聖書翻訳の膨大な多言語データセットに基づいて、自然言語処理タスクのニューラルネットワークを訓練する。 学習された言語表現は、既存の類型データベースや、新しい量的構文的・形態的特徴セットと比較される。 いくつかの一般化は言語型学の伝統的な特徴に驚くほど近いが、ほとんどのモデルは以前の研究と同様に言語学的に意味のある一般化をしていないと結論付けている。
  論文  参考訳（メタデータ） (2023-01-19T15:09:59Z)
• Benchmarking Language Models for Code Syntax Understanding [79.11525961219591]
  事前学習された言語モデルは、自然言語処理とプログラム理解の両方において素晴らしい性能を示している。 本研究では,プログラムの構文構造を特定するための,最先端の事前訓練モデルの最初の徹底的なベンチマークを行う。 この結果から,既存のプログラミング言語の事前学習手法の限界が指摘され,構文構造をモデル化することの重要性が示唆された。
  論文  参考訳（メタデータ） (2022-10-26T04:47:18Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Entailment Semantics Can Be Extracted from an Ideal Language Model [32.5500309433108]
  文間の係り受け判断が理想的な言語モデルから抽出できることを実証する。 また,これらのデータに基づいて学習した言語モデルの予測から,包含判断を復号化できることを示す。
  論文  参考訳（メタデータ） (2022-09-26T04:16:02Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• The Rediscovery Hypothesis: Language Models Need to Meet Linguistics [8.293055016429863]
  現代言語モデルの性能向上に言語知識が必須条件であるかどうかを検討する。 その結果, 言語構造を探索した場合, かなり圧縮されるが, 事前学習目的によく適合する言語モデルは, 良好なスコアを保っていることがわかった。 この結果は再発見仮説を支持し,本論文の第2の貢献である言語モデル目標と言語情報との関連性に関する情報論的枠組みを導出する。
  論文  参考訳（メタデータ） (2021-03-02T15:57:39Z)
• Data Augmentation for Spoken Language Understanding via Pretrained Language Models [113.56329266325902]
  音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。 我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
  論文  参考訳（メタデータ） (2020-04-29T04:07:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。