論文の概要: Pragmatic competence of pre-trained language models through the lens of discourse connectives

• arxiv url: http://arxiv.org/abs/2109.12951v1
• Date: Mon, 27 Sep 2021 11:04:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-28 15:34:53.861102
• Title: Pragmatic competence of pre-trained language models through the lens of discourse connectives
• Title（参考訳）: 談話接続のレンズによる事前学習言語モデルの実用的能力
• Authors: Lalchand Pandia, Yan Cong and Allyson Ettinger
• Abstract要約: 事前学習型言語モデル(LM)がNLPを支配し続けているため、これらのモデルにおける言語機能の深さを理解することがますます重要である。 談話接続性を予測するために実用的手がかりを使用するモデルの能力をテストすることに注力する。 自然に発生するデータのコンテキストにおいて、モデルが結合性を合理的に予測するが、高レベルの実用的手がかりを分離するためにコンテキストを制御する場合、モデル感度ははるかに低い。
• 参考スコア（独自算出の注目度）: 4.917317902787791
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As pre-trained language models (LMs) continue to dominate NLP, it is increasingly important that we understand the depth of language capabilities in these models. In this paper, we target pre-trained LMs' competence in pragmatics, with a focus on pragmatics relating to discourse connectives. We formulate cloze-style tests using a combination of naturally-occurring data and controlled inputs drawn from psycholinguistics. We focus on testing models' ability to use pragmatic cues to predict discourse connectives, models' ability to understand implicatures relating to connectives, and the extent to which models show humanlike preferences regarding temporal dynamics of connectives. We find that although models predict connectives reasonably well in the context of naturally-occurring data, when we control contexts to isolate high-level pragmatic cues, model sensitivity is much lower. Models also do not show substantial humanlike temporal preferences. Overall, the findings suggest that at present, dominant pre-training paradigms do not result in substantial pragmatic competence in our models.
• Abstract（参考訳）: 事前学習言語モデル(LM)がNLPを支配し続けているため、これらのモデルにおける言語機能の深さを理解することがますます重要である。 本稿では,言論接続に関する実用性に着目し,事前学習したLMの実用的能力に焦点をあてる。 自然発生データと心理言語学から引き出された制御入力を組み合わせることで,クローゼスタイルの試験を定式化する。 我々は,対話接続の予測に実用的手がかりを用いるモデルの能力,連結関係に関する模倣を理解するモデルの能力,連結関係の時間的ダイナミクスに関する人間的好みを示すモデルの程度に焦点を当てた。 自然に発生するデータのコンテキストにおいて、モデルが結合性を合理的に予測するが、高レベルの実用的手がかりを分離するためにコンテキストを制御する場合、モデル感度ははるかに低い。 モデルは人間のような時間的嗜好をも示さない。 全体としては、現在、支配的な事前学習パラダイムは、我々のモデルに実質的な能力をもたらすものではないことが示唆されている。

関連論文リスト

• Verbalized Probabilistic Graphical Modeling with Large Language Models [8.961720262676195]
  この研究は、大規模言語モデルによる学習自由ベイズ推論を促進する新しいベイズ急進的アプローチを導入している。 本研究は,AI言語理解システムの改善の可能性を示すとともに,信頼性評価とテキスト生成品質を効果的に向上させることを示唆する。
  論文  参考訳（メタデータ） (2024-06-08T16:35:31Z)
• Regularized Conventions: Equilibrium Computation as a Model of Pragmatic Reasoning [72.21876989058858]
  本稿では,信号ゲームの正規化平衡を探索することにより,発話を生成・理解する実用的な言語理解のモデルを提案する。 このモデルでは、話者とリスナーは文脈的に適切な発話を探索し、ゲーム理論の最適規則に近づき、共有された'デフォルト'セマンティクスに近い意味のマッピングを意味づける。
  論文  参考訳（メタデータ） (2023-11-16T09:42:36Z)
• Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
  事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。 ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。 本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-11-08T20:41:18Z)
• Improving Language Models Meaning Understanding and Consistency by Learning Conceptual Roles from Dictionary [65.268245109828]
  現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。 驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。 本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-24T06:15:15Z)
• Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
  ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。 まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。 次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
  論文  参考訳（メタデータ） (2023-06-04T15:44:51Z)
• On Robustness of Prompt-based Semantic Parsing with Large Pre-trained Language Model: An Empirical Study on Codex [48.588772371355816]
  本稿では,大規模なプロンプトベース言語モデルであるコーデックスの対角的ロバスト性に関する最初の実証的研究について述べる。 この結果から, 最先端の言語モデル(SOTA)は, 慎重に構築された敵の例に対して脆弱であることが示された。
  論文  参考訳（メタデータ） (2023-01-30T13:21:00Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Contextualization and Generalization in Entity and Relation Extraction [0.0]
  本研究では、訓練中に見えない事実への一般化に関する最先端モデルの振る舞いについて検討する。 従来のベンチマークは、トレーニングとモデル評価に使用される言及と関係の間に重要な語彙的重複を示す。 本稿では,トレーニングセットと重複する言及と関連性に基づいて,パフォーマンスを分離するための実証的研究を提案する。
  論文  参考訳（メタデータ） (2022-06-15T14:16:42Z)
• A Survey of Knowledge Enhanced Pre-trained Models [28.160826399552462]
  知識注入を伴う事前学習言語モデルを知識強化事前学習言語モデル(KEPLM)と呼ぶ。 これらのモデルは深い理解と論理的推論を示し、解釈可能性を導入する。
  論文  参考訳（メタデータ） (2021-10-01T08:51:58Z)
• Labeling Explicit Discourse Relations using Pre-trained Language Models [0.0]
  最先端のモデルは手作りの機能を使ってFスコアの45%をわずかに上回っている。 事前訓練された言語モデルは、微調整された場合、言語的特徴を置き換えるのに十分強力であることがわかった。 言語的な特徴を使わずに、モデルが知識集約型モデルより優れているのは、これが初めてである。
  論文  参考訳（メタデータ） (2020-06-21T17:18:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。