論文の概要: Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge

• arxiv url: http://arxiv.org/abs/2107.10922v1
• Date: Thu, 22 Jul 2021 20:52:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-26 13:57:45.038928
• Title: Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge
• Title（参考訳）: 猫はコーヒーを飲みましたか。 一般化イベント知識を用いたカオス変換器
• Authors: Paolo Pedinotti, Giulia Rambelli, Emmanuele Chersoni, Enrico Santus, Alessandro Lenci, Philippe Blache
• Abstract要約: Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
• 参考スコア（独自算出の注目度）: 59.22170796793179
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Prior research has explored the ability of computational models to predict a word semantic fit with a given predicate. While much work has been devoted to modeling the typicality relation between verbs and arguments in isolation, in this paper we take a broader perspective by assessing whether and to what extent computational approaches have access to the information about the typicality of entire events and situations described in language (Generalized Event Knowledge). Given the recent success of Transformers Language Models (TLMs), we decided to test them on a benchmark for the \textit{dynamic estimation of thematic fit}. The evaluation of these models was performed in comparison with SDM, a framework specifically designed to integrate events in sentence meaning representations, and we conducted a detailed error analysis to investigate which factors affect their behavior. Our results show that TLMs can reach performances that are comparable to those achieved by SDM. However, additional analysis consistently suggests that TLMs do not capture important aspects of event knowledge, and their predictions often depend on surface linguistic features, such as frequent words, collocations and syntactic patterns, thereby showing sub-optimal generalization abilities.
• Abstract（参考訳）: 先行研究は、与えられた述語に適合する単語の意味を予測できる計算モデルの能力を調査した。 動詞と引数の典型関係を分離してモデル化する研究が数多く行われているが,本稿では,言語(汎用イベント知識)で記述された事象や状況の典型性に関する情報にコンピュータアプローチがどの程度アクセスできるかを,より広い視点から評価する。 最近のtransformers language model (tlms)の成功を踏まえて、私たちはそれらを \textit{dynamic estimation of thematic fit} のベンチマークでテストすることにしました。 文の意味表現にイベントを統合するためのフレームワークであるSDMと比較して,これらのモデルの評価を行い,その動作にどのような要因が影響するかを詳細に分析した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、追加分析により、TLMは事象の知識の重要な側面を捉えておらず、その予測はしばしば、頻繁な単語、コロケーション、構文パターンなどの表面言語的特徴に依存しており、それによって準最適一般化能力を示すことが示唆される。

関連論文リスト

• On the Tip of the Tongue: Analyzing Conceptual Representation in Large Language Models with Reverse-Dictionary Probe [36.65834065044746]
  我々は、言語記述に暗示される対象概念の用語を生成するために、文脈内学習を用いてモデルを誘導する。 実験結果から,逆ディファレンシャルタスクによって探索された概念推論能力は,モデルの一般的な推論性能を予測することが示唆された。
  論文  参考訳（メタデータ） (2024-02-22T09:45:26Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• How Abstract Is Linguistic Generalization in Large Language Models? Experiments with Argument Structure [2.530495315660486]
  本研究では,事前学習したトランスフォーマーに基づく大規模言語モデルがコンテキスト間の関係を表現する程度について検討する。 LLMは、関連する文脈間の新しい名詞引数の分布を一般化する上で、よく機能することがわかった。 しかし、LCMは事前学習中に観測されていない関連するコンテキスト間の一般化に失敗する。
  論文  参考訳（メタデータ） (2023-11-08T18:58:43Z)
• Token-wise Decomposition of Autoregressive Language Model Hidden States for Analyzing Model Predictions [9.909170013118775]
  本研究は,各初期入力トークンに基づいて,自己回帰言語モデルから最終隠れ状態の線形分解を行う。 次単語確率の変化を重要度尺度として、まず、どの文脈語が言語モデル予測に最も貢献するかを検討する。
  論文  参考訳（メタデータ） (2023-05-17T23:55:32Z)
• Competence-Based Analysis of Language Models [21.43498764977656]
  CALM (Competence-based Analysis of Language Models) は、特定のタスクの文脈におけるLLM能力を調べるために設計された。 我々は,勾配に基づく対向攻撃を用いた因果探究介入を行うための新しい手法を開発した。 これらの介入を用いてCALMのケーススタディを行い、様々な語彙推論タスクにおけるLCM能力の分析と比較を行う。
  論文  参考訳（メタデータ） (2023-03-01T08:53:36Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
  我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。 その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。 我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
  論文  参考訳（メタデータ） (2021-05-20T15:18:06Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• A Closer Look at Linguistic Knowledge in Masked Language Models: The Case of Relative Clauses in American English [17.993417004424078]
  トランスフォーマーに基づく言語モデルは、様々なタスクにおいて高いパフォーマンスを達成するが、それらが学習し、依存する言語知識の理解はいまだに不足している。 文レベルの探索, 診断事例, マスク付き予測タスクにより, 文法的および意味的知識をテストする3つのモデル(BERT, RoBERTa, ALBERT)を評価した。
  論文  参考訳（メタデータ） (2020-11-02T13:25:39Z)
• How Far are We from Effective Context Modeling? An Exploratory Study on Semantic Parsing in Context [59.13515950353125]
  文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。 我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
  論文  参考訳（メタデータ） (2020-02-03T11:28:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。