論文の概要: When a sentence does not introduce a discourse entity, Transformer-based models still sometimes refer to it

• arxiv url: http://arxiv.org/abs/2205.03472v1
• Date: Fri, 6 May 2022 20:49:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-15 13:30:25.506131
• Title: When a sentence does not introduce a discourse entity, Transformer-based models still sometimes refer to it
• Title（参考訳）: 文が談話の実体を含まない場合、トランスフォーマーベースのモデルはまだそれを参照することがある。
• Authors: Sebastian Schuster, Tal Linzen
• Abstract要約: 不定名詞句(NP)は、しばしば談話エンティティを導入するが、この振る舞いは否定のような感性演算子によって変調される。 本研究では,言語モデルパラダイムの心理言語学的評価を高次言語現象に適用する。 本稿では,Transformer ベースモデル GPT-2 と GPT-3 のエンティティ追跡能力を詳細に検討するために,この評価スイートを利用する。
• 参考スコア（独自算出の注目度）: 26.637467722121762
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding longer narratives or participating in conversations requires tracking of discourse entities that have been mentioned. Indefinite noun phrases (NPs), such as 'a dog', frequently introduce discourse entities but this behavior is modulated by sentential operators such as negation. For example, 'a dog' in 'Arthur doesn't own a dog' does not introduce a discourse entity due to the presence of negation. In this work, we adapt the psycholinguistic assessment of language models paradigm to higher-level linguistic phenomena and introduce an English evaluation suite that targets the knowledge of the interactions between sentential operators and indefinite NPs. We use this evaluation suite for a fine-grained investigation of the entity tracking abilities of the Transformer-based models GPT-2 and GPT-3. We find that while the models are to a certain extent sensitive to the interactions we investigate, they are all challenged by the presence of multiple NPs and their behavior is not systematic, which suggests that even models at the scale of GPT-3 do not fully acquire basic entity tracking abilities.
• Abstract（参考訳）: 長い物語を理解するか、会話に参加するには、言及された談話の実体を追跡する必要がある。 犬」のような不定名詞句(NP)は、しばしば談話の実体を導入するが、この振る舞いは否定のような感性演算子によって変調される。 例えば「アーサーは犬を飼っていません」の「犬」は否定の存在から談話の実体を導入しない。 本研究では,言語モデルパラダイムの心理言語学的評価を高次言語現象に適用し,感性演算子と不確定NP間の相互作用の知識をターゲットとした英語評価スイートを導入する。 本稿では,Transformer ベースモデル GPT-2 と GPT-3 のエンティティ追跡能力を詳細に検討する。 我々は,モデルが相互作用にある程度敏感であるのに対して,複数のNPが存在することは問題であり,その挙動は体系的ではないこと,GPT-3スケールのモデルでさえ,基本的な実体追跡能力を完全には獲得していないことを示唆している。

関連論文リスト

• A Psycholinguistic Evaluation of Language Models' Sensitivity to Argument Roles [0.06554326244334868]
  我々は,人間の議論的役割処理に関する心理言語学的研究を再現することにより,大規模言語モデルの議論的役割に対する感受性を評価する。 言語モデルでは,動詞とその先行する引数の関係から,可否が決定されるような,可否的かつ不可解な文脈で現れる動詞を識別することができる。 このことは、言語モデルが動詞の可読性を検出する能力は、人間のリアルタイム文処理の基盤となるメカニズムから生じるものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-10-21T16:05:58Z)
• Holmes: A Benchmark to Assess the Linguistic Competence of Language Models [59.627729608055006]
  言語モデル(LM)の言語能力を評価するための新しいベンチマークであるHolmesを紹介する。 我々は、計算に基づく探索を用いて、異なる言語現象に関するLMの内部表現を調べる。 その結果,近年,他の認知能力からLMの言語能力を引き離す声が上がっている。
  論文  参考訳（メタデータ） (2024-04-29T17:58:36Z)
• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• Analyzing Semantic Faithfulness of Language Models via Input Intervention on Question Answering [4.799822253865053]
  本研究では,意味的忠実性の概念を定式化し,テキストの意味的内容が質問応答におけるモデルの推論を因果的に判断する。 削除介入と否定介入という2つのセマンティック介入を実行すると、トランスフォーマーモデルは意味的に忠実でないことが示される。 本稿では,削除介入に対する望ましくない効果を,かなりのマージンで軽減できる介入ベーストレーニング体制を提案する。
  論文  参考訳（メタデータ） (2022-12-21T00:00:01Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Shapley Head Pruning: Identifying and Removing Interference in Multilingual Transformers [54.4919139401528]
  言語固有のパラメータを識別・解析することで干渉を減らすことができることを示す。 固定モデルから同定された注目ヘッドを除去することで、文分類と構造予測の両方において、ターゲット言語の性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-10-11T18:11:37Z)
• Developmental Negation Processing in Transformer Language Models [3.8549057267992164]
  発達心理学における否定のタイプに着目した。 我々は、自然言語推論(NLI)タスクとして問題をフレーミングすることで、トランスフォーマーがこのような否定のカテゴリをいかにうまく処理できるかを考察する。 モデルは特定のカテゴリでのみ一貫してパフォーマンスが向上し、その処理方法の明確な違いが示唆される。
  論文  参考訳（メタデータ） (2022-04-29T14:07:34Z)
• Schr\"odinger's Tree -- On Syntax and Neural Language Models [10.296219074343785]
  言語モデルは、NLPのワークホースとして登場し、ますます流動的な生成能力を示している。 我々は、多くの次元にまたがる明瞭さの欠如を観察し、研究者が形成する仮説に影響を及ぼす。 本稿では,構文研究における様々な研究課題の意義について概説する。
  論文  参考訳（メタデータ） (2021-10-17T18:25:23Z)
• When Does Translation Require Context? A Data-driven, Multilingual Exploration [71.43817945875433]
  談話の適切な処理は機械翻訳(MT)の品質に大きく貢献する 文脈認識型MTにおける最近の研究は、評価中に少量の談話現象を標的にしようとしている。 談話現象のモデル性能を識別・評価するタグの集合である,多言語談話認識ベンチマークを開発した。
  論文  参考訳（メタデータ） (2021-09-15T17:29:30Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• End-to-End Spoken Language Understanding Without Full Transcripts [38.19173637496798]
  音声入力を直接意味的エンティティに変換するエンド・ツー・エンド(E2E)音声言語理解システムを開発した。 CTCモデルとアテンションベースのエンコーダ・デコーダモデルという2つのタイプを作成した。 ATISコーパスにおける発話・発話実験では、CTCとアテンションモデルの両方が、非発話語をスキップする印象的な能力を示した。
  論文  参考訳（メタデータ） (2020-09-30T01:54:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。