論文の概要: Is Incoherence Surprising? Targeted Evaluation of Coherence Prediction from Language Models

• arxiv url: http://arxiv.org/abs/2105.03495v1
• Date: Fri, 7 May 2021 20:28:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-14 04:52:06.052965
• Title: Is Incoherence Surprising? Targeted Evaluation of Coherence Prediction from Language Models
• Title（参考訳）: Incoherenceは驚きか? 言語モデルからのコヒーレンス予測の目標評価
• Authors: Anne Beyer and Sharid Lo\'aiciga and David Schlangen
• Abstract要約: 談話と対話の一貫性の異なる側面に対処する拡張可能なテストスイートを設計する。 従来のコヒーレンス評価研究と異なり、文順の摂動以外の特定の言語装置を扱う。 このパラダイムはコヒーレンスの概念に寄与する言語的品質を評価するのに等しく適していることを示す。
• 参考スコア（独自算出の注目度）: 7.5413579967970605
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Coherent discourse is distinguished from a mere collection of utterances by the satisfaction of a diverse set of constraints, for example choice of expression, logical relation between denoted events, and implicit compatibility with world-knowledge. Do neural language models encode such constraints? We design an extendable set of test suites addressing different aspects of discourse and dialogue coherence. Unlike most previous coherence evaluation studies, we address specific linguistic devices beyond sentence order perturbations, allowing for a more fine-grained analysis of what constitutes coherence and what neural models trained on a language modelling objective do encode. Extending the targeted evaluation paradigm for neural language models (Marvin and Linzen, 2018) to phenomena beyond syntax, we show that this paradigm is equally suited to evaluate linguistic qualities that contribute to the notion of coherence.
• Abstract（参考訳）: コヒーレントな談話は、表現の選択、表現されたイベント間の論理的関係、世界知識との暗黙の互換性など、様々な制約のセットの満足度によって、単に発話の集まりと区別される。 ニューラルネットワークモデルはそのような制約をエンコードするのか? 談話と対話の一貫性の異なる側面に対処する拡張可能なテストスイートを設計する。 従来のコヒーレンス評価研究とは異なり、文順の摂動を超えた特定の言語デバイスに対処し、コヒーレンスを構成するものや、言語モデリングの目的に基づいて訓練されたニューラルモデルがエンコードするものをよりきめ細かな分析を可能にする。 ニューラルネットワークモデルに対する目標評価パラダイム(Marvin and Linzen, 2018)を構文以外の現象に拡張することにより、このパラダイムがコヒーレンスの概念に寄与する言語的品質の評価に等しく適していることを示す。

関連論文リスト

• Learning Phonotactics from Linguistic Informants [54.086544221761486]
  本モデルでは,情報理論的なポリシーの1つに従って,データポイントを反復的に選択または合成する。 提案モデルでは,情報提供者を問う項目の選択に使用する情報理論のポリシーが,完全教師付きアプローチに匹敵する,あるいはそれ以上の効率性が得られることがわかった。
  論文  参考訳（メタデータ） (2024-05-08T00:18:56Z)
• Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
  本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。 ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。 また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
  論文  参考訳（メタデータ） (2023-07-16T15:18:25Z)
• Constructing Word-Context-Coupled Space Aligned with Associative Knowledge Relations for Interpretable Language Modeling [0.0]
  事前訓練された言語モデルにおけるディープニューラルネットワークのブラックボックス構造は、言語モデリングプロセスの解釈可能性を大幅に制限する。 解釈不能なニューラル表現と解釈不能な統計論理のアライメント処理を導入することで,ワードコンテキスト結合空間(W2CSpace)を提案する。 我々の言語モデルは,関連する最先端手法と比較して,優れた性能と信頼性の高い解釈能力を実現することができる。
  論文  参考訳（メタデータ） (2023-05-19T09:26:02Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• Causal Analysis of Syntactic Agreement Mechanisms in Neural Language Models [40.83377935276978]
  本研究は、訓練済みニューラルネットワークモデルに因果媒介分析を適用した。 文法的屈折に対するモデルの好みの大きさについて検討する。 本研究は, 構文構造に応じて, 主語と主語を一致させる2つのメカニズムを観察する。
  論文  参考訳（メタデータ） (2021-06-10T23:50:51Z)
• Discrete representations in neural models of spoken language [56.29049879393466]
  音声言語の弱教師付きモデルの文脈における4つの一般的なメトリクスの利点を比較した。 異なる評価指標が矛盾する結果をもたらすことが分かりました。
  論文  参考訳（メタデータ） (2021-05-12T11:02:02Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• Does injecting linguistic structure into language models lead to better alignment with brain recordings? [13.880819301385854]
  言語モデルと脳記録との整合性は,構文的あるいは意味論的フォーマリズムからのアノテーションに偏りがある場合と評価する。 提案手法は,脳内の意味の組成について,より標的となる仮説の評価を可能にする。
  論文  参考訳（メタデータ） (2021-01-29T14:42:02Z)
• Evaluating Models of Robust Word Recognition with Serial Reproduction [8.17947290421835]
  広範囲確率的生成言語モデルと人間の言語的期待を捉える能力の比較を行った。 先行した言語的文脈の抽象表現を利用するこれらのモデルは、連続再生の過程で人々が行った変化を最もよく予測する。
  論文  参考訳（メタデータ） (2021-01-24T20:16:12Z)
• Analyzing Neural Discourse Coherence Models [17.894463722947542]
  本稿では,現在のコヒーレンスモデルが,談話組織におけるテキストの側面をいかに捉えるかを検討する。 文法や意味論の変化に対するコヒーレンスとテストモデルの感度を損なう言語変化の2つのデータセットを考案する。
  論文  参考訳（メタデータ） (2020-11-12T10:44:41Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。