論文の概要: The Language Model Understood the Prompt was Ambiguous: Probing Syntactic Uncertainty Through Generation

• arxiv url: http://arxiv.org/abs/2109.07848v1
• Date: Thu, 16 Sep 2021 10:27:05 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-17 22:51:58.903480
• Title: The Language Model Understood the Prompt was Ambiguous: Probing Syntactic Uncertainty Through Generation
• Title（参考訳）: プロンプトの言語モデル : 生成による統語的不確かさの探索
• Authors: Laura Aina, Tal Linzen
• Abstract要約: このような分析に対して,ニューラルネットワークモデル(LM)がどの程度不確実性を示すかを調べる。 LMは複数の解析を同時に追跡できることがわかった。 曖昧な手がかりに対する応答として、LMは正しい解釈を選択することが多いが、時々エラーは改善の潜在的な領域を示す。
• 参考スコア（独自算出の注目度）: 23.711953448400514
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Temporary syntactic ambiguities arise when the beginning of a sentence is compatible with multiple syntactic analyses. We inspect to which extent neural language models (LMs) exhibit uncertainty over such analyses when processing temporarily ambiguous inputs, and how that uncertainty is modulated by disambiguating cues. We probe the LM's expectations by generating from it: we use stochastic decoding to derive a set of sentence completions, and estimate the probability that the LM assigns to each interpretation based on the distribution of parses across completions. Unlike scoring-based methods for targeted syntactic evaluation, this technique makes it possible to explore completions that are not hypothesized in advance by the researcher. We apply this method to study the behavior of two LMs (GPT2 and an LSTM) on three types of temporary ambiguity, using materials from human sentence processing experiments. We find that LMs can track multiple analyses simultaneously; the degree of uncertainty varies across constructions and contexts. As a response to disambiguating cues, the LMs often select the correct interpretation, but occasional errors point to potential areas of improvement.
• Abstract（参考訳）: 一時的な構文曖昧性は、文の始まりが複数の構文解析と互換性があるときに生じる。 ニューラルネットワークモデル(LM)は、一時的にあいまいな入力を処理する際に、そのような解析に対して不確実性を示すか、不明瞭な手がかりによってその不確実性がどのように変調されるかを調べる。 我々は, 確率的復号法を用いて文補完のセットを導出し, 各解釈にlmが割り当てる確率を, コンプリート間のパース分布に基づいて推定する。 目標構文評価のためのスコアベース手法とは異なり、この手法は研究者が事前に仮説を立てていない完了を探索することができる。 本研究では,2つのLM(GPT2とLSTM)の3種類の一時的なあいまいさについて,人文処理実験の材料を用いて検討する。 LMは複数の解析を同時に追跡でき、不確実性の度合いは構成や状況によって異なる。 曖昧な手がかりに対する応答として、LMは正しい解釈を選択することが多いが、時々エラーは改善の潜在的な領域を示す。

関連論文リスト

• Revisiting subword tokenization: A case study on affixal negation in large language models [57.75279238091522]
  現代英語大言語モデル(LLM)に対する接尾辞否定の影響を計測する。 我々は、異なるサブワードトークン化手法を用いてLLMを用いて実験を行う。 モデルは全体として、接尾辞の意味を確実に認識できることを示す。
  論文  参考訳（メタデータ） (2024-04-03T03:14:27Z)
• Can You Learn Semantics Through Next-Word Prediction? The Case of Entailment [36.82878715850013]
  Merrillらは、理論上、最適なLMによって予測される文共起確率は、構成文の詳細な関係を反映すべきであると主張している。 本稿では,その理論をニューラルネットワークから包含関係を復号化するために利用できるか検討する。 それらのテストに類似したテストは、自然文間の係り受け関係を復号することができるが、完全には成立しない。
  論文  参考訳（メタデータ） (2024-02-21T17:36:07Z)
• Do Pre-Trained Language Models Detect and Understand Semantic Underspecification? Ask the DUST! [4.1970767174840455]
  本研究では,事前訓練された言語モデル(LM)が不特定文を正しく識別し,解釈するかどうかを検討する。 実験の結果,不特定文の解釈においては,不特定文の理論的説明が予測する内容とは対照的に,不確実性はほとんど認められなかった。
  論文  参考訳（メタデータ） (2024-02-19T19:49:29Z)
• Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
  大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。 両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。 提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
  論文  参考訳（メタデータ） (2024-02-15T18:46:24Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
  あいまいさの管理は人間の言語理解の重要な部分です。 文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。 我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
  論文  参考訳（メタデータ） (2023-04-27T17:57:58Z)
• Are Representations Built from the Ground Up? An Empirical Examination of Local Composition in Language Models [91.3755431537592]
  構成的・非構成的句を表現することは言語理解にとって重要である。 まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。 意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
  論文  参考訳（メタデータ） (2022-10-07T14:21:30Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)
• An Investigation of Language Model Interpretability via Sentence Editing [5.492504126672887]
  我々は、事前学習言語モデル(PLM)の解釈可能性をテストするテストベッドとして、文編集データセットを再使用した。 これにより、PLMの解釈可能性に関する一連の質問に対して、系統的な調査を行うことができる。 この調査は、例えば、一般的な理解とは対照的に、注意重みが人間の合理性とよく相関しているという新たな洞察を生み出す。
  論文  参考訳（メタデータ） (2020-11-28T00:46:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。