論文の概要: What does the Failure to Reason with "Respectively" in Zero/Few-Shot Settings Tell Us about Language Models?

• arxiv url: http://arxiv.org/abs/2305.19597v1
• Date: Wed, 31 May 2023 06:45:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 18:09:24.103290
• Title: What does the Failure to Reason with "Respectively" in Zero/Few-Shot Settings Tell Us about Language Models?
• Title（参考訳）: Zero/Few-Shot 設定における "Respectively" による推論の失敗は言語モデルに何をもたらすのか?
• Authors: Ruixiang Cui, Seolhwa Lee, Daniel Hershcovich, Anders S{\o}gaard
• Abstract要約: 言語モデル (LM) が, 統語論的, 常識的, 常識的知識の2つの視点から, それぞれの読解に対してどのような意味を持つかを示す。 微調整されたNLIモデルは、明確な監督なしに、そのような読解の理解に苦慮していることを示す。
• 参考スコア（独自算出の注目度）: 5.431715810374623
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans can effortlessly understand the coordinate structure of sentences such as "Niels Bohr and Kurt Cobain were born in Copenhagen and Seattle, respectively". In the context of natural language inference (NLI), we examine how language models (LMs) reason with respective readings (Gawron and Kehler, 2004) from two perspectives: syntactic-semantic and commonsense-world knowledge. We propose a controlled synthetic dataset WikiResNLI and a naturally occurring dataset NatResNLI to encompass various explicit and implicit realizations of "respectively". We show that fine-tuned NLI models struggle with understanding such readings without explicit supervision. While few-shot learning is easy in the presence of explicit cues, longer training is required when the reading is evoked implicitly, leaving models to rely on common sense inferences. Furthermore, our fine-grained analysis indicates models fail to generalize across different constructions. To conclude, we demonstrate that LMs still lag behind humans in generalizing to the long tail of linguistic constructions.
• Abstract（参考訳）: 人間は「ニールス・ボーアとクルト・コバーンはそれぞれコペンハーゲンとシアトルで生まれた」という文の座標構造を一生懸命理解することができる。 自然言語推論 (NLI) の文脈において, 言語モデル (LM) がそれぞれの読解(Gawron and Kehler, 2004) とどのように理性を持つかを検討する。 本稿では,様々な明示的および暗黙的実現を包含する制御型合成データセットwikiresnliと自然発生データセットnatresnliを提案する。 細調整されたNLIモデルは、明確な監督なしにそのような読みの理解に苦慮していることを示す。 明示的な手がかりが存在する場合、数発の学習は容易であるが、読み取りを暗黙的に呼び出す際には、より長いトレーニングが必要である。 さらに, 細粒度解析により, 異なる構成をまたがるモデルが一般化できないことを示す。 結論として,言語構築の長い尾に一般化する上で,LMが人間より遅れていることを示す。

関連論文リスト

• "You Are An Expert Linguistic Annotator": Limits of LLMs as Analyzers of Abstract Meaning Representation [60.863629647985526]
  文意味構造の解析において, GPT-3, ChatGPT, および GPT-4 モデルの成功と限界について検討した。 モデルはAMRの基本形式を確実に再現でき、しばしばコアイベント、引数、修飾子構造をキャプチャできる。 全体としては,これらのモデルではセマンティック構造の側面を捉えることができるが,完全に正確なセマンティック解析や解析をサポートする能力には重要な制限が残されている。
  論文  参考訳（メタデータ） (2023-10-26T21:47:59Z)
• Large Language Models Are Partially Primed in Pronoun Interpretation [6.024776891570197]
  大規模言語モデル (LLM) は, 刺激や実際の心理言語実験の手順を用いて, 人間のような参照バイアスを呈するかどうかを検討する。 最近の精神言語学的研究は、人間が参照パターンに最近露出することで参照バイアスに適応することを示唆している。 InstructGPTは,局所談話における参照パターンの頻度に応じて,その韻律的解釈に適応することがわかった。
  論文  参考訳（メタデータ） (2023-05-26T13:30:48Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Machine Reading, Fast and Slow: When Do Models "Understand" Language? [59.897515617661874]
  本稿では,2つの言語スキル(コア参照の解決と比較)に関して,理解モデルを読み取る行動について検討する。 比較のため(コアではない)、より大きなエンコーダに基づくシステムは、より「正しい」情報に依存する傾向にあることがわかった。
  論文  参考訳（メタデータ） (2022-09-15T16:25:44Z)
• Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on a Syntactic Task [70.29624135819884]
  目的の構文テンプレート上で,BERTが語彙非依存の主観値数アグリーメント(NA)を実行できる範囲について検討した。 名詞文では,単純なテンプレートに対してモデルがよく一般化されるが,1つのアトラクターが存在する場合,語彙非依存の構文一般化を行うことができないことが示唆された。
  論文  参考訳（メタデータ） (2022-04-14T11:33:15Z)
• Provable Limitations of Acquiring Meaning from Ungrounded Form: What will Future Language Models Understand? [87.20342701232869]
  未知のシステムが意味を習得する能力について検討する。 アサーションによってシステムが等価性のような意味関係を保存する表現をエミュレートできるかどうか検討する。 言語内のすべての表現が参照的に透明であれば,アサーションによってセマンティックエミュレーションが可能になる。 しかし、言語が変数バインディングのような非透過的なパターンを使用する場合、エミュレーションは計算不能な問題になる可能性がある。
  論文  参考訳（メタデータ） (2021-04-22T01:00:17Z)
• The Singleton Fallacy: Why Current Critiques of Language Models Miss the Point [3.096615629099618]
  本稿では,ニューラルネットワークに基づく自然言語理解(Nugual Language Understanding, NLU)ソリューションに対する現在の批判について論じる。 言語の使用、意味、理解にはさまざまな種類があり、(現在の)言語モデルは言語の構造的理解の1つのタイプの獲得と表現という明確な目的を持って構築されていると論じる。
  論文  参考訳（メタデータ） (2021-02-08T16:12:36Z)
• Discourse structure interacts with reference but not syntax in neural language models [17.995905582226463]
  本研究では,異なる言語表現間の相互作用を学習する言語モデル(LM)の能力について検討する。 人間とは対照的に、暗黙の因果関係は文法ではなく、参照行動にのみ影響を及ぼす。 以上の結果から,LMの行動は,学習した言論表現だけでなく,統語的合意にも矛盾する可能性が示唆された。
  論文  参考訳（メタデータ） (2020-10-10T03:14:00Z)
• An Analysis of the Utility of Explicit Negative Examples to Improve the Syntactic Abilities of Neural Language Models [32.183409062294466]
  ニューラルネットワークモデルのトレーニングにおいて、明示的なネガティブな例の有用性について検討する。 直接学習の合図があっても、モデルはオブジェクト相対的な節をまたいだ合意の解決に苦しむ。
  論文  参考訳（メタデータ） (2020-04-06T07:47:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。