論文の概要: Systematicity in GPT-3's Interpretation of Novel English Noun Compounds

• arxiv url: http://arxiv.org/abs/2210.09492v1
• Date: Tue, 18 Oct 2022 00:25:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 14:31:32.013470
• Title: Systematicity in GPT-3's Interpretation of Novel English Noun Compounds
• Title（参考訳）: GPT-3の新規英語名詞の解釈における体系性
• Authors: Siyan Li, Riley Carlson, Christopher Potts
• Abstract要約: 我々は、Levinらの実験データをGPT-3世代と比較し、高い類似性を見出した。 我々は、GPT-3が個々の語彙項目以上のことを推論しているという証拠を見つけることができない。 これらの結果は,大規模言語モデルが潜時的により深い理論を符号化するかどうかを評価する際に,低レベルの分布正則性を制御することの重要性を強調した。
• 参考スコア（独自算出の注目度）: 7.039267642892591
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Levin et al. (2019) show experimentally that the interpretations of novel English noun compounds (e.g., stew skillet), while not fully compositional, are highly predictable based on whether the modifier and head refer to artifacts or natural kinds. Is the large language model GPT-3 governed by the same interpretive principles? To address this question, we first compare Levin et al.'s experimental data with GPT-3 generations, finding a high degree of similarity. However, this evidence is consistent with GPT3 reasoning only about specific lexical items rather than the more abstract conceptual categories of Levin et al.'s theory. To probe more deeply, we construct prompts that require the relevant kind of conceptual reasoning. Here, we fail to find convincing evidence that GPT-3 is reasoning about more than just individual lexical items. These results highlight the importance of controlling for low-level distributional regularities when assessing whether a large language model latently encodes a deeper theory.
• Abstract（参考訳）: Levin et al. (2019) は、新しい英語の名詞の解釈(例: stew skillet)が完全に構成的ではないが、修飾子と頭が人工物か天然種かによって非常に予測可能であることを示した。 大規模言語モデル GPT-3 は同じ解釈原理で管理されているか? この問題に対処するために、まずLevinらの実験データをGPT-3世代と比較し、高い類似性を見出した。 しかし、この証拠は、レヴィンらの理論のより抽象的な概念圏よりも、特定の語彙項目のみを推論するgpt3と一致している。 より深く探究するために、関連する概念的推論を必要とするプロンプトを構築する。 ここでは、GPT-3が個々の語彙項目以上の推論をしているという証拠は見つからない。 これらの結果は,大規模言語モデルが潜時的により深い理論を符号化するかどうかを評価する際に,低レベルの分布正則性を制御することの重要性を強調した。

関連論文リスト

• Can LLMs Reason with Rules? Logic Scaffolding for Stress-Testing and Improving LLMs [87.34281749422756]
  大規模言語モデル(LLM)は、様々な推論タスクにおいて、印象的な人間的なパフォーマンスを実現している。 しかし、その根底にある推論規則の熟達性は、人間の能力に欠ける。 本稿では,推論ルールベースであるULogicを構築するための,推論ルール生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T03:38:51Z)
• BOOST: Harnessing Black-Box Control to Boost Commonsense in LMs' Generation [60.77990074569754]
  本稿では,凍結した事前学習言語モデルを,より汎用的な生成に向けて操る,計算効率のよいフレームワークを提案する。 具体的には、まず、文に常識的スコアを割り当てる参照なし評価器を構築する。 次に、スコアラをコモンセンス知識のオラクルとして使用し、NADOと呼ばれる制御可能な生成法を拡張して補助ヘッドを訓練する。
  論文  参考訳（メタデータ） (2023-10-25T23:32:12Z)
• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)
• Testing the Predictions of Surprisal Theory in 11 Languages [77.45204595614]
  本研究では,11言語における副次的時間と読解時間の関係について検討する。 より多様な言語に焦点をあてることで、これらの結果は、情報理論と言語間のインクリメンタル言語処理の最も堅牢なリンクを提供すると論じる。
  論文  参考訳（メタデータ） (2023-07-07T15:37:50Z)
• FLamE: Few-shot Learning from Natural Language Explanations [12.496665033682202]
  本稿では,自然言語の説明から学習するフレームワークFLamEを紹介する。 自然言語推論の実験は、強いベースラインに対する効果を示す。 人間の評価は、生成した説明の大多数が適切に分類決定を正当化していないことを驚くほど明らかにしている。
  論文  参考訳（メタデータ） (2023-06-13T18:01:46Z)
• Testing Causal Models of Word Meaning in GPT-3 and -4 [18.654373173232205]
  本稿では HIPE 理論のレンズによる GPT-3 と GPT-4 の語彙表現について検討する。 GPT-3がHIPEによって仮定された因果構造をコードしている証拠は見つからないが、GPT-4がそのような構造をコードしている証拠は見つからない。
  論文  参考訳（メタデータ） (2023-05-24T02:03:23Z)
• NELLIE: A Neuro-Symbolic Inference Engine for Grounded, Compositional, and Explainable Reasoning [59.16962123636579]
  本稿では,Prologベースの推論エンジンを新たに提案する。 我々は手作りのルールを、ニューラルネットワークモデリング、ガイド付き生成、半密検索の組み合わせで置き換える。 我々の実装であるNELLIEは、完全に解釈可能なエンドツーエンドの基底QAを示す最初のシステムである。
  論文  参考訳（メタデータ） (2022-09-16T00:54:44Z)
• On Reality and the Limits of Language Data: Aligning LLMs with Human Norms [10.02997544238235]
  大規模言語モデル (LLMs) は、実践的な応用のために、膨大な自然言語データの言語関連性を利用する。 我々は,この問題を,新規かつ厳密に制御された推論テスト(ART)を用いて探求し,人間の規範とGPT-3のバージョンを比較した。 我々の研究は、データや弱点から直接学習できる常識関係モデルのカテゴリに注目した。
  論文  参考訳（メタデータ） (2022-08-25T10:21:23Z)
• Smoothing Entailment Graphs with Language Models [15.499215600170238]
  オープンリレーショナル抽出(ORE)により構築されたエンテーメントグラフの最適平滑化理論を提案する。 そこで本研究では,市販の言語モデルを用いて,効率的な,オープンドメインと教師なしの平滑化手法を実証し,前提条件の不足を近似する手法を提案する。 QA タスクでは EG の平滑化が,より少ないサポートテキストで質問に答えるのに最も有用であることを示す。
  論文  参考訳（メタデータ） (2022-07-30T22:15:22Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。