論文の概要: How Abstract Is Linguistic Generalization in Large Language Models? Experiments with Argument Structure

• arxiv url: http://arxiv.org/abs/2311.04900v1
• Date: Wed, 8 Nov 2023 18:58:43 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-09 14:47:30.178900
• Title: How Abstract Is Linguistic Generalization in Large Language Models? Experiments with Argument Structure
• Title（参考訳）: 大規模言語モデルにおける言語一般化の抽象化 Argument 構造を用いた実験
• Authors: Michael Wilson and Jackson Petty and Robert Frank
• Abstract要約: 本研究では,事前学習したトランスフォーマーに基づく大規模言語モデルがコンテキスト間の関係を表現する程度について検討する。 LLMは、関連する文脈間の新しい名詞引数の分布を一般化する上で、よく機能することがわかった。 しかし、LCMは事前学習中に観測されていない関連するコンテキスト間の一般化に失敗する。
• 参考スコア（独自算出の注目度）: 2.530495315660486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models are typically evaluated on their success at predicting the distribution of specific words in specific contexts. Yet linguistic knowledge also encodes relationships between contexts, allowing inferences between word distributions. We investigate the degree to which pre-trained Transformer-based large language models (LLMs) represent such relationships, focusing on the domain of argument structure. We find that LLMs perform well in generalizing the distribution of a novel noun argument between related contexts that were seen during pre-training (e.g., the active object and passive subject of the verb spray), succeeding by making use of the semantically-organized structure of the embedding space for word embeddings. However, LLMs fail at generalizations between related contexts that have not been observed during pre-training, but which instantiate more abstract, but well-attested structural generalizations (e.g., between the active object and passive subject of an arbitrary verb). Instead, in this case, LLMs show a bias to generalize based on linear order. This finding points to a limitation with current models and points to a reason for which their training is data-intensive.s reported here are available at https://github.com/clay-lab/structural-alternations.
• Abstract（参考訳）: 言語モデルは通常、特定の文脈における特定の単語の分布を予測することに成功して評価される。 しかし、言語知識は文脈間の関係をエンコードし、単語分布間の推論を可能にする。 本稿では,事前学習されたtransformer-based large language model (llm) がそれらの関係を表わす程度について,議論構造の領域に着目して検討する。 LLMは、事前学習中に見られた関連文脈(例えば、アクティブオブジェクトと動詞スプレーの受動的対象)間の新しい名詞引数の分布を一般化し、単語埋め込みのための埋め込み空間の意味的に組織化された構造を用いることで、うまく機能することを発見した。 しかし、LLMは事前訓練中に観察されていない関連する文脈間の一般化に失敗し、より抽象的で、しかし十分に証明された構造的一般化(例えば、アクティブオブジェクトと任意の動詞の受動的対象の間の)をインスタンス化する。 代わりに、この場合、LLMは線形順序に基づいて一般化するバイアスを示す。 この発見は、現在のモデルによる制限を指摘し、トレーニングがデータ集約である理由を指摘する。ここで報告されているのは、https://github.com/clay-lab/structural-alternationsである。

関連論文リスト

• Black Big Boxes: Do Language Models Hide a Theory of Adjective Order? [5.395055685742631]
  英語や他の言語では、複雑な名詞句の複数の形容詞は、多くの言語理論の標的となった複雑な順序付けパターンを示している。 本稿では,人体における形容詞順選好(AOP)を説明するために設計された既存の仮説を概観し,言語モデルにおけるAOPを学習するための設定を開発する。 理論言語学で特定された因子によって生成される予測よりも,全てのモデルの予測が人間のAOPにずっと近いことが判明した。
  論文  参考訳（メタデータ） (2024-07-02T10:29:09Z)
• Learning from Natural Language Explanations for Generalizable Entity Matching [19.978468744557173]
  バイナリ分類とは対照的に、条件生成タスクとしてエンティティマッチングを再キャストする。 これにより、LLM推論を自然言語による説明を通じて、より小さなエンティティマッチングモデルに分割することが可能になる。
  論文  参考訳（メタデータ） (2024-06-13T17:08:58Z)
• In-context Learning Generalizes, But Not Always Robustly: The Case of Syntax [36.98247762224868]
  In-context Learning (ICL)は、現在、大規模言語モデル(LLM)の新しいタスクを教える一般的な方法である。 モデルは、文脈によって定義されたタスクの基盤構造を推論するか、あるいは、同じ分散例にのみ一般化する表面一般化に依存するか? GPT, PaLM, および Llama 2 ファミリーのモデルを用いた実験では, LM 間で大きなばらつきが認められた。 この分散は、モデルサイズよりも事前学習コーパスと監督方法の構成によりより説明される。
  論文  参考訳（メタデータ） (2023-11-13T23:52:43Z)
• SLOG: A Structural Generalization Benchmark for Semantic Parsing [68.19511282584304]
  合成一般化ベンチマークの目的は、モデルがいかにして新しい複雑な言語表現に一般化するかを評価することである。 既存のベンチマークは、しばしば語彙一般化に焦点を当て、訓練に精通した構文構造における新しい語彙項目の解釈は、しばしば不足している。 SLOGは,COGSを拡張したセマンティック解析データセットである。
  論文  参考訳（メタデータ） (2023-10-23T15:39:09Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Explaining Emergent In-Context Learning as Kernel Regression [61.57151500616111]
  大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。 本稿では,トランスフォーマーに基づく言語モデルが事前学習後に文脈内学習を達成できる理由について検討する。 ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T06:45:02Z)
• Evaluating statistical language models as pragmatic reasoners [39.72348730045737]
  我々は,語学的な発話の意味を推測するために,大規模言語モデルの能力を評価する。 LLMは、複数の複雑な実用的発話の解釈に対して、文脈的、人間的な分布を導出することができる。 結果は,統計的言語モデルの推論能力と,実践的・意味論的解析への応用について報告する。
  論文  参考訳（メタデータ） (2023-05-01T18:22:10Z)
• Semantic Role Labeling Meets Definition Modeling: Using Natural Language to Describe Predicate-Argument Structures [104.32063681736349]
  本稿では,離散ラベルの代わりに自然言語定義を用いて述語-代名詞構造を記述する手法を提案する。 PropBankスタイルおよびFrameNetスタイル、依存性ベースおよびスパンベースSRLに関する実験と分析は、解釈可能な出力を持つフレキシブルモデルが必ずしも性能を犠牲にしないことを示す。
  論文  参考訳（メタデータ） (2022-12-02T11:19:16Z)
• Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
  Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
  論文  参考訳（メタデータ） (2021-07-22T20:52:26Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。