論文の概要: Limits for Learning with Language Models
- arxiv url: http://arxiv.org/abs/2306.12213v1
- Date: Wed, 21 Jun 2023 12:11:31 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 13:27:25.401181
- Title: Limits for Learning with Language Models
- Title(参考訳): 言語モデルによる学習の限界
- Authors: Nicholas Asher and Swarnadeep Bhar and Akshay Chaturvedi and Julie
Hunter and Soumya Paul
- Abstract要約: 大規模言語モデル(LLM)がボレル階層の第一段階を超えて概念を学習できないことを示す。
LLMは、細部と深い言語的理解を必要とするタスクについて、正式な保証なしに運用を続ける。
- 参考スコア(独自算出の注目度): 4.20859414811553
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the advent of large language models (LLMs), the trend in NLP has been to
train LLMs on vast amounts of data to solve diverse language understanding and
generation tasks. The list of LLM successes is long and varied. Nevertheless,
several recent papers provide empirical evidence that LLMs fail to capture
important aspects of linguistic meaning. Focusing on universal quantification,
we provide a theoretical foundation for these empirical findings by proving
that LLMs cannot learn certain fundamental semantic properties including
semantic entailment and consistency as they are defined in formal semantics.
More generally, we show that LLMs are unable to learn concepts beyond the first
level of the Borel Hierarchy, which imposes severe limits on the ability of
LMs, both large and small, to capture many aspects of linguistic meaning. This
means that LLMs will continue to operate without formal guarantees on tasks
that require entailments and deep linguistic understanding.
- Abstract(参考訳): 大規模言語モデル(LLM)の出現に伴い、NLPのトレンドは、多種多様な言語理解と生成タスクを解決するために、大量のデータでLLMを訓練することであった。
LLMの成功の一覧は長く、様々である。
しかしながら、最近のいくつかの論文は、LLMが言語学的意味の重要な側面を捉えていないという実証的な証拠を提供している。
普遍的な定量化に着目し,LLMが意味論的意味論で定義されているように,意味的含意や一貫性を含む基本的な意味的特性を学習できないことを証明することによって,これらの経験的発見の理論的基盤を提供する。
より一般的には、LLMはボレル階層の第一段階を超えて概念を学ぶことができず、大小を問わず、LMの言語的意味の多くの側面を捉える能力に厳しい制限を課していることを示す。
つまり、llmは、制約と深い言語理解を必要とするタスクに関する公式な保証なしに、引き続き運用されることになる。
関連論文リスト
- FAC$^2$E: Better Understanding Large Language Model Capabilities by
Dissociating Language and Cognition [57.747888532651]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳(メタデータ) (2024-02-29T21:05:37Z) - Language-Specific Neurons: The Key to Multilingual Capabilities in Large
Language Models [122.25217086389425]
大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。
LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。
以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
論文 参考訳(メタデータ) (2024-02-26T09:36:05Z) - History, Development, and Principles of Large Language Models-An
Introductory Survey [48.27738446932852]
自然言語処理(NLP)の基盤となる言語モデル
数十年にわたる広範な研究を経て、言語モデリングは、初期統計言語モデル(SLM)から、大規模言語モデル(LLM)の現代的景観へと進歩してきた。
論文 参考訳(メタデータ) (2024-02-10T01:18:15Z) - Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。
自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。
これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
論文 参考訳(メタデータ) (2024-01-30T17:38:54Z) - Probing Structured Semantics Understanding and Generation of Language
Models via Question Answering [56.610044062739256]
本研究では,人間が構築した形式言語を用いて質問応答のタスクにおいて,大規模言語モデルが構造化意味論に対処する能力について検討する。
異なる大きさのモデルと異なる形式言語を用いた実験は、今日の最先端のLLMの論理形式に対する理解が全体的な人間レベルにアプローチできることを示している。
結果は、モデルが異なる形式言語にかなり敏感であることを示している。
論文 参考訳(メタデータ) (2024-01-11T09:27:50Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - Supervised Knowledge Makes Large Language Models Better In-context
Learners [97.71733265438044]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - The Quo Vadis of the Relationship between Language and Large Language
Models [3.10770247120758]
LLM(Large Language Models)は、LLMを言語科学モデルとして採用することを奨励している。
透明性に欠ける科学的モデルの導入によって引き起こされる最も重要な理論的および経験的リスクを特定します。
現在の開発段階において、LLMは言語に関する説明をほとんど提供していないと結論付けている。
論文 参考訳(メタデータ) (2023-10-17T10:54:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。