論文の概要: Large Linguistic Models: Analyzing theoretical linguistic abilities of
LLMs
- arxiv url: http://arxiv.org/abs/2305.00948v1
- Date: Mon, 1 May 2023 17:09:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-02 12:35:19.099781
- Title: Large Linguistic Models: Analyzing theoretical linguistic abilities of
LLMs
- Title(参考訳): 大規模言語モデル:LLMの理論言語能力の解析
- Authors: Ga\v{s}per Begu\v{s} and Maksymilian D\k{a}bkowski and Ryan Rhodes
- Abstract要約: 本稿では,大規模言語モデルにおけるメタ言語能力の分析の可能性について述べる。
我々は,GPT-4によるメタ言語解析の能力の解析を可能にする,いくつかの実験手法と設計手法を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The performance of large language models (LLMs) has recently improved to the
point where the models can generate valid and coherent meta-linguistic analyses
of data. This paper illustrates a vast potential for analyses of the
meta-linguistic abilities of large language models. LLMs are primarily trained
on language data in the form of text; analyzing their meta-linguistic abilities
is informative both for our understanding of the general capabilities of LLMs
as well as for models of linguistics. In this paper, we propose several types
of experiments and prompt designs that allow us to analyze the ability of GPT-4
to generate meta-linguistic analyses. We focus on three linguistics subfields
with formalisms that allow for a detailed analysis of GPT-4's theoretical
capabilities: theoretical syntax, phonology, and semantics. We identify types
of experiments, provide general guidelines, discuss limitations, and offer
future directions for this research program.
- Abstract(参考訳): 近年,大規模言語モデル(LLM)の性能が向上し,そのモデルがデータの有効かつ一貫性のあるメタ言語解析を生成できるようになった。
本稿では,大規模言語モデルのメタ言語能力解析の可能性について述べる。
LLMは、主にテキスト形式で言語データに基づいて訓練されており、メタ言語能力の分析は、LLMの一般的な能力の理解と言語学のモデルの両方に有益である。
本稿では,GPT-4によるメタ言語解析の能力の解析を可能にする,いくつかの実験手法と設計手法を提案する。
我々は、gpt-4の理論的能力の詳細な分析を可能にする形式論を持つ3つの言語学サブフィールドに焦点を当てた。
我々は,実験の種類を特定し,一般的なガイドラインを提供し,限界について議論し,今後の研究プログラムの方向性を示す。
関連論文リスト
- A Comparative Analysis of Conversational Large Language Models in
Knowledge-Based Text Generation [5.661396828160973]
本研究では,意味的三重項から自然言語文を生成する際に,対話型大規模言語モデルの実証分析を行う。
我々は、異なるプロンプト技術を用いて、異なる大きさの4つの大きな言語モデルを比較する。
この結果から,三重動詞化における大規模言語モデルの能力は,数発のプロンプト,後処理,効率的な微調整技術によって著しく向上することが示唆された。
論文 参考訳(メタデータ) (2024-02-02T15:26:39Z) - Formal Aspects of Language Modeling [74.16212987886013]
大規模言語モデルは最も一般的なNLP発明の1つとなっている。
これらのノートは、ETH Z "urich course on large language model" の理論的部分の伴奏である。
論文 参考訳(メタデータ) (2023-11-07T20:21:42Z) - Exploring the Maze of Multilingual Modeling [2.0849578298972835]
我々は,mBERT,XLM-R,GPT-3の3つの言語モデルについて総合評価を行った。
その結果,言語固有の事前学習データの量はモデル性能において重要な役割を担っているが,汎用リソースの可用性,言語ファミリ,スクリプトタイプといった他の要因も重要な特徴であることがわかった。
論文 参考訳(メタデータ) (2023-10-09T04:48:14Z) - L2CEval: Evaluating Language-to-Code Generation Capabilities of Large
Language Models [102.00201523306986]
大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。
モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。
モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
論文 参考訳(メタデータ) (2023-09-29T17:57:00Z) - SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。
メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。
実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
論文 参考訳(メタデータ) (2023-07-15T08:33:08Z) - LERT: A Linguistically-motivated Pre-trained Language Model [67.65651497173998]
本稿では,3種類の言語特徴を学習する事前学習型言語モデルLERTを提案する。
我々は,中国における10のNLUタスクについて広範な実験を行い,LERTが大きな改善をもたらすことを示す実験結果を得た。
論文 参考訳(メタデータ) (2022-11-10T05:09:16Z) - Curriculum: A Broad-Coverage Benchmark for Linguistic Phenomena in
Natural Language Understanding [1.827510863075184]
Curriculumは広範囲言語現象の評価のためのNLIベンチマークの新しいフォーマットである。
この言語フェノメナ駆動型ベンチマークは、モデル行動の診断とモデル学習品質の検証に有効なツールであることを示す。
論文 参考訳(メタデータ) (2022-04-13T10:32:03Z) - A Latent-Variable Model for Intrinsic Probing [94.61336186402615]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳(メタデータ) (2022-01-20T15:01:12Z) - Scaling Language Models: Methods, Analysis & Insights from Training
Gopher [83.98181046650664]
本稿では,トランスフォーマーに基づく言語モデルの性能を,幅広いモデルスケールで解析する。
スケールからのゲインは、理解、事実確認、有害言語の同定などにおいて最大である。
我々は、AIの安全性と下流の害の軽減に対する言語モデルの適用について論じる。
論文 参考訳(メタデータ) (2021-12-08T19:41:47Z) - Probing Linguistic Information For Logical Inference In Pre-trained
Language Models [2.4366811507669124]
本稿では,事前学習した言語モデル表現における論理推論のための言語情報探索手法を提案する。
i)事前学習された言語モデルは、推論のためにいくつかの種類の言語情報を符号化するが、弱符号化された情報もいくつか存在する。
シンボリック推論支援のためのセマンティックおよび背景知識基盤としての言語モデルの可能性を実証した。
論文 参考訳(メタデータ) (2021-12-03T07:19:42Z) - A Survey of Knowledge Enhanced Pre-trained Models [28.160826399552462]
知識注入を伴う事前学習言語モデルを知識強化事前学習言語モデル(KEPLM)と呼ぶ。
これらのモデルは深い理解と論理的推論を示し、解釈可能性を導入する。
論文 参考訳(メタデータ) (2021-10-01T08:51:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。