Fugu-MT 論文翻訳(概要): Formal Aspects of Language Modeling

論文の概要: Formal Aspects of Language Modeling

arxiv url: http://arxiv.org/abs/2311.04329v2
Date: Wed, 17 Apr 2024 07:31:01 GMT
ステータス: 処理完了
システム内更新日: 2024-04-18 19:30:24.059157
Title: Formal Aspects of Language Modeling
Title（参考訳）: 言語モデリングの形式的側面
Authors: Ryan Cotterell, Anej Svete, Clara Meister, Tianyu Liu, Li Du,
Abstract要約: 大規模言語モデルは最も一般的なNLP発明の1つとなっている。これらのノートは、ETH Z "urich course on large language model" の理論的部分の伴奏である。
参考スコア（独自算出の注目度）: 74.16212987886013
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models have become one of the most commonly deployed NLP inventions. In the past half-decade, their integration into core natural language processing tools has dramatically increased the performance of such tools, and they have entered the public discourse surrounding artificial intelligence. Consequently, it is important for both developers and researchers alike to understand the mathematical foundations of large language models, as well as how to implement them. These notes are the accompaniment to the theoretical portion of the ETH Z\"urich course on large language models, covering what constitutes a language model from a formal, theoretical perspective.
Abstract（参考訳）: 大規模言語モデルは最も一般的なNLP発明の1つとなっている。過去半年で、彼らの中核となる自然言語処理ツールへの統合は、そうしたツールのパフォーマンスを劇的に向上させ、人工知能を取り巻く公の場に入った。したがって、開発者も研究者も、大規模言語モデルの数学的基礎や実装方法を理解することが重要である。これらのノートは、ETH Z\"urich course on large language modelの理論的部分の伴奏であり、形式的、理論的観点から言語モデルを構成するものをカバーしている。

関連論文リスト

Proceedings of the First International Workshop on Next-Generation Language Models for Knowledge Representation and Reasoning (NeLaMKRR 2024) [16.282850445579857]
推論は人間の知性の本質的な要素であり、批判的に考える能力において基本的な役割を果たす。自然言語処理における最近の進歩は、トランスフォーマーに基づく言語モデルの出現とともに、これらのモデルが推論能力を示す可能性を示唆している。言語モデルにおける推論について議論が続いているが、これらのモデルが実際に推論できる程度に注目することは容易ではない。
論文参考訳（メタデータ） (2024-10-07T02:31:47Z)
The Sociolinguistic Foundations of Language Modeling [34.02231580843069]
我々は、大きな言語モデルは本質的に言語の多様性のモデルであると主張する。この視点が言語モデリングにおける5つの基本的な課題にどのように対処できるかについて議論する。
論文参考訳（メタデータ） (2024-07-12T13:12:55Z)
Large Linguistic Models: Analyzing theoretical linguistic abilities of LLMs [7.4815059492034335]
大規模言語モデルでは,言語データの一貫性のある形式解析が可能であることを示す。形式言語学の3つのサブフィールド(構文、音韻学、意味論)に焦点を当てる。この調査の行は、モデル表現が明示的なプロンプトによってアクセスされる深層学習の行動解釈可能性を示している。
論文参考訳（メタデータ） (2023-05-01T17:09:33Z)
A Survey of Large Language Models [81.06947636926638]
言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
論文参考訳（メタデータ） (2023-03-31T17:28:46Z)
On Robustness of Prompt-based Semantic Parsing with Large Pre-trained Language Model: An Empirical Study on Codex [48.588772371355816]
本稿では,大規模なプロンプトベース言語モデルであるコーデックスの対角的ロバスト性に関する最初の実証的研究について述べる。この結果から, 最先端の言語モデル(SOTA)は, 慎重に構築された敵の例に対して脆弱であることが示された。
論文参考訳（メタデータ） (2023-01-30T13:21:00Z)
Language Models are General-Purpose Interfaces [109.45478241369655]
本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚するインタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
論文参考訳（メタデータ） (2022-06-13T17:34:22Z)
Language Models are not Models of Language [0.0]
トランスファーラーニングにより、言語モデリングタスクでトレーニングされた大規模なディープラーニングニューラルネットワークにより、パフォーマンスが大幅に向上した。深層学習モデルは言語の理論的モデルではないので、言語モデルという用語は誤解を招く。
論文参考訳（メタデータ） (2021-12-13T22:39:46Z)
Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。類型的に多様な訓練言語のサンプルからこの分布を推測する。我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文参考訳（メタデータ） (2021-08-06T23:49:18Z)
Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
論文参考訳（メタデータ） (2021-04-18T08:13:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。