論文の概要: Language Models are not Models of Language
- arxiv url: http://arxiv.org/abs/2112.07055v1
- Date: Mon, 13 Dec 2021 22:39:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-15 14:39:10.749900
- Title: Language Models are not Models of Language
- Title（参考訳）: 言語モデルは言語のモデルではない
- Authors: Csaba Veres
- Abstract要約: トランスファーラーニングにより、言語モデリングタスクでトレーニングされた大規模なディープラーニングニューラルネットワークにより、パフォーマンスが大幅に向上した。
深層学習モデルは言語の理論的モデルではないので、言語モデルという用語は誤解を招く。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Natural Language Processing (NLP) has become one of the leading application
areas in the current Artificial Intelligence boom. Transfer learning has
enabled large deep learning neural networks trained on the language modeling
task to vastly improve performance in almost all language tasks. Interestingly,
when the models are trained with data that includes software code, they
demonstrate remarkable abilities in generating functioning computer code from
natural language specifications. We argue that this creates a conundrum for
claims that neural models provide an alternative theory to generative phrase
structure grammars in explaining how language works. Since the syntax of
programming languages is determined by phrase structure grammars, successful
neural models are apparently uninformative about the theoretical foundations of
programming languages, and by extension, natural languages. We argue that the
term language model is misleading because deep learning models are not
theoretical models of language and propose the adoption of corpus model
instead, which better reflects the genesis and contents of the model.
- Abstract（参考訳）: 自然言語処理(NLP)は、現在の人工知能ブームにおける主要な応用分野の一つとなっている。
トランスファー学習は、言語モデリングタスクでトレーニングされた大規模なディープラーニングニューラルネットワークを可能にし、ほぼすべての言語タスクのパフォーマンスを大幅に向上させた。
興味深いことに、モデルをソフトウェアコードを含むデータでトレーニングすると、自然言語仕様から関数型コンピュータコードを生成する際、顕著な能力を示す。
このことは、言語がどのように機能するかを説明するために、ニューラルモデルが生成的フレーズ構造文法に代わる理論を提供するという主張に矛盾をもたらす。
プログラミング言語の構文は句構造文法によって決定されるため、成功したニューラルモデルはプログラミング言語の理論的基礎や拡張によって、明らかに非形式的である。
深層学習モデルは言語の理論モデルではないため、言語モデルという用語は誤解を招くと論じ、代わりにコーパスモデルを採用することを提案する。
関連論文リスト
- Meta predictive learning model of languages in neural circuits [2.5690340428649328]
本稿では,予測符号化フレームワークにおける平均場学習モデルを提案する。
我々のモデルでは、ほとんどの接続は学習後に決定論的になる。
本モデルは,脳計算,次点予測,一般知能の関連性を調べるための出発点となる。
論文 参考訳（メタデータ） (2023-09-08T03:58:05Z) - Diffusion Language Models Can Perform Many Tasks with Scaling and
Instruction-Finetuning [56.03057119008865]
拡散言語モデルを拡張することで、強力な言語学習者が効果的に学習できることが示される。
大規模データから知識を最初に取得することで,大規模に有能な拡散言語モデルを構築する。
実験により、拡散言語モデルのスケーリングは、下流言語タスクにおけるパフォーマンスを一貫して改善することが示された。
論文 参考訳（メタデータ） (2023-08-23T16:01:12Z) - Why can neural language models solve next-word prediction? A
mathematical perspective [53.807657273043446]
本研究では,英語文の実例をモデル化するための形式言語群について検討する。
我々の証明は、ニューラルネットワークモデルにおける埋め込み層と完全に接続されたコンポーネントの異なる役割を強調します。
論文 参考訳（メタデータ） (2023-06-20T10:41:23Z) - Overcoming Barriers to Skill Injection in Language Modeling: Case Study
in Arithmetic [14.618731441943847]
我々は,言語モデルが言語能力を維持しつつ数学的に熟練することを可能にする新しい枠組みを開発する。
具体的には、言語モデルに非言語的スキルを注入しながら発生する言語スキルの破滅的な忘れを克服するために、情報理論の介入を提供する。
論文 参考訳（メタデータ） (2022-11-03T18:53:30Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳（メタデータ） (2022-10-14T02:35:19Z) - A Precis of Language Models are not Models of Language [0.0]
言語処理に成功しているにもかかわらず、Large Neural Language Modelsは自然言語の包括的モデルとして不適であることを示す。
AIに関する過度な楽観主義にもかかわらず、現代のニューラルモデルは認識の理解に革命をもたらすものではない。
論文 参考訳（メタデータ） (2022-05-16T12:50:58Z) - Dependency-based Mixture Language Models [53.152011258252315]
依存性に基づく混合言語モデルを紹介する。
より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。
次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
論文 参考訳（メタデータ） (2022-03-19T06:28:30Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳（メタデータ） (2021-08-06T23:49:18Z) - Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。
意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。
言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
論文 参考訳（メタデータ） (2021-04-18T08:13:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。