論文の概要: Language Models as Models of Language

• arxiv url: http://arxiv.org/abs/2408.07144v1
• Date: Tue, 13 Aug 2024 18:26:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-15 14:55:43.278163
• Title: Language Models as Models of Language
• Title（参考訳）: 言語モデルとしての言語モデル
• Authors: Raphaël Millière,
• Abstract要約: この章は、理論言語学への現代言語モデルの潜在的貢献について批判的に考察する。 言語モデルが階層的な構文構造を学習し,様々な言語現象に対する感受性を示すことを示唆する経験的証拠の蓄積を概説する。 私は、理論言語学者と計算研究者の緊密な協力が貴重な洞察をもたらすと結論づける。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This chapter critically examines the potential contributions of modern language models to theoretical linguistics. Despite their focus on engineering goals, these models' ability to acquire sophisticated linguistic knowledge from mere exposure to data warrants a careful reassessment of their relevance to linguistic theory. I review a growing body of empirical evidence suggesting that language models can learn hierarchical syntactic structure and exhibit sensitivity to various linguistic phenomena, even when trained on developmentally plausible amounts of data. While the competence/performance distinction has been invoked to dismiss the relevance of such models to linguistic theory, I argue that this assessment may be premature. By carefully controlling learning conditions and making use of causal intervention methods, experiments with language models can potentially constrain hypotheses about language acquisition and competence. I conclude that closer collaboration between theoretical linguists and computational researchers could yield valuable insights, particularly in advancing debates about linguistic nativism.
• Abstract（参考訳）: この章は、理論言語学への現代言語モデルの潜在的貢献について批判的に考察する。 工学的目標に焦点が当てられているにもかかわらず、これらのモデルが単なるデータ露出から洗練された言語知識を得る能力は、言語理論との関係を慎重に再評価する。 言語モデルが階層的な構文構造を学習し、発達可能なデータ量で訓練しても、様々な言語現象に敏感であることを示す経験的証拠の蓄積を概観する。 このようなモデルと言語理論との関連性を否定するために,能力・性能の区別が提唱されているが,この評価は早すぎるのではないかと思う。 学習条件を慎重に制御し、因果介入手法を用いることで、言語モデルを用いた実験は、言語習得と能力に関する仮説を制約する可能性がある。 私は、理論言語学者と計算研究者の緊密な協力は、特に言語的ナチビズムに関する議論の進展において、貴重な洞察をもたらすことができると結論づける。

関連論文リスト

• Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
  検索強化に関して,言語モデルの信頼性に焦点をあてる。 検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。 言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
  論文  参考訳（メタデータ） (2024-10-22T09:25:21Z)
• The Curious Decline of Linguistic Diversity: Training Language Models on Synthetic Text [29.586404361715054]
  本研究では,前任者が生成した合成データに対する学習言語モデルの影響について検討した。 その結果,連続反復によるモデル出力の多様性の連続的な低下が明らかとなった。 本研究は,言語モデルの言語能力に対する訓練手法の長期的影響を慎重に検討することの必要性を強調した。
  論文  参考訳（メタデータ） (2023-11-16T11:31:50Z)
• Formal Aspects of Language Modeling [74.16212987886013]
  大規模言語モデルは最も一般的なNLP発明の1つとなっている。 これらのノートは、ETH Z "urich course on large language model" の理論的部分の伴奏である。
  論文  参考訳（メタデータ） (2023-11-07T20:21:42Z)
• BabySLM: language-acquisition-friendly benchmark of self-supervised spoken language models [56.93604813379634]
  音声表現を学習するための自己指導技術は、人間のラベルを必要とせずに、音声への露出から言語能力を高めることが示されている。 語彙および構文レベルで音声言語モデルを探索するために,言語習得に親しみやすいベンチマークを提案する。 テキストと音声のギャップを埋めることと、クリーンな音声とその内話のギャップを埋めることである。
  論文  参考訳（メタデータ） (2023-06-02T12:54:38Z)
• Large Linguistic Models: Analyzing theoretical linguistic abilities of LLMs [7.4815059492034335]
  大規模言語モデルでは,言語データの一貫性のある形式解析が可能であることを示す。 形式言語学の3つのサブフィールド(構文、音韻学、意味論)に焦点を当てる。 この調査の行は、モデル表現が明示的なプロンプトによってアクセスされる深層学習の行動解釈可能性を示している。
  論文  参考訳（メタデータ） (2023-05-01T17:09:33Z)
• Dissociating language and thought in large language models [52.39241645471213]
  大規模言語モデル(LLM)は、人間の言語を習得する上で、今までに最も近いモデルである。 我々は、この区別を人間の神経科学に根ざし、形式的、機能的な能力は異なる神経機構に依存していることを示した。 LLMは形式的能力は驚くほど優れているが、機能的能力のタスクにおける性能はいまだに不明瞭である。
  論文  参考訳（メタデータ） (2023-01-16T22:41:19Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• Curriculum: A Broad-Coverage Benchmark for Linguistic Phenomena in Natural Language Understanding [1.827510863075184]
  Curriculumは広範囲言語現象の評価のためのNLIベンチマークの新しいフォーマットである。 この言語フェノメナ駆動型ベンチマークは、モデル行動の診断とモデル学習品質の検証に有効なツールであることを示す。
  論文  参考訳（メタデータ） (2022-04-13T10:32:03Z)
• Uncovering Constraint-Based Behavior in Neural Models via Targeted Fine-Tuning [9.391375268580806]
  本研究は,言語知識が不明な言語内での競合する言語プロセスを示す。 人間の行動は言語間で類似していることがわかったが、モデル行動の言語間差異は見いだされている。 以上の結果から,言語における言語的制約と相対的ランクの双方をモデルが学習する必要があることが示唆された。
  論文  参考訳（メタデータ） (2021-06-02T14:52:11Z)
• The Rediscovery Hypothesis: Language Models Need to Meet Linguistics [8.293055016429863]
  現代言語モデルの性能向上に言語知識が必須条件であるかどうかを検討する。 その結果, 言語構造を探索した場合, かなり圧縮されるが, 事前学習目的によく適合する言語モデルは, 良好なスコアを保っていることがわかった。 この結果は再発見仮説を支持し,本論文の第2の貢献である言語モデル目標と言語情報との関連性に関する情報論的枠組みを導出する。
  論文  参考訳（メタデータ） (2021-03-02T15:57:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。