論文の概要: Large Models of What? Mistaking Engineering Achievements for Human Linguistic Agency

• arxiv url: http://arxiv.org/abs/2407.08790v1
• Date: Thu, 11 Jul 2024 18:06:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-16 03:38:34.239166
• Title: Large Models of What? Mistaking Engineering Achievements for Human Linguistic Agency
• Title（参考訳）: 大規模モデルとは何か : 言語庁の工学的業績の誤り
• Authors: Abeba Birhane, Marek McGann,
• Abstract要約: 我々は,Large Language Models(LLM)の言語能力に関する主張は,少なくとも2つの根拠のない仮定に基づいていると主張している。 言語完全性は、自然言語のような明瞭で完全なものが存在すると仮定する。 データ完全性の仮定は、言語がデータによって定量化され、完全にキャプチャされるという信念に依存している。
• 参考スコア（独自算出の注目度）: 0.11510009152620666
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In this paper we argue that key, often sensational and misleading, claims regarding linguistic capabilities of Large Language Models (LLMs) are based on at least two unfounded assumptions; the assumption of language completeness and the assumption of data completeness. Language completeness assumes that a distinct and complete thing such as `a natural language' exists, the essential characteristics of which can be effectively and comprehensively modelled by an LLM. The assumption of data completeness relies on the belief that a language can be quantified and wholly captured by data. Work within the enactive approach to cognitive science makes clear that, rather than a distinct and complete thing, language is a means or way of acting. Languaging is not the kind of thing that can admit of a complete or comprehensive modelling. From an enactive perspective we identify three key characteristics of enacted language; embodiment, participation, and precariousness, that are absent in LLMs, and likely incompatible in principle with current architectures. We argue that these absences imply that LLMs are not now and cannot in their present form be linguistic agents the way humans are. We illustrate the point in particular through the phenomenon of `algospeak', a recently described pattern of high stakes human language activity in heavily controlled online environments. On the basis of these points, we conclude that sensational and misleading claims about LLM agency and capabilities emerge from a deep misconception of both what human language is and what LLMs are.
• Abstract（参考訳）: 本稿では,Large Language Models (LLMs) の言語能力に関するキーは,言語完全性の仮定とデータ完全性の仮定という,少なくとも2つの根拠のない仮定に基づいている,と論じる。 言語完全性は、'a natural language'のような明瞭で完全なものが存在すると仮定し、その本質的な特徴はLLMによって効果的かつ包括的にモデル化できる。 データ完全性の仮定は、言語がデータによって定量化され、完全にキャプチャされるという信念に依存している。 認知科学への活発なアプローチの中で働くことは、区別された完全なことではなく、言語が行動の手段または方法であることを明確にする。 ランゲージングは、完全なモデリングや包括的なモデリングを許容できるものではない。 実効性の観点からは、LLMには欠落しており、原則的に現在のアーキテクチャと相容れないと思われる、実施、参加、そして不行の3つの重要な特徴を識別する。 これらの欠如は、LLMは現在は存在せず、現在の形態では人間のように言語的エージェントにはならないことを示唆している、と我々は主張する。 本稿では,高度に制御されたオンライン環境における人間の言語活動に対する高い利害関係のパターンである「アルゴスピーク」の現象を通して,特にその点を説明する。 これらの点に基づいて,LLMエージェンシーと能力に関するセンセーショナルかつ誤解を招く主張は,人間の言語とは何か,LLMとは何かという深い誤解から生じると結論づける。

関連論文リスト

• From Babbling to Fluency: Evaluating the Evolution of Language Models in Terms of Human Language Acquisition [6.617999710257379]
  本稿では,LMの能力を評価するための3段階のフレームワークを提案する。 言語研究の手法を用いて, LMの生成能力を評価する。
  論文  参考訳（メタデータ） (2024-10-17T06:31:49Z)
• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。 既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Language Models Don't Learn the Physical Manifestation of Language [0.3529736140137004]
  言語のみのモデルは言語の物理的表現を学ばないと主張する。 本稿では,H-Testと呼ばれる一連のタスクを通して,言語の視覚的聴覚特性を実証的に調査する。
  論文  参考訳（メタデータ） (2024-02-17T17:52:24Z)
• How Proficient Are Large Language Models in Formal Languages? An In-Depth Insight for Knowledge Base Question Answering [52.86931192259096]
  知識ベース質問回答(KBQA)は,知識ベースにおける事実に基づいた自然言語質問への回答を目的としている。 最近の研究は、論理形式生成のための大規模言語モデル(LLM)の機能を活用して性能を向上させる。
  論文  参考訳（メタデータ） (2024-01-11T09:27:50Z)
• Meaning and understanding in large language models [0.0]
  人工知能の生成的大言語モデル(LLM)の最近の発展は、機械による言語理解に関する伝統的な哲学的仮定を改訂する必要があるという信念を導いた。 本稿では,機械語の性能を単なる統語的操作と見なす傾向と理解のシミュレーションを批判的に評価する。
  論文  参考訳（メタデータ） (2023-10-26T14:06:14Z)
• The Quo Vadis of the Relationship between Language and Large Language Models [3.10770247120758]
  LLM(Large Language Models)は、LLMを言語科学モデルとして採用することを奨励している。 透明性に欠ける科学的モデルの導入によって引き起こされる最も重要な理論的および経験的リスクを特定します。 現在の開発段階において、LLMは言語に関する説明をほとんど提供していないと結論付けている。
  論文  参考訳（メタデータ） (2023-10-17T10:54:24Z)
• Limits for Learning with Language Models [4.20859414811553]
  大規模言語モデル(LLM)がボレル階層の第一段階を超えて概念を学習できないことを示す。 LLMは、細部と深い言語的理解を必要とするタスクについて、正式な保証なしに運用を続ける。
  論文  参考訳（メタデータ） (2023-06-21T12:11:31Z)
• Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners [75.85554779782048]
  大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。 多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。 本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
  論文  参考訳（メタデータ） (2023-05-24T07:33:34Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Shortcut Learning of Large Language Models in Natural Language Understanding [119.45683008451698]
  大規模言語モデル(LLM)は、一連の自然言語理解タスクにおいて最先端のパフォーマンスを達成した。 予測のショートカットとしてデータセットのバイアスやアーティファクトに依存するかも知れません。 これは、その一般化性と敵対的堅牢性に大きな影響を与えている。
  論文  参考訳（メタデータ） (2022-08-25T03:51:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。