論文の概要: Linguistic Generalizations are not Rules: Impacts on Evaluation of LMs

• arxiv url: http://arxiv.org/abs/2502.13195v1
• Date: Tue, 18 Feb 2025 17:40:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-20 14:00:30.560419
• Title: Linguistic Generalizations are not Rules: Impacts on Evaluation of LMs
• Title（参考訳）: 言語一般化は規則ではない: LMの評価への影響
• Authors: Leonie Weissweiler, Kyle Mahowald, Adele Goldberg,
• Abstract要約: LMがいかにうまく一般化するかの言語学的評価は、自然言語が象徴的な規則によって生成されることを暗黙的に主張する。 ここでは、LMが象徴的ルールに従わなかったことは、自然言語が規則に基づいていないため、バグではなく機能である可能性があることを示唆する。
• 参考スコア（独自算出の注目度）: 13.918775015238863
• License:
• Abstract: Linguistic evaluations of how well LMs generalize to produce or understand novel text often implicitly take for granted that natural languages are generated by symbolic rules. Grammaticality is thought to be determined by whether or not sentences obey such rules. Interpretation is believed to be compositionally generated by syntactic rules operating on meaningful words. Semantic parsing is intended to map sentences into formal logic. Failures of LMs to obey strict rules have been taken to reveal that LMs do not produce or understand language like humans. Here we suggest that LMs' failures to obey symbolic rules may be a feature rather than a bug, because natural languages are not based on rules. New utterances are produced and understood by a combination of flexible interrelated and context-dependent schemata or constructions. We encourage researchers to reimagine appropriate benchmarks and analyses that acknowledge the rich flexible generalizations that comprise natural languages.
• Abstract（参考訳）: LMがいかに一般化し、新しいテキストを生成または理解するかという言語学的評価は、自然言語は象徴的な規則によって生成されると暗黙的に主張することが多い。 文法性は、文がそのような規則に従うかどうかによって決定されると考えられている。 解釈は意味のある単語を操作する統語規則によって構成的に生成されると考えられている。 意味解析は文を形式論理にマッピングすることを目的としている。 厳格な規則に従うためのLMの失敗は、LMが人間のような言語を生成・理解していないことを明らかにするために行われた。 ここでは、LMが象徴的ルールに従わなかったことは、自然言語が規則に基づいていないため、バグではなく機能である可能性があることを示唆する。 新しい発話は、フレキシブルな相互関係とコンテキストに依存したスキーマや構成の組み合わせによって生成され、理解される。 研究者は、自然言語を構成するリッチなフレキシブルな一般化を認識する適切なベンチマークと分析を再定義することを推奨する。

関連論文リスト

• Rule Extrapolation in Language Models: A Study of Compositional Generalization on OOD Prompts [14.76420070558434]
  ルール外挿は、プロンプトが少なくとも1つのルールに違反するOODシナリオを記述する。 規則の交わりによって定義される形式言語に焦点を当てる。 我々はアルゴリズム情報理論に先立ってソロモノフに触発された規則外挿の規範的理論の最初の石を配置した。
  論文  参考訳（メタデータ） (2024-09-09T22:36:35Z)
• Do Pre-Trained Language Models Detect and Understand Semantic Underspecification? Ask the DUST! [4.1970767174840455]
  本研究では,事前訓練された言語モデル(LM)が不特定文を正しく識別し,解釈するかどうかを検討する。 実験の結果,不特定文の解釈においては,不特定文の理論的説明が予測する内容とは対照的に,不確実性はほとんど認められなかった。
  論文  参考訳（メタデータ） (2024-02-19T19:49:29Z)
• Can LLMs Reason with Rules? Logic Scaffolding for Stress-Testing and Improving LLMs [87.34281749422756]
  大規模言語モデル(LLM)は、様々な推論タスクにおいて、印象的な人間的なパフォーマンスを実現している。 しかし、その根底にある推論規則の熟達性は、人間の能力に欠ける。 本稿では,推論ルールベースであるULogicを構築するための,推論ルール生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-18T03:38:51Z)
• Meaning and understanding in large language models [0.0]
  人工知能の生成的大言語モデル(LLM)の最近の発展は、機械による言語理解に関する伝統的な哲学的仮定を改訂する必要があるという信念を導いた。 本稿では,機械語の性能を単なる統語的操作と見なす傾向と理解のシミュレーションを批判的に評価する。
  論文  参考訳（メタデータ） (2023-10-26T14:06:14Z)
• Language Models as Inductive Reasoners [125.99461874008703]
  本稿では,帰納的推論のための新しいパラダイム(タスク)を提案し,自然言語の事実から自然言語規則を誘導する。 タスクのための1.2kルールファクトペアを含むデータセットDEERを作成し,ルールと事実を自然言語で記述する。 我々は、事前訓練された言語モデルが自然言語の事実から自然言語規則をいかに誘導できるかを、初めてかつ包括的な分析を行う。
  論文  参考訳（メタデータ） (2022-12-21T11:12:14Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Learning Symbolic Rules for Reasoning in Quasi-Natural Language [74.96601852906328]
  我々は,ルールを手作業で構築することなく,自然言語入力で推論できるルールベースシステムを構築した。 本稿では,形式論理文と自然言語文の両方を表現可能な"Quasi-Natural"言語であるMetaQNLを提案する。 提案手法は,複数の推論ベンチマークにおける最先端の精度を実現する。
  論文  参考訳（メタデータ） (2021-11-23T17:49:00Z)
• Provable Limitations of Acquiring Meaning from Ungrounded Form: What will Future Language Models Understand? [87.20342701232869]
  未知のシステムが意味を習得する能力について検討する。 アサーションによってシステムが等価性のような意味関係を保存する表現をエミュレートできるかどうか検討する。 言語内のすべての表現が参照的に透明であれば,アサーションによってセマンティックエミュレーションが可能になる。 しかし、言語が変数バインディングのような非透過的なパターンを使用する場合、エミュレーションは計算不能な問題になる可能性がある。
  論文  参考訳（メタデータ） (2021-04-22T01:00:17Z)
• Discourse structure interacts with reference but not syntax in neural language models [17.995905582226463]
  本研究では,異なる言語表現間の相互作用を学習する言語モデル(LM)の能力について検討する。 人間とは対照的に、暗黙の因果関係は文法ではなく、参照行動にのみ影響を及ぼす。 以上の結果から,LMの行動は,学習した言論表現だけでなく,統語的合意にも矛盾する可能性が示唆された。
  論文  参考訳（メタデータ） (2020-10-10T03:14:00Z)
• A Benchmark for Systematic Generalization in Grounded Language Understanding [61.432407738682635]
  人間は慣れ親しんだ部分から成り立つ不慣れな状況を記述する表現を容易に解釈する。 対照的に、現代のニューラルネットワークは、新しい構成を理解するのに苦労している。 位置言語理解における合成一般化を評価するための新しいベンチマークであるgSCANを導入する。
  論文  参考訳（メタデータ） (2020-03-11T08:40:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。