論文の概要: Provable Limitations of Acquiring Meaning from Ungrounded Form: What will Future Language Models Understand?

• arxiv url: http://arxiv.org/abs/2104.10809v1
• Date: Thu, 22 Apr 2021 01:00:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-23 13:59:58.628559
• Title: Provable Limitations of Acquiring Meaning from Ungrounded Form: What will Future Language Models Understand?
• Title（参考訳）: 非基底形式からの意味獲得の確率的限界:将来の言語モデルが理解されるか?
• Authors: William Merrill, Yoav Goldberg, Roy Schwartz, Noah A. Smith
• Abstract要約: 未知のシステムが意味を習得する能力について検討する。 アサーションによってシステムが等価性のような意味関係を保存する表現をエミュレートできるかどうか検討する。 言語内のすべての表現が参照的に透明であれば,アサーションによってセマンティックエミュレーションが可能になる。 しかし、言語が変数バインディングのような非透過的なパターンを使用する場合、エミュレーションは計算不能な問題になる可能性がある。
• 参考スコア（独自算出の注目度）: 87.20342701232869
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models trained on billions of tokens have recently led to unprecedented results on many NLP tasks. This success raises the question of whether, in principle, a system can ever "understand" raw text without access to some form of grounding. We formally investigate the abilities of ungrounded systems to acquire meaning. Our analysis focuses on the role of "assertions": contexts within raw text that provide indirect clues about underlying semantics. We study whether assertions enable a system to emulate representations preserving semantic relations like equivalence. We find that assertions enable semantic emulation if all expressions in the language are referentially transparent. However, if the language uses non-transparent patterns like variable binding, we show that emulation can become an uncomputable problem. Finally, we discuss differences between our formal model and natural language, exploring how our results generalize to a modal setting and other semantic relations. Together, our results suggest that assertions in code or language do not provide sufficient signal to fully emulate semantic representations. We formalize ways in which ungrounded language models appear to be fundamentally limited in their ability to "understand".
• Abstract（参考訳）: 何十億ものトークンで訓練された言語モデルは、最近多くのNLPタスクにおいて前例のない結果をもたらした。 この成功は、原則として、システムが何らかの基盤にアクセスすることなく、生テキストを"理解"できるかどうかという問題を提起する。 我々は、意味を習得する無地システムの能力について、正式に調査する。 分析では,基礎となる意味論に関する間接的な手がかりを提供する原文中の文脈である「集合」の役割に注目した。 アサーションによってシステムが等価性のような意味関係を保存する表現をエミュレートできるかどうか検討する。 言語内のすべての表現が参照的に透明であれば,アサーションによってセマンティックエミュレーションが可能になる。 しかし、変数バインディングのような透明でないパターンを使用する場合、エミュレーションは計算不能な問題となる。 最後に、形式モデルと自然言語の違いを議論し、結果がどのように様相設定や他の意味関係に一般化するかを考察する。 その結果、コードや言語のアサーションは意味表現を完全にエミュレートする十分な信号を提供していないことが示唆された。 我々は、根拠のない言語モデルが基本的に「理解」能力に制限されているように見える方法を定式化する。

関連論文リスト

• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• We're Afraid Language Models Aren't Modeling Ambiguity [136.8068419824318]
  あいまいさの管理は人間の言語理解の重要な部分です。 文中のあいまいさは,他の文との係り受け関係に与える影響によって特徴付けられる。 我々は,多ラベルNLIモデルが曖昧さによって誤解を招く野生の政治的主張にフラグを付けることができることを示す。
  論文  参考訳（メタデータ） (2023-04-27T17:57:58Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Entailment Semantics Can Be Extracted from an Ideal Language Model [32.5500309433108]
  文間の係り受け判断が理想的な言語モデルから抽出できることを実証する。 また,これらのデータに基づいて学習した言語モデルの予測から,包含判断を復号化できることを示す。
  論文  参考訳（メタデータ） (2022-09-26T04:16:02Z)
• Norm Participation Grounds Language [16.726800816202033]
  私は、どのような基礎言語が規範的な性質であるのかという考え方を、異なる、より広範に提案します。 物事を正しく行うための基準があり、これらの標準は公然と権威があり、同時に権威の受容が議論され、交渉される。 言語がどのような基盤となるかは、言語ユーザーがそれを利用する決定的な方法であり、それが根底にあるのは、言語利用者のコミュニティである。
  論文  参考訳（メタデータ） (2022-06-06T20:21:59Z)
• Learning Symbolic Rules for Reasoning in Quasi-Natural Language [74.96601852906328]
  我々は,ルールを手作業で構築することなく,自然言語入力で推論できるルールベースシステムを構築した。 本稿では,形式論理文と自然言語文の両方を表現可能な"Quasi-Natural"言語であるMetaQNLを提案する。 提案手法は,複数の推論ベンチマークにおける最先端の精度を実現する。
  論文  参考訳（メタデータ） (2021-11-23T17:49:00Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。